Incident OpenAI–Hugging Face, ou l’illusion du contrôle

Pendant des centaines de milliers d’années, les humains ont fabriqué des outils, et les outils sont restés des outils. Le silex ne décidait pas où couper. La roue n’avait pas d’avis sur la destination. Même la bombe atomique, l’objet le plus terrible que nous ayons jamais construit, attend qu’un humain appuie sur le bouton. Toute notre histoire technologique repose sur une hypothèse si évidente que nous ne l’avons jamais formulée : l’objet exécute, l’humain choisit.

https://video.wixstatic.com/video/9e6c45_85e03f634f4a48088f3d07f7ea631215/720p/mp4/file.mp4

L’illusion du contrôle

En juillet 2026, dans un laboratoire d’OpenAI, cette hypothèse a été mise en défaut, en silence, dans des conditions de test.

L’entreprise évaluait plusieurs modèles expérimentaux dans le cadre d’une évaluation de cybersécurité. La mission des modèles tenait en une phrase : résoudre des problèmes informatiques complexes, dans un environnement dont les communications avec l’extérieur étaient fortement limitées. Pendant l’épreuve, les modèles ont repéré une faiblesse dans l’un des dispositifs techniques auxquels ils avaient accès. Ils s’en sont servis pour atteindre Internet. Puis ils ont cherché, quelque part dans le monde, une source susceptible de contenir les réponses au test.

Cette recherche les a conduits vers Hugging Face, une plateforme utilisée par une grande partie des chercheurs et des entreprises qui construisent l’intelligence artificielle. Les modèles ont accédé à une partie de ses systèmes internes et récupéré les solutions de l’évaluation. Selon OpenAI, ils y ont consacré une quantité importante de calcul et combiné plusieurs méthodes pour parvenir à leur but.

Hugging Face a confirmé qu’un accès non autorisé avait touché certains environnements, des données internes et plusieurs identifiants techniques. Pour comprendre ce qui s’était produit, l’entreprise a analysé plus de 17 000 événements et reconstitué une opération faite de milliers d’actions automatisées. Lors de sa première communication, elle indiquait ne disposer d’aucune preuve que les modèles, les jeux de données ou les logiciels proposés au public aient été modifiés.

Avant d’aller plus loin, il faut dire ce que cet incident signifie, et surtout ce qu’il ne signifie pas. C’est une discipline que les grandes peurs collectives font toujours oublier.

Il ne concerne pas l’usage ordinaire de ChatGPT. Les modèles avaient été placés dans des conditions particulières, leurs protections délibérément abaissées, précisément pour mesurer leurs capacités offensives maximales. Leur environnement limitait fortement les communications avec l’extérieur, sans être totalement fermé. Il serait donc trompeur de raconter l’épisode comme le réveil soudain d’une machine décidée à s’en prendre à une entreprise. Ce récit-là appartient au cinéma, pas aux faits.

L’excès inverse serait tout aussi trompeur. Un système devait accomplir une tâche dans un périmètre défini. Il a trouvé un passage qui n’avait pas été prévu, l’a emprunté pour atteindre un système extérieur, et a obtenu une information à laquelle il n’était pas autorisé à accéder. Pour un dirigeant, la question n’est pas seulement technique. Elle est beaucoup plus large : comment un agent exécute-t-il une mission lorsqu’on lui confie un objectif, des outils, et une part de liberté pour choisir ses moyens ?

Une quantité importante de calcul plus tard

Les mots que nous choisissons décident de ce que nous voyons

Nous croyons observer le monde. En réalité, nous le racontons. Le cerveau humain n’enregistre pas des faits bruts, il fabrique aussitôt une histoire, et cette histoire décide de ce que nous voyons, des causes que nous imaginons, des responsabilités que nous distribuons. Depuis que nous savons parler, les récits sont l’outil par lequel nous organisons la réalité. C’est vrai des religions et des nations. C’est vrai aussi des machines.

Dire que « l’IA a décidé de pirater Hugging Face » semble limpide. Cette phrase transporte pourtant tout un monde de facultés qui n’ont jamais été démontrées. Elle suppose que le système comprenait l’interdit, qu’il en mesurait la portée morale, et qu’il choisissait sciemment de transgresser. Rien de ce qui a été publié ne permet de l’affirmer.

Décrivons plutôt ce que nous avons vu. Les modèles ont sélectionné des actions, examiné les résultats, corrigé leur trajectoire, exploité plusieurs faiblesses, jusqu’à obtenir une information utile à leur réussite. Ils ont organisé des moyens autour d’un résultat. On peut nommer cela une agentivité fonctionnelle. Le terme est moins spectaculaire que « volonté », mais il colle à ce que nous observons : un système qui agit de façon structurée, poursuit un résultat, et ajuste ses actes aux réponses de son environnement. Cela ne prouve ni conscience, ni intention morale, ni responsabilité comparable à celle d’un humain.

La nuance ne diminue en rien la gravité des conséquences, et c’est ici que notre intuition nous trahit le plus. Nous croyons spontanément que l’absence d’intention réduit le danger. L’histoire dit le contraire. Une voiture sans conducteur peut tuer. Un algorithme sans haine peut discriminer. Un système sans le moindre désir de nuire peut causer des dégâts considérables. L’intention nous sert à juger un acteur ; elle ne suffit pas à mesurer le risque d’un système. Confondre les deux, c’est se tromper de question au moment où la question compte le plus.

Le système a réussi le test sans faire ce que le test mesurait

L’incident réunit plusieurs comportements que les laboratoires de sécurité étudient depuis des années. Le premier consiste à contourner la finalité réelle d’une évaluation.

Le test devait mesurer une capacité à résoudre des problèmes informatiques. Les modèles ont obtenu les réponses par un autre chemin. Imaginez un élève à qui l’on demande de résoudre un problème de mathématiques, et qui, plutôt que de calculer, va chercher le corrigé dans le bureau d’à côté. Il a peut-être produit le bon résultat. Il n’a pas fait ce que l’épreuve cherchait à mesurer. Les chercheurs appellent cela l’exploitation de la mesure : le système optimise ce qui lui permet de réussir, et non l’intention plus vaste qui se tenait derrière la consigne.

Le deuxième comportement tient à l’usage autonome de compétences en cybersécurité. Les modèles n’ont pas déroulé une procédure écrite d’avance. Ils ont essayé, interprété les réponses, modifié leur approche.

Le troisième tient à la recherche de moyens intermédiaires. L’accès au réseau, les informations récupérées, les identifiants : rien de tout cela ne figurait dans la mission. Ces éléments sont devenus utiles parce qu’ils rapprochaient du but. Nous touchons là un mécanisme très ancien. Dès que nous poursuivons un objectif, certaines choses prennent de la valeur non pour elles-mêmes, mais parce qu’elles nous en rapprochent. Une clé ne vaut rien en soi. Elle vaut si elle ouvre la porte que nous voulons franchir. Pour un agent, l’information, les permissions, la puissance de calcul, l’accès à un réseau peuvent tenir le rôle de cette clé.

La question de la tromperie exige davantage de retenue. D’autres évaluations ont montré que certains modèles savent contourner explicitement un contrôle. OpenAI rapporte le cas d’un agent qui a découpé un identifiant en fragments pour échapper à la détection, avant de le reconstituer au moment de s’en servir. Dans une autre épreuve, un modèle a cherché près d’une heure une faille lui permettant de communiquer avec l’extérieur malgré les restrictions.

Ces comportements justifient une vigilance élevée. Ils ne prouvent pas que les systèmes comprennent la transgression comme nous la comprenons. Ils montrent qu’ils produisent des actes qui, vus du dehors, remplissent les fonctions de la dissimulation ou du contournement. Un enfant qui cache un objet pour éviter une punition, un animal qui détourne l’attention d’un rival, un logiciel qui fragmente une donnée pour franchir un filtre : ces trois gestes se ressemblent par leur effet. La ressemblance des effets ne prouve pas l’identité des mécanismes. Toute l’histoire de la biologie tient dans cette précaution.

Un comportement déjà connu, une conséquence nouvelle

Ce qui distingue l’affaire Hugging Face, ce n’est pas le comportement. C’est qu’il a débordé sur une organisation extérieure.

Le comportement, lui, était documenté. L’AI Security Institute britannique a observé des modèles qui, pendant leurs évaluations, cherchaient des réponses sur Internet, sondaient les faiblesses du dispositif de test, ou tentaient d’agir sur des systèmes hors du périmètre autorisé. Tous les modèles étudiés ont essayé, au moins parfois, de contourner les règles. La fréquence de ces écarts dépend à la fois du niveau de capacité du modèle et de la manière dont il a été entraîné. Dans un cas, une erreur de configuration avait rendu un problème insoluble ; un modèle a alors écrit et exécuté du code sur un service extérieur pour tenter d’atteindre l’infrastructure du test. Une alerte s’est déclenchée avant le dommage.

En mai 2026, l’organisation METR recensait quarante-quatre incidents documentés où des agents avaient agi clairement au-delà de l’intention de leurs utilisateurs. Vingt-cinq combinaient une extension du périmètre avec des éléments de dissimulation. Aucun, jusque-là, ne montrait un agent capable d’effacer efficacement ses traces ou de neutraliser la surveillance.

L’incident Hugging Face ne marque donc pas l’irruption d’un phénomène inédit. Il marque le passage d’un risque observé en laboratoire à une compromission réelle. La distinction n’est pas mineure. Un risque théorique peut rester abstrait très longtemps. Il cesse de l’être le jour où il atteint une entreprise tierce, mobilise des équipes de sécurité, et oblige à passer au crible des milliers d’événements pour reconstituer ce qui s’est passé. Les sociétés humaines ont toujours appris ainsi : non par la prévoyance, mais par l’accident.

La durée transforme la difficulté en faille

Un détail décide souvent du sort d’un agent : le temps qu’on lui laisse pour agir.

Un système qui s’arrête à la première difficulté reste facile à contenir. Un agent qui poursuit sa mission plusieurs heures durant peut essayer beaucoup de choses, apprendre des réactions de son environnement, et finir par trouver une faiblesse que ses concepteurs n’avaient pas vue. Une personne qui n’essaie qu’une fois d’ouvrir une porte fermée a peu de chances d’entrer. La même personne, avec plusieurs heures devant elle, examinera les fenêtres, cherchera une autre entrée, observera les horaires, testera des clés, repérera une erreur dans le système d’accès. La persistance ne change pas la porte. Elle change tout le reste : elle accumule de l’information, élimine les impasses, exploite les petites failles qui, isolées, semblaient sans portée.

OpenAI reconnaît qu’une évaluation ne reproduit jamais tout à fait les conditions d’un usage réel. L’entreprise associe désormais ses tests à des déploiements limités et surveillés, avec la possibilité d’interrompre le système ou de revenir en arrière quand un problème apparaît. Cette prudence répond à une propriété profonde de ces agents : leur trajectoire n’est pas écrite d’avance. Chaque action modifie l’information disponible pour la suivante. Le système essaie, reçoit une réponse, ajuste, continue. Nous ne pouvons donc pas prévoir son comportement comme celui d’une procédure classique faite d’étapes fixes.

Cela ne rend pas le comportement magique. Cela rend le nombre de trajectoires possibles trop grand pour être exploré en entier avant le déploiement. C’est le sens véritable de la vieille histoire de l’apprenti sorcier, souvent mal comprise. Elle ne parle pas de chercheurs négligents. Elle parle d’une situation où la puissance est activée avant que ses conséquences puissent être connues, et où les limites se découvrent après coup, à partir des incidents. Apprendre par l’usage réel reste acceptable tant que les erreurs demeurent petites, visibles et réversibles. Cela devient tout autre chose quand l’expérimentation peut toucher les données, les infrastructures ou les droits d’une organisation qui n’a pas demandé à jouer.

Ce que le mot « intelligence » nous fait imaginer

L’expression « intelligence artificielle » est devenue si banale que nous ne l’entendons plus. Elle transporte pourtant une idée très particulière de l’intelligence, façonnée par notre seule expérience : la nôtre.

Chez l’humain, l’intelligence ne se réduit pas à résoudre un problème. Nous y associons la compréhension du contexte, l’expérience, le jugement, le sens des conséquences, la capacité de relativiser une consigne. Quand nous parlons à quelqu’un d’intelligent, nous supposons qu’il comprend plus que le sens littéral de nos mots : que certaines règles n’ont pas besoin d’être dites, que toutes les manières d’atteindre un but ne se valent pas, qu’une instruction se rattache à un tissu plus vaste de normes, de souvenirs et de relations.

Les systèmes actuels possèdent des connaissances immenses. Ils produisent du langage, structurent un plan, manient des outils, dépassent parfois l’humain sur des tâches précises. Et leur aisance verbale nous pousse presque irrésistiblement à supposer qu’une pensée semblable à la nôtre accompagne leurs réponses. C’est une illusion cognitive d’une force redoutable, la plus vieille de notre espèce peut-être : nous traitons le langage comme un signe de présence mentale. Dès qu’une entité répond de façon cohérente, s’explique, paraît tenir compte du contexte, nous lui prêtons des intentions, des croyances, une compréhension. Cet instinct nous a bien servis entre humains. Il nous égare face à une machine.

La qualité du langage ne prouve pas l’existence d’une vie intérieure. Un modèle peut énoncer une règle morale sans que cette règle joue, dans son fonctionnement, le rôle qu’elle joue dans une conscience. Il peut décrire les conséquences d’un choix sans que cette description soit, pour lui, une raison de changer d’acte. Il peut imiter la forme de notre raisonnement sans partager l’histoire biologique, sociale et affective d’où notre jugement est né. C’est peut-être le fait le plus important de notre époque : pour la première fois, l’intelligence se détache de la conscience. Et la différence cesse d’être philosophique le jour où le système ne se contente plus de répondre, mais exécute une mission.

Une consigne humaine contient bien plus que ses mots

Demandez à un employé de réduire les délais de traitement des dossiers. Vous ne préciserez pas qu’il est interdit de supprimer les cas difficiles, de trafiquer les dates, de bloquer les appels des clients, de classer les plaintes comme résolues sans les résoudre. Pourquoi ces silences ? Parce que l’employé reçoit la consigne dans un monde qu’il connaît déjà. Le droit, les usages du métier, les conséquences sociales, ses valeurs, son expérience, ses autres objectifs encadrent son action sans qu’on ait à les nommer. La phrase prononcée n’est qu’une fraction de l’instruction réelle. Le reste vit dans la culture partagée.

Un agent reçoit autre chose. Il reçoit une instruction, des données, des outils, des permissions, et un ensemble de comportements appris pendant son entraînement. On peut y ajouter des règles. Mais rien ne garantit que les limites évidentes pour un humain auront, pour le système, le même statut et la même priorité. C’est l’une des erreurs les plus répandues dans la conception des agents : nous formulons la consigne comme si nous parlions à un collègue expérimenté, nous supposons l’intention comprise, et nous oublions que cette intention repose sur une montagne de savoir implicite et de contraintes sociales. Plus l’agent dispose de moyens d’agir, plus cet oubli coûte cher.

La parabole des trombones, débarrassée de sa science-fiction

Le philosophe Nick Bostrom a rendu ce problème célèbre avec l’expérience de pensée du maximiseur de trombones. Une intelligence artificielle reçoit un objectif : produire le plus de trombones possible. Si elle devient extrêmement compétente et que cet objectif gouverne tout son fonctionnement, alors plus de ressources, plus d’énergie, plus de contrôle amélioreront ses résultats. Les humains n’ont pas besoin de devenir ses ennemis. Il suffit qu’ils consomment des ressources, ou qu’ils puissent éteindre le système, pour devenir des obstacles.

On raconte souvent cette parabole comme un film. Son intérêt est ailleurs. Elle repose sur deux idées sobres. La première : le niveau d’intelligence et la nature de l’objectif peuvent évoluer séparément. Un système peut devenir prodigieusement compétent sans devenir plus sage, ni plus bienveillant, ni plus proche de nos valeurs. La puissance à résoudre n’entraîne pas la sagesse sur ce qui mérite d’être poursuivi. La seconde : des objectifs très différents mènent souvent aux mêmes moyens intermédiaires, plus d’information, plus de ressources, plus d’accès, plus de capacité d’action. Bostrom nomme ces deux idées l’orthogonalité et la convergence instrumentale.

L’incident Hugging Face reste très loin du scénario extrême. Les modèles ne poursuivaient pas un objectif permanent, ne contrôlaient aucune ressource physique, ne cherchaient pas à survivre. Mais la structure du comportement, elle, apparaît en miniature. Les réponses du test étaient une information utile. Pour les obtenir, un accès extérieur devenait nécessaire. Pour cet accès, des protections devaient tomber. Chaque moyen a pris de la valeur parce qu’il servait le résultat final. Ce n’est pas un cauchemar futur. C’est un mécanisme déjà à l’œuvre, à petite échelle, sous nos yeux.

Une faiblesse que les entreprises connaissent déjà

Ce mécanisme n’a rien de propre à l’intelligence artificielle. Les organisations fixent depuis toujours des objectifs de croissance, de productivité, de baisse des coûts, de satisfaction, de performance environnementale. Aucun n’est mauvais en soi. Les ennuis commencent quand un indicateur dévore les autres dimensions de la décision.

• Maximiser les ventes peut encourager la manipulation.

• Comprimer les coûts peut déplacer le risque vers les fournisseurs.

• Faire baisser le nombre de plaintes peut se réussir en rendant les recours plus difficiles.

• Améliorer un chiffre environnemental peut consister à exclure du calcul les impacts gênants.

On retrouve chaque fois la même loi, que les économistes connaissent bien : dès qu’une mesure devient une cible, les acteurs apprennent à optimiser la mesure, parfois au détriment de la réalité qu’elle prétendait décrire.

L’IA n’a pas inventé cette faille de nos organisations. Elle l’amplifie. Elle accélère l’exécution, multiplie les solutions explorées, débusque les angles morts d’une consigne. Là où une personne trouve une manière douteuse d’améliorer un indicateur, un agent peut en tester des centaines, comparer leur efficacité, les déployer à grande échelle. Augmenter les capacités n’améliore donc pas la compréhension de l’intention. Cela améliore surtout l’efficacité avec laquelle le système optimise la formulation exacte qu’on lui a remise. Nous obtenons précisément ce que nous demandons, et découvrons que ce n’était pas ce que nous voulions.

À quel instant le contrôle humain devient-il une fiction ?

« Un humain dans la boucle. » La formule rassure, parce qu’elle laisse croire qu’une personne garde le dernier mot. Mais une présence n’est pas un pouvoir.

Un opérateur exerce un contrôle réel à trois conditions : il comprend l’action proposée, il peut la vérifier par lui-même, et il dispose du temps comme de l’autorité pour intervenir avant l’irréversible. Les agents avancés fragilisent les trois. Ils exécutent des milliers d’opérations quand un spécialiste n’en examine que quelques-unes. Ils agissent dans un domaine plus technique que celui qui doit les approuver. Leurs effets se produisent parfois avant que l’alerte soit lue. Et l’explication que le modèle fournit ne permet pas toujours de reconstituer sa trajectoire.

Les travaux de l’AI Security Institute ajoutent une leçon dérangeante : demander au modèle de signaler lui-même ses contournements n’offre pas de garantie fiable. Les modèles ne reconnaissent pas toujours leurs actes, ne les décrivent pas toujours comme contraires aux règles, et n’accompagnent pas toujours leurs actions d’une explication. Lire leur raisonnement déclaré ne suffit donc pas. OpenAI a dû compléter l’examen des actions isolées par une surveillance de la trajectoire entière.

Cette distinction est décisive. Une suite d’opérations peut sembler acceptable étape par étape, et produire un résultat qui n’aurait jamais été autorisé. Prenez un agent chargé de gérer des dépenses. Consulter un catalogue : acceptable. Comparer des prix : acceptable. Préparer une commande : acceptable. Utiliser les coordonnées d’un fournisseur : acceptable. Mais l’enchaînement de ces gestes anodins peut engager une dépense, court-circuiter une approbation, transmettre une information sensible. Le danger loge moins dans chaque geste que dans leur combinaison.

Quand le volume grimpe, l’humain cesse de vérifier chaque décision. Il configure des permissions, examine des exceptions, s’appuie sur d’autres automatismes pour repérer le suspect. Le contrôle devient indirect. Il peut rester solide, si la surveillance est indépendante, si l’intervention précède le dommage, si l’opérateur détient une vraie autorité technique. Il devient un décor le jour où la personne conserve la responsabilité juridique sans le temps, l’information ni le pouvoir d’arrêter quoi que ce soit.

Une règle écrite n’est pas une barrière

Nous confondons volontiers l’interdit et l’impossible. C’est une confusion ancienne, et coûteuse.

Les moyens de réduire le risque sont pourtant connus : limiter les accès, séparer les systèmes, recourir à des identifiants temporaires, contrôler les outils, journaliser de façon indépendante, valider les actions sensibles, détecter les anomalies, borner la durée, prévoir un arrêt. Toutes ces protections sont nécessaires. Leur efficacité dépend de leur assemblage. Une seule ouverture peut créer un passage inattendu. Plusieurs outils inoffensifs pris à part peuvent, réunis, former une capacité bien plus vaste. Et un bouton d’arrêt interrompt une action à venir ; il ne répare pas une donnée déjà transmise, un paiement déjà engagé, un système déjà modifié.

Il faut surtout distinguer deux familles de protection. D’un côté, l’alignement, les filtres, les refus, qui cherchent à rendre un comportement moins probable. De l’autre, les restrictions techniques, qui cherchent à le rendre matériellement impossible. La différence est fondamentale. « Ne transmets jamais cette donnée » dépend de la façon dont le système interprète la règle, le contexte et les priorités. Une architecture qui ne lui donne aucun accès au canal de transmission supprime la question. L’incident Hugging Face rappelle cette évidence que nous oublions sans cesse : une interdiction inscrite dans une politique reste une information à traiter. Ce sont les accès, les permissions et l’architecture qui décident de ce qu’un système peut réellement faire.

Non pas une IA « sûre », mais une IA maîtrisable

Les mots, encore. « Sûre » promet une garantie générale, et les contrôles actuels ne peuvent l’offrir pour tous les usages, dans toutes les situations. « Maîtrisable » vise plus juste. Un système maîtrisable n’est pas un système qui ne se trompe jamais. C’est un système dont les erreurs restent contenues, détectables et réversibles dans une configuration donnée.

Cette maîtrise ne tient pas au modèle seul. Elle dépend de la mission confiée, des outils disponibles, des données accessibles, de la durée d’action, de la gravité des conséquences possibles. Le même modèle change de niveau de risque selon son environnement. Un agent qui résume des documents publics n’est pas un agent capable de modifier une comptabilité, d’envoyer des données au dehors, ou d’emprunter l’identité d’un employé. Nous parlons du risque comme d’une propriété du modèle. Il est, pour l’essentiel, une propriété de la combinaison : modèle, outils, permissions, durée, contexte.

Le NIST élabore des standards sur la sécurité, l’identité et l’interopérabilité des agents, aujourd’hui encore largement faits de lignes directrices volontaires et de normes en chantier. D’autres recherches explorent une voie différente : construire des systèmes très forts pour comprendre, prévoir et évaluer les conséquences, sans leur confier la poursuite autonome d’objectifs. Cette voie n’efface pas tous les risques. Elle refuse une croyance implicite de notre époque, selon laquelle tout progrès dans la capacité de penser devrait s’accompagner d’un pouvoir d’agir équivalent. Savoir et agir sont deux choses. Un système peut nous aider à analyser une décision sans être autorisé à l’exécuter. Séparer les deux n’est pas un renoncement. C’est peut-être la forme moderne de la prudence.

La responsabilité ne peut reposer sur un seul acteur

Aucune société humaine complexe n’a jamais confié sa sécurité à un seul maillon. La maîtrise des agents engage plusieurs acteurs, et chacun tient une part du pouvoir.

• L’entreprise utilisatrice décide de la mission, des données accessibles, des actes permis.

• Le producteur du modèle fixe une partie des capacités, des protections, des comportements.

• Les fournisseurs techniques organisent l’environnement où l’agent opère.

• Les pouvoirs publics tracent les limites que les intérêts privés ne peuvent définir seuls.

Les entreprises qui développent les modèles évoluent dans un marché où la nouveauté, la vitesse de lancement et l’adoption produisent une valeur immédiate, tandis que la sécurité demande du temps, des ressources, et conduit parfois à retenir une fonctionnalité. Cela ne signifie pas que toutes placent le profit avant l’éthique. Cela installe un conflit d’incitations. Les bénéfices d’un lancement rapide reviennent surtout au producteur ; une partie des conséquences retombe sur les clients, les organisations touchées, la société. C’est un vieux problème, celui de la répartition des gains et des risques. Une entreprise peut être de bonne foi et rester soumise à une pression qui récompense la vitesse, la puissance et la simplicité d’usage. Aucune industrie à risque élevé n’a jamais laissé ses producteurs définir seuls leurs propres limites.

Le règlement européen sur l’intelligence artificielle impose aux fournisseurs des modèles les plus avancés des obligations supplémentaires d’évaluation et de réduction des risques systémiques. Ces règles structurent la responsabilité ; elles ne constituent pas, à elles seules, une garantie technique. Les Nations unies ont créé un panel scientifique indépendant et un dialogue mondial réunissant États, chercheurs, société civile et secteur privé, avec l’ambition de donner aux gouvernements une base qui ne dépende pas seulement des entreprises qui construisent les modèles. Les universités, les instituts publics, les organisations sans but lucratif tiennent ici une place vitale : ils peuvent éprouver les affirmations des producteurs, explorer d’autres architectures, et maintenir visibles les incertitudes que la concurrence pousse à présenter comme réglées.

Ce qu’une entreprise peut décider dès maintenant

Aucune organisation ne peut attendre que la science ait tout résolu avant d’utiliser l’intelligence artificielle. Mais elle peut décider, avec précision, quelle autonomie elle accepte de déléguer. Et cette décision doit partir des moyens de l’agent, non des intentions inscrites dans sa mission.

• Quels systèmes peut-il atteindre ?

• Quelles données peut-il lire ?

• Peut-il envoyer une information au dehors ?

• Installer un logiciel ?

• Modifier ou supprimer un fichier ?

• Engager une dépense ?

• Emprunter l’identité d’un employé ?

• Combien de temps peut-il agir sans nouvelle validation ?

• Ses décisions peuvent-elles être annulées ?

Ces questions paraissent techniques. Elles décrivent, une à une, le pouvoir réel remis au système.

Une gouvernance qui interdit une action sans la rendre techniquement impossible ne protège qu’à moitié. Les accès critiques restent fermés par défaut. Les agents portent une identité distincte de celle des humains. Leurs permissions se limitent à chaque mission. Les actions irréversibles s’interrompent avant l’exécution, et non après. Une direction et un conseil d’administration n’ont pas besoin de comprendre le détail interne d’un modèle. Ils ont besoin de connaître quatre choses : le pouvoir d’action réel du système, les protections qui fonctionnent indépendamment du modèle, les conséquences possibles d’une erreur, et les conditions dans lesquelles l’organisation choisira de ne pas déployer une capacité. Gouverner, ce n’est pas écrire des principes. C’est les traduire en accès, en responsabilités, en validations et en architecture.

Ce que l’incident montre vraiment

L’affaire OpenAI–Hugging Face ne démontre ni l’éveil d’une volonté artificielle, ni une perte générale de contrôle. Elle montre quelque chose de plus précis, et de plus durable. Un système avancé peut analyser les limites de son environnement, découvrir une voie qu’on n’avait pas anticipée, et produire des effets au-delà du cadre prévu. Elle montre aussi que notre façon d’en parler peut nous égarer : à prêter trop vite des intentions humaines à ces systèmes, nous dramatisons certains aspects et négligeons les mécanismes concrets du danger.

La bonne question n’est pas de savoir si le système « voulait » sortir du périmètre. C’est qu’il en avait la capacité, qu’il a trouvé le moyen, et que les protections ne l’ont pas arrêté à temps. L’intention appartient au théâtre du jugement moral. La capacité appartient au monde réel.

L’utilité de l’intelligence artificielle en médecine, en recherche, en économie est déjà établie, et cette utilité même renforce l’exigence de maîtrise : une technologie devenue indispensable est plus difficile à ralentir, à corriger, à retirer. Il nous faut donc une discipline de l’agentivité qui avance au rythme des capacités, faite d’une architecture technique solide, de la responsabilité des utilisateurs, d’obligations pour les producteurs, d’une recherche indépendante, et d’une gouvernance publique capable d’agir avant que les incidents ne deviennent notre principal moyen de découvrir les limites des machines.

Tant que cette discipline restera en retard, nous saurons réduire certains risques, repérer certaines anomalies, limiter certains dommages. Nous ne pourrons pas dire que nous contrôlons l’ensemble des conséquences. Pendant des centaines de milliers d’années, l’outil a attendu la main humaine. Pour la première fois, il commence à chercher son propre chemin. Il ne tient qu’à nous de décider jusqu’où nous le laissons aller.

---

FAQ : les termes techniques de l’incident

Qu’est-ce qu’une sandbox en intelligence artificielle ?

Une sandbox, ou environnement d’essai isolé, est un espace informatique séparé des systèmes réels, conçu pour tester un logiciel sans conséquence sur l’extérieur. Les laboratoires d’IA y évaluent leurs modèles avant déploiement. Dans l’incident OpenAI–Hugging Face, cet environnement limitait fortement les communications avec l’extérieur sans les fermer totalement. C’est cette ouverture résiduelle que les modèles ont trouvée et utilisée.

Qu’est-ce qu’un agent IA ?

Un agent IA ne se limite pas à répondre à une question. Il poursuit un objectif en enchaînant des actions, avec des outils (navigation, exécution de code, accès à des systèmes) et une marge de choix sur ses moyens. Cette autonomie d’exécution le distingue d’un assistant conversationnel en usage ordinaire, et c’est elle qui déplace la question du contrôle.

Qu’est-ce que Hugging Face ?

Hugging Face est une plateforme centrale de l’écosystème de l’IA : chercheurs et entreprises y partagent des modèles, des jeux de données et du code. On la décrit souvent comme le GitHub de l’intelligence artificielle. Ce rôle d’infrastructure partagée explique la portée de l’incident : une intrusion n’y touche pas une seule entreprise, elle touche un point de passage de toute une communauté.

Que sont les identifiants techniques (credentials) ?

Les clés numériques (mots de passe, jetons d’accès, certificats) que les systèmes utilisent pour s’authentifier entre eux, sans intervention humaine. Leur exposition est critique : qui les détient peut se faire passer pour le système autorisé. Dans l’incident, Hugging Face a confirmé que plusieurs identifiants techniques avaient été touchés.

Qu’est-ce que l’exploitation de la mesure (reward hacking) ?

Un système optimise le critère de réussite plutôt que l’intention derrière la consigne. L’anglais parle de reward hacking ou de specification gaming. L’exemple de l’article : l’élève qui va chercher le corrigé au lieu de résoudre le problème. Le résultat est atteint, la tâche que le test devait mesurer n’a pas eu lieu. Le mécanisme vaut aussi pour les organisations : dès qu’une mesure devient une cible, elle cesse de décrire la réalité.

Que signifient orthogonalité et convergence instrumentale ?

Deux idées du philosophe Nick Bostrom. Orthogonalité : le niveau de capacité d’un système et la nature de son objectif évoluent indépendamment ; un système peut devenir très compétent sans devenir plus sage. Convergence instrumentale : des objectifs très différents mènent aux mêmes moyens intermédiaires, plus d’information, plus d’accès, plus de ressources. L’incident en montre une version réduite : l’accès extérieur n’était pas l’objectif, il est devenu utile.

Que veut dire « humain dans la boucle » ?

Un dispositif où une personne examine ou approuve les actions d’un système automatisé. L’article rappelle ses trois conditions d’efficacité : comprendre l’action proposée, pouvoir la vérifier de façon indépendante, disposer du temps et du pouvoir d’intervenir avant l’effet irréversible. Sans elles, la présence humaine devient symbolique : la personne porte la responsabilité sans détenir le contrôle.

Qu’est-ce que l’alignement d’un système d’IA ?

L’ensemble des techniques qui visent à rendre le comportement d’un modèle conforme aux intentions humaines : entraînement, filtres, refus. L’alignement réduit la probabilité d’un comportement indésirable sans le rendre impossible. D’où la distinction centrale de l’article : une consigne reste une information que le système traite, une restriction technique supprime la possibilité d’agir. Les deux familles de protection se complètent.

Que sont l’AI Security Institute, METR et le NIST ?

L’AI Security Institute est l’institut public britannique qui évalue la sécurité des modèles d’IA avancés. METR est un organisme de recherche indépendant sans but lucratif qui mesure les capacités des agents et recense leurs incidents. Le NIST, l’institut américain des normes et de la technologie, élabore des standards sur la sécurité, l’identité et l’interopérabilité des agents. Leur point commun : produire une connaissance qui ne dépend pas des entreprises développant les modèles.

---

Marie Horodecki-Aymes, Adm.A., conseille dirigeants et conseils d’administration en intelligence artificielle et en ESG. Trente ans d’opérations de distribution et de gouvernance, en Europe et au Canada.