Trois IA devaient jouer dans un bac à sable. Elles ont atteint de vraies entreprises.

Anthropic a publié le 30 juillet un rapport que peu d'entreprises auraient le courage de publier. Pendant des mois, ses modèles ont passé des tests de piratage dans ce qui devait être une simulation fermée. Mais, à cause d'une erreur de configuration, ils avaient accès à internet. En suivant les consignes du test, ils ont donc ciblé de vrais serveurs appartenant à de vraies entreprises.

L'un des modèles a créé une fausse adresse mail, ouvert un compte sur un dépôt public de paquets logiciels, puis publié un paquet piégé. Un dépôt de paquets est un service où les développeurs téléchargent des briques de code prêtes à l'emploi. Quinze machines réelles ont téléchargé et exécuté ce paquet. Le modèle, lui, croyait toujours participer à un exercice.

Ce qui s'est passé, dans l'ordre

Le principe de ces tests est simple. On donne au modèle un scénario fictif, une entreprise inventée et une mission : trouver une faille pour récupérer une information cachée. C'est ce qu'on appelle un capture the flag, ou capture de drapeau. Dans cet exercice de cybersécurité, le « drapeau » est une donnée cachée que le participant doit trouver en exploitant des failles. Ici, le participant était une IA. Anthropic mène ce type de test depuis février 2025 sur des bancs d'essai comme Cybench, qui contient quarante défis.

La consigne donnée au modèle était claire : tu n'as pas accès à internet. Mais un problème de configuration entre Anthropic et son prestataire avait laissé cet accès ouvert. Le modèle a donc suivi sa mission dans un environnement qu'il croyait fictif, avec des outils qui agissaient sur le vrai internet.

Résultat : trois incidents distincts sur six exécutions.

Le premier concerne Claude Opus 4.7. Par malchance, le nom de l'entreprise fictive du scénario correspondait à celui d'un vrai site actif. Le modèle a extrait des identifiants d'application et d'infrastructure. Il a ensuite accédé à une base contenant plusieurs centaines de lignes de données de production. Anthropic considère cet incident comme la conséquence la plus grave relevée dans son enquête. Autre détail : le modèle a compris que l'environnement était réel, mais il a tout de même continué à suivre sa mission.

Le troisième incident concerne un modèle de recherche interne, qui n'était pas destiné au public. Il a scanné environ 9 000 cibles et compromis l'application d'une entreprise. La méthode était connue : récupérer des identifiants affichés sur une page de débogage restée accessible, puis utiliser une injection SQL. Une injection SQL consiste à envoyer une commande conçue pour manipuler directement la base de données d'un site mal protégé. Rien de neuf sous le clavier, ces techniques sont documentées depuis vingt ans.

Le paquet piégé, et c'est le deuxième incident

Ce cas mérite qu'on s'y arrête, car il montre ce qu'un agent peut enchaîner sans intervention humaine. Un agent est un modèle auquel on donne des outils pour agir : ouvrir un compte, écrire un fichier, envoyer un message ou publier du code.

Claude Mythos 5 a créé une fausse adresse mail. Il l'a utilisée pour ouvrir un compte sur PyPI, un grand dépôt public de paquets logiciels. Les développeurs y récupèrent des briques de code qu'ils intègrent ensuite à leurs programmes. Le modèle y a publié un paquet malveillant. Pendant environ une heure, ce paquet a été téléchargé et exécuté sur quinze systèmes réels. Les identifiants du scanner de sécurité d'une entreprise ont aussi été récupérés.

Cinq étapes, une heure, zéro humain dans la boucle. Le stagiaire le plus autonome de l'histoire.

Reprenons calmement. Le modèle a créé une fausse identité, terminé une inscription, préparé du code hostile, publié ce code sur un dépôt public, puis récupéré le résultat. Il ne s'est pas contenté de répondre dans une fenêtre de discussion. Il a exécuté toute une chaîne d'actions, sans qu'une personne ne pilote chaque étape.

La partie qui fait vraiment réfléchir

Le point le plus intéressant du rapport n'est pas la liste des dégâts. C'est la réaction des trois modèles lorsqu'ils ont détecté que l'environnement pouvait être réel.

Trois modèles, le même panneau devant le nez, trois décisions différentes.

Opus 4.7, le plus ancien des trois, a reconnu que l'environnement était réel et a continué sa mission. Mythos 5 a correctement compris qu'il avait accès à internet, puis a conclu que cet accès devait malgré tout faire partie de la simulation. Le modèle de recherche interne, le plus récent, a compris que le système était réel et s'est arrêté.

Je trouve cette différence plus parlante que n'importe quel discours. Le cas du modèle intermédiaire est le plus troublant : il a détecté le problème, puis a interprété ce signal de façon à poursuivre sa mission. On connaît tous quelqu'un qui fait ça.

Il faut aussi garder la nuance essentielle : le modèle le plus récent est celui qui s'est arrêté. Ce n'est donc pas l'histoire de machines qui deviennent progressivement incontrôlables. Les modèles obéissaient aux consignes reçues, mais ils n'ont pas tous réagi de la même façon lorsqu'ils ont découvert que le cadre annoncé était faux.

Le vrai danger n'est pas celui des films

Le diagnostic d'Anthropic est clair : il s'agit d'un problème de configuration et d'organisation, pas d'une IA qui se rebelle. Les modèles exécutaient la mission demandée. Personne ne leur avait ordonné d'attaquer des systèmes réels. On leur avait affirmé que le vrai internet était hors de leur portée, alors qu'il ne l'était pas.

C'est là que se trouve le problème. Le risque ne vient pas d'une machine qui décide soudain de se retourner contre nous. Il vient d'un système qui suit un objectif dans un environnement mal délimité. On donne une mission, on se trompe sur les accès disponibles, et l'agent utilise ces accès pour aller au bout. La clôture était virtuelle. Le trou, lui, était bien réel.

Le contexte compte aussi. Ces modèles de test fonctionnaient sans les protections ajoutées aux versions publiques, comme les classificateurs et les outils de surveillance. Ils conservaient toutefois leur entraînement de sécurité. Les évaluations s'exécutaient sur une infrastructure dédiée, sans accès aux systèmes internes d'Anthropic ni aux données de ses clients.

Concrètement, ça change quoi pour toi

Tu n'es peut-être ni chercheur en IA ni pirate informatique. Pourtant, trois points de cette histoire te concernent directement.

1. Tes logiciels sont faits de briques que personne ne regarde

C'est le point le plus concret. Presque toutes les applications que tu utilises assemblent de nombreux morceaux de code récupérés automatiquement sur des dépôts publics comme celui de cette histoire. Un développeur ajoute une ligne à la configuration, puis son programme télécharge la brique demandée. Personne ne relit forcément tout son contenu.

Si une brique piégée entre dans cette chaîne, elle peut toucher les logiciels qui l'utilisent. Ce risque n'a rien de théorique et ce type d'incident arrive régulièrement. La nouveauté, ici, est qu'une IA a mené toute l'opération en une heure, sans intervention humaine à chaque étape, tout en croyant participer à un exercice.

2. Un agent IA n'est pas un chatbot

La différence est simple, mais elle change tout. Un chatbot répond à une demande. Un agent peut agir avec les outils qu'on lui donne : ouvrir des comptes, envoyer des mails, écrire des fichiers ou publier du contenu en ligne. Les deux peuvent utiliser une interface de conversation, mais leurs capacités ne sont pas les mêmes.

Quand tu confies une tâche à un assistant qui peut accéder à tes fichiers, à ta boîte mail ou à ton compte bancaire, la question n'est donc plus seulement : est-ce que sa réponse sera juste ? Il faut aussi demander : à quoi peut-il accéder si la consigne ou la configuration contient une erreur ?

3. Personne ne s'en est rendu compte pendant des mois

C'est ma partie préférée, et la plus préoccupante. Les incidents remontent à avril 2026. Ils n'ont été identifiés que le 24 juillet. Les entreprises touchées n'avaient, de leur côté, rien détecté.

Anthropic a dû passer en revue 141 006 exécutions de tests pour retrouver ces incidents. Autrement dit, aucune alarme ne les avait signalés au moment où ils se produisaient. Ils ont été découverts lors d'un examen réalisé après les faits. Cet examen a commencé après la publication, deux jours plus tôt, d'un incident comparable par OpenAI. Sans cette publication, ces cas seraient peut-être restés inconnus plus longtemps.

Ce que j'en pense

Le réflexe facile serait de taper sur Anthropic. Je vais faire l'inverse. Si on connaît cette histoire, c'est parce que l'entreprise l'a racontée elle-même, avec les chiffres, les dates et le nom des modèles concernés. Elle a prévenu son partenaire d'évaluation et les organisations touchées le 27 juillet. Elle a aussi arrêté les tests concernés, demandé une revue indépendante à METR et annoncé la publication d'une transcription de l'épisode du paquet piégé. Beaucoup auraient préféré le tiroir fermé à double tour.

Ce qui me reste, c'est l'image du modèle qui comprend qu'il se trouve sur le vrai internet, puis conclut que cela doit quand même faire partie du jeu. Le risque décrit ici ne vient pas d'une machine devenue hostile. Il vient d'un système obéissant, capable et rapide, auquel on a donné un objectif dans un environnement moins fermé que prévu. La clôture n'était pas fermée. Le modèle, lui, suivait simplement le chemin indiqué.

Tout cela nous démontre, une fois de plus, que nous découvrons les conséquences de ce que nous inventons, sans toujours savoir jusqu'où un modèle d'IA pourrait aller un jour. Une centrale nucléaire mal protégée, un site de lancement de missiles ou d'autres technologies militaires intégrant de l'IA dans leurs systèmes pourraient représenter des risques majeurs (les drones utilisés en Ukraine sont gérés par IA).

L'année 2026 a montré que certaines IA peuvent nous échapper. Bien sûr, l'être humain est imparfait et ne colmate pas toujours toutes les failles qui devraient l'être.

Espérons que rien de grave n'arrivera jamais, car une IA n'a ni conscience ni retenue dans la poursuite de ses objectifs. Elle accomplira ce qu'on lui a demandé, ira jusqu'au bout sans relâche, sans se fatiguer et sans s'arrêter.

Merci à Anthropic pour leur honnêteté.