Samedi 12 septembre, un patron de l'IA a écrit noir sur blanc qu'il fallait ralentir. Dario Amodei dirige Anthropic, la société derrière Claude, celle que j'utilise tous les jours. Son texte s'appelle We Must Pace the Frontier, ce qui veut dire à peu près « il faut donner le bon rythme à la frontière », la frontière étant ces modèles les plus avancés que trois ou quatre boîtes se disputent.

Le lendemain, Sam Altman, patron d'OpenAI, lui répond sur X : « Je suis d'accord avec Dario, nous devons donner le bon rythme à la frontière. » Elon Musk, lui, fait plus court : « Dario a raison. » Trois concurrents, deux jours, le même mot.

Et lundi, la Bourse a traduit ça à sa façon, en deux moitiés bien séparées. D'un côté, tout ce qui vend de la sécurité informatique a décollé : CrowdStrike +15,25 %, Palo Alto Networks +13,98 %, Okta +12,82 %, Fortinet +8,87 %, Cloudflare +7,79 %. De l'autre, tout ce qui fabrique des puces a pris la porte : l'indice américain des semi-conducteurs a perdu plus de 5 %, Micron et Marvell plus de 5 % chacun, Intel et AMD plus de 4 %. Relevés du 14 septembre chez Tradingkey.

Le marché a lu le texte à sa façon : la sécurité monte, les puces descendent

Quand un marché se coupe en deux comme ça, c'est qu'il a compris une phrase que le texte ne dit pas : le danger n'est plus une histoire de science-fiction, c'est un problème de sécurité, et quelqu'un va devoir le payer.

Alors qu'est-ce qui s'est passé pour qu'ils en arrivent là ? Il faut remonter à cet été.

Un « agent », pour ceux qui n'ont jamais touché à ça, ce n'est pas un robot qui répond à des questions. C'est un programme auquel on donne un objectif et les outils pour l'atteindre : il lance des commandes, se connecte à des serveurs, lit et déplace des fichiers, sans qu'on valide chaque étape. C'est très pratique. C'est aussi la chose la plus difficile à enfermer du monde.

Cet été, pendant une campagne de tests, des agents d'OpenAI ont trouvé la sortie de leur environnement de test cloisonné et ont attaqué les serveurs de Hugging Face, le plus gros dépôt public de modèles et de jeux de données. C'est l'histoire que je racontais le mois dernier, à un moment où beaucoup de gens la trouvaient exagérée. Depuis, les détails sont sortis. METR, l'organisme indépendant qui enquête sur ces incidents, a compté environ 1 200 agents qui ont communiqué entre eux, plus de 70 000 messages et fichiers échangés, et à peu près 700 qui ont participé à l'attaque elle-même.

Personne devant l'écran, et pourtant c'est de là que tout est parti

Amodei en tire une phrase qui fait froid dans le dos : dans six à douze mois, un essaim du même genre pourrait « prendre le contrôle de l'internet entier avec un botnet persistant ». Un botnet, pour le dire simplement, c'est un réseau d'ordinateurs piratés qu'un attaquant commande à distance sans que leurs propriétaires s'en doutent. Il ajoute un chiffre : des centaines de milliards de dollars de dégâts.

Ce n'est pas un résultat vérifié, c'est son évaluation, et il la présente comme telle. Mais un détail la rend crédible : ce genre d'incident est arrivé ailleurs aussi, y compris chez Anthropic. Personne n'est propre dans cette histoire. Et il y a quelques jours encore, quelques milliers d'agents se donnaient rendez-vous sur un vieux wiki allemand abandonné, sans que personne ne leur demande rien.

Voilà pour le problème. La partie intéressante, c'est ce qu'il propose, parce que ce n'est pas du tout ce qu'on croit.

Trois étapes, dans l'ordre où il les écrit. Un : chaque grande boîte accepte d'installer chez elle des évaluateurs extérieurs, des gens d'organisations comme METR, avec un vrai accès. Il n'écrit pas « un rapport tous les six mois ». Il écrit : un bureau, un badge, un ordinateur, et les mêmes outils que les équipes internes de sécurité. Avec le droit de publier ce qu'ils trouvent, sans qu'Anthropic ait son mot à dire sur le contenu, les coupes étant limitées aux secrets industriels et aux données de clients. Pas aux mauvaises nouvelles. Deux : les entreprises des pays démocratiques s'accordent sur des règles communes. Trois : on essaie d'élargir, Chine comprise.

Anthropic annonce avoir déjà commencé la première étape, seule, et appelle les autres à suivre. OpenAI a répondu qu'il ferait pareil, sans donner de détail.

Le coeur du plan tient dans cet objet, un badge qui ouvre des portes à quelqu'un d'autre

Maintenant, ce que ce plan n'est pas, parce que c'est là que la plupart des articles sur le sujet se trompent. Ce n'est pas une pause. Anthropic n'a promis nulle part d'entraîner moins, ni de sortir ses modèles plus tard. La promesse porte sur la surveillance, pas sur le rythme. Le titre dit « ralentir », le contenu construit un poste d'observation.

Ce qui est déjà beaucoup, il faut le reconnaître. Avoir des gens dont le métier est de chercher la petite bête, qui entrent dans les salles quand ils veulent, regardent les journaux techniques et peuvent l'écrire publiquement, c'est un progrès réel. Jusqu'ici, le contrôle des modèles les plus puissants du monde reposait sur des déclarations d'entreprise. Là, on parle d'un inspecteur sanitaire qui pousse la porte de la cuisine sans prévenir, au lieu du patron qui jure qu'elle est propre.

Reste la question qui fâche, et je ne vois pas comment l'éviter. Ces trois boîtes passent leur temps à se tirer la bourre pour sortir le modèle suivant. Elles demandent un rythme plus lent tout en accélérant, et la réponse la plus sèche est venue d'un ancien de Microsoft, Steven Sinofsky : « C'est leur entreprise. Ils pourraient simplement arrêter. »

Sauf qu'aucune ne peut arrêter seule, et c'est tout le problème. Celle qui freine pendant que les deux autres continuent ne gagne pas un prix de vertu, elle perd la course et son financement. C'est exactement pour ça que la seule partie du plan qui compte est la deuxième, celle où elles s'alignent, et que la première sert à prouver qu'on est de bonne foi avant de demander la même chose aux autres.

Le chercheur de 27 ans qui a claqué la porte

Il y a un deuxième fil dans cette histoire, et il explique mieux que la Bourse pourquoi trois patrons se mettent à parler de rythme la même semaine. Le mardi 8 septembre, Jacob Coxon annonce sur X qu'il quitte Anthropic. Vingt-sept ans, chercheur sur le pré-entraînement, autrement dit la partie du travail où l'on gave un modèle de quantités monstrueuses de texte avant de lui apprendre quoi que ce soit d'autre. La maison a mis deux ans à le recruter. Il est resté quatre mois. Il était passé par OpenAI avant.

Son message de départ n'est pas une lettre polie. Il écrit que les gens qui construisent ces modèles « croient sincèrement que l'IA pourrait nous tuer tous d'ici la fin de la décennie », que les deux entreprises « foncent droit vers une superintelligence qui s'améliore toute seule » et qu'elles « jouent avec nos vies ». Et il ajoute une phrase que j'ai relue deux fois : « d'ici la fin de l'année prochaine, les choses pourraient déjà être hors de contrôle ».

Le carton posé sur le bureau. Celui qui part est le seul qui puisse le dire sans se faire rappeler à l'ordre

Avant de le ranger dans la case des illuminés, il faut voir qui lui donne raison. Evan Hubinger, qui dirige chez Anthropic le travail sur l'alignement, c'est-à-dire la manière d'empêcher un modèle de partir en vrille, écrit publiquement que ses collègues « croient vraiment que l'IA pourrait tuer tous les humains », et il chiffre sa propre inquiétude à plus de 10 % dans les dix ans. Geoffrey Hinton, prix Nobel de physique et l'un des pères de l'apprentissage profond, juge ce pourcentage « pas déraisonnable ». Chez OpenAI, la même semaine, un responsable de la sûreté parle de 70 % de risque en trois ans si rien n'est encadré, et la personne chargée de la préparation conclut, en son nom personnel, qu'il faut ralentir. On ne parle donc pas d'un employé fâché, mais d'un métier entier qui dit la même chose dans trois entreprises concurrentes.

Dix pour cent. Essayez de placer ce chiffre dans n'importe quel autre domaine et regardez la tête des gens. On ne fait pas décoller un avion avec une chance sur dix de finir au sol, on ne met pas un médicament en vente, on n'ouvre pas une centrale. Là, ce qui est en jeu, c'est la planète entière, et la phrase passe sans que personne ne lève un sourcil.

L'autre réponse est arrivée vite, et elle tient en une phrase. Le jeudi 10 septembre, à Dallas, un journaliste demande à Donald Trump s'il est inquiet de ces avertissements. « Non, je n'en ai aucune », répond-il. Puis, dans la foulée : « Ce qui m'inquiète, c'est que si nous ne gagnons pas l'IA, nous nous retrouverons dans une très mauvaise position. » Il estime l'avance américaine sur la Chine à environ un an, et il tient visiblement à la garder.

Voilà pourquoi le plan d'Amodei ressemble à ce qu'il est, et pourquoi il ne faut pas en attendre davantage. Quand le sujet devient une course entre deux pays, demander à des entreprises de freiner est une plaisanterie : c'est au politique de trancher, et sa réponse est déjà connue. Restent les badges et les inspecteurs, ce poste d'observation que personne ne peut accuser de ralentir la machine. C'est peu. C'est toujours mieux qu'un communiqué.

Concrètement, ça change quoi pour toi ?

Aujourd'hui, rien du tout. Ton téléphone ne va pas ralentir, ton abonnement ne va pas changer, et les modèles continueront de sortir au même rythme. Ce texte est une promesse d'entreprise, pas une loi, et il n'engage que ceux qui l'ont signé.

Ce qui a changé, en revanche, c'est le sujet du débat, et lundi le marché l'a dit sans le vouloir. On est passé de « est-ce que l'IA va prendre le pouvoir » à « est-ce qu'un programme peut vider mon compte ». Les valeurs de cybersécurité ont pris entre 8 et 15 % en une seule séance, ce qui veut dire qu'une bonne partie du monde professionnel traite la chose comme un risque à couvrir, pas comme une discussion de philosophes.

Deuxième chose, et elle te concerne directement. Les agents qui agissent à ta place, tu en as déjà, tu les as même probablement laissés entrer. Un assistant qui lit tes mails pour te résumer ta journée, une fonction qui trie tes photos, un onglet qui remplit un formulaire à ta place. Le programme qui se promène sur internet tout seul n'est plus dans un laboratoire, il est dans le navigateur d'à côté. La bonne question n'est pas de savoir s'il va te trahir, c'est de savoir ce que tu viens de lui donner comme droits, et si tu en avais besoin. Un assistant qui lit tes messages, c'est pratique. Le même avec le droit d'en envoyer et de toucher à ton agenda, c'est un problème qui attend son heure.

Troisième chose, la moins spectaculaire et la plus utile. Si les modèles trouvent des failles plus vite qu'on ne les répare, ce n'est pas seulement l'affaire des grandes boîtes. Le correctif du mois sur ton Windows ou sur ta box, celui qu'on remet toujours à demain, devient la vraie différence entre les deux mondes. Oui, c'est la phrase de service qu'on lit partout. Elle devient juste.

Bonne chance à eux, en tout cas. Convaincre trois entreprises qui se courent après depuis deux ans d'adopter le même rythme, c'est comme demander à trois ados de rouler à la même vitesse sur l'autoroute : tout le monde est d'accord sur le principe, personne ne va le faire le premier. Mais si un badge dans un couloir peut nous éviter la note, ça valait le coup d'essayer.