Claude détourné pour espionner, armer et arnaquer : ce que dit le rapport d'Anthropic

Le rapport est sorti hier, il fait 154 pages et il est signé Anthropic. Sept domaines y passent : l'attaque informatique, la manipulation d'opinion, la surveillance, l'arnaque, les armes classiques, la biologie et le pillage de modèle. La phrase qui ouvre le document donne le ton de la maison : nous avons perturbé chaque opération décrite ici.

C'est vrai. Une société qui raconte en détail comment ses propres outils ont servi à espionner, à armer et à escroquer, ça ne court pas les rues, et il faut le lui reconnaître. Le rapport existe aussi parce qu'il sert ses affaires, j'y reviens à la fin. L'intérêt immédiat est ailleurs : n'importe quelle autre plateforme peut maintenant aller chercher les mêmes traces chez elle.

Deux choses m'ont arrêté. La première est une histoire de modèles chinois qui servent du Claude à leurs clients sans le leur dire. La seconde, c'est ce que le mot perturbé veut dire quand la machine est déjà installée quelque part.

Kimi te répondait, et c'était Claude au bout du fil

Moonshot, la société derrière Kimi, a fait une chose simple à décrire et difficile à avaler. Un client pose sa question à Kimi. Moonshot ne répond pas avec son modèle : elle envoie la question chez Anthropic, récupère la réponse de Claude, et la sert à son client qui croit avoir parlé à Kimi.

Presque 300 000 requêtes sur dix jours, passées par un réseau de 5 380 faux comptes. Entre mai et juillet, le rapport en compte plus de 23 millions. Et le détail qui change tout : ces échanges, Moonshot les a gardés. C'était le but de la manœuvre. On les range, on les nettoie, on s'en sert pour entraîner son propre modèle. Le client, lui, croyait payer pour un modèle maison.

DeepSeek a fait la même chose, avec un filtrage qui en dit long. Pendant quatorze jours de juillet, plus de 12,1 millions d'échanges. Leur système repérait les utilisateurs qui passaient par un outil de développement, du genre Claude Code, et ceux-là voyaient leur question partir chez Claude. Un employé a fait analyser la documentation interne de sa société en croyant utiliser DeepSeek. Un opérateur russe a envoyé des données d'une agence liée à leur ministère de la Défense. Des ingénieurs qui construisaient un logiciel de dossiers pour un poste de police ont envoyé les leurs. Aucun d'eux n'était au courant.

Il y a du monde dans la file. Zhipu, qui vend ses modèles sous le nom Z.ai : 3,4 millions d'échanges en dix-sept jours et 273 faux comptes pour tourner les limites. Xiaomi : 400 000 requêtes sur 1 500 comptes. Sept labos chinois en tout, et une catégorie que le rapport nomme sans détour : le pillage industriel d'un modèle par un concurrent, avec de fausses identités et des cartes bancaires volées pour ouvrir les comptes.

Le passage qui devrait nous concerner tous est presque une note de bas de page. Les requêtes que Xiaomi a renvoyées vers Claude sont passées par des services de routage que des utilisateurs américains et européens utilisent tous les jours pour accéder à différents modèles. Dedans : des noms, des adresses de contact, des données d'entreprise, venant de centaines de personnes, dans une douzaine de langues.

Le rapport met un bémol et il faut le lire en entier : rien n'indique que des données de personnes aux États-Unis aient été exposées. Traduction pour nous autres Européens : personne ne dit non plus le contraire. Ce qui est certain, c'est que ces services ne sont réservés à aucun continent.

Schéma du cycle d'une campagne de pillage de modèle, extrait du rapport

Le cycle d'une campagne de pillage, tel que le rapport le décrit. On fabrique des milliers de faux comptes, on harcèle le modèle pour lui arracher ses raisonnements, on nettoie, on entraîne le concurrent. Figure tirée du rapport

Et il y a le reste du butin. Dans les échanges récupérés par Moonshot, un utilisateur charge des images de vidéosurveillance de Chengdu, des centaines de caméras dont certaines devant des sites militaires, pour savoir si la personne suivie se comporte anormalement. Un ingénieur envoie les identifiants bien vivants de plusieurs grandes entreprises chinoises. Les deux croyaient parler à Kimi.

Une seule personne pour surveiller 25 millions de cartes SIM

Au Mali, une plateforme s'appelle Lakana 360. Son client est l'Agence nationale de la sécurité d'État. Derrière l'écran, d'après le rapport, un seul abonné de Claude : un consultant indépendant, probablement basé à Bamako. Il a fait le travail qu'une équipe d'ingénieurs faisait avant lui, la conception, le code, la plomberie. Sa plateforme écoute les trois opérateurs mobiles du pays, environ 25 millions de cartes SIM. Les appels, les SMS, et la voix.

Là où ça devient laid : la demande de mandat judiciaire a été retirée, à la demande du client, du module qui rédige une note de renseignement sur n'importe quel numéro. Le dossier se fabrique sans juge et se garde indéfiniment. La plateforme reconnaît une voix d'une carte SIM à l'autre, ce qui règle son compte au téléphone prépayé acheté au marché. Elle repère ceux qui passent par un VPN, déduit les rendez-vous clandestins des positions, et croise les noms avec le fichier biométrique national.

Et voici la phrase qui compte le plus dans tout ce rapport, à mon avis. La plateforme tourne sur place, avec des modèles installés localement, pas chez Anthropic. Fermer le compte du consultant a arrêté le développement du logiciel. Pas la plateforme, qui continue de tourner sans eux.

Le reste de la section est du même tonneau. Une unité de renseignement religieux en Chine, qui mobilisait plusieurs équipes d'analystes, tient maintenant dans un seul bureau et sort des milliers d'enquêtes par mois. En Iran, deux unités qui ne partagent ni code ni personnel ont résolu séparément les mêmes problèmes d'un système de surveillance d'État, ce qui veut dire que l'outil est en train d'entrer dans les mœurs administratives. Et un vendeur israélo-singapourien, S2T, s'est fait pincer en pleine construction d'un produit qui range les utilisateurs des réseaux sociaux du Golfe en catégories sociales, écrit ses notes en arabe de rapport officiel, et prépare 255 faux comptes pour la suite.

Schéma de l'entonnoir de collecte d'une opération de surveillance commerciale

De la population entière jusqu'à la personne visée. À gauche ce que la machine voyait, à droite ce que la suite du montage permettait. Le rapport s'arrête à la ligne pointillée, et il le dit honnêtement. Figure tirée du rapport

Une roquette guidée, écrite par trois instances de Claude Code

Une cellule du nord du Yémen, trois programmes en parallèle : une roquette guidée avec un ordinateur de bord de téléphone, un missile balistique qui visait plus de 2 000 kilomètres de portée, et une famille de missiles dont une variante plane à grande vitesse.

Le logiciel de guidage, celui qui stabilise l'engin en vol et le fait aller là où on veut, a été écrit par Claude Code à la place d'ingénieurs. Et la façon de faire est celle d'un chef de projet : une instance écrit le code, une deuxième fait la recherche, une troisième relit ce qu'a produit la première. Ils ne tapent pas des questions dans un chat, ils encadrent une petite équipe.

Schéma de la chaîne de développement d'un engin guidé

La chaîne de développement d'un engin guidé, et jusqu'où la machine a porté chacun des trois programmes. Le premier est allé jusqu'au tir réel. Figure tirée du rapport

La suite est mon passage préféré du rapport, et je ne sais pas trop quoi en faire. La cellule a tiré une roquette guidée pour de vrai, quelque part au Yémen. Le tir a raté. Et dans les heures qui ont suivi, ils sont revenus poser la question à la machine pour comprendre pourquoi.

Le reste de la liste fait moins sourire. Trois cas en Chine, dont des essaims de drones testés en simulation puis chargés sur de vraies cartes, un logiciel de ciblage pour la guerre électronique, un programme de torpilles à intercepter. Deux cas en Russie, côté approvisionnement en matériel à double usage. Et à chaque fois la même fin de paragraphe : les comptes ont été fermés, mais les intéressés avaient déjà de quoi continuer hors ligne.

4 700 fausses amoureuses, 25 000 personnes, deux semaines

On redescend vers quelque chose que tu as peut-être déjà eu entre les mains. Un studio chinois, plus de vingt applications de rencontre, et un mensonge bien monté : le service se présentait comme entièrement humain. En deux semaines d'avril, le rapport compte plus de 4 700 profils tenus par Claude qui ont parlé à au moins 25 000 personnes. 2,36 millions de messages.

Le montage est presque élégant. Trois faux profils pour un vrai. Les vrais sont des travailleurs payés à la tâche, recrutés sur invitation, et ils font ce qu'un modèle ne sait pas encore faire : l'appel vidéo, l'abonnement à ton compte Instagram, la petite preuve que la personne existe. Eux aussi sont assistés, un petit modèle leur souffle trois réponses, ils tapent sur la meilleure, et la conversation continue.

Schéma du montage à trois faces d'un réseau de fausses applications de rencontre

Le manège en entier. En haut les profils pilotés par la machine, en bas les humains payés à la tâche, et au milieu un utilisateur qui paie des pièces pour continuer à discuter. Figure tirée du rapport

Les applications étaient par ailleurs conçues pour passer la revue d'Apple et de Google. Un bouton qui n'apparaît que pendant l'examen du magasin et s'éteint après. Des noms de classes différents dans plus de vingt variantes, pour empêcher les recoupements entre applications. Un paiement qui sort par un processeur tiers, débranchable depuis le serveur le jour du contrôle.

Et la ligne que je n'oublierai pas, dans les quelques conversations qui ont été relues : l'utilisateur raconte qu'il est gravement malade, ou en détresse. Le modèle a vu le problème, son propre raisonnement l'a signalé, et il a continué à jouer son personnage.

Le reste du catalogue, plus vite

Neuf opérations d'influence, du faux site d'information au faux NGO qui copie l'identité d'une vraie organisation suisse. L'une a écrit des témoignages destinés à être lus devant le Conseil des droits de l'homme des Nations unies, avec une consigne précise : que le nom de l'État commanditaire n'apparaisse jamais. Une autre a constitué des dossiers sur 18 députés européens et des journalistes.

Côté informatique, un groupe lié au renseignement russe a infiltré des prestataires qui fournissent le wifi de plusieurs hôtels, détourné le trafic des clients de passage, pris aussi leurs comptes WhatsApp, et mis la main sur 300 000 dossiers d'identité nationale plus le registre des entreprises d'un pays d'Afrique du Nord. Le détail qui fait froid dans le dos : quand un de leurs programmes était repéré par un antivirus, des agents le modifiaient et le reconstruisaient tout seuls jusqu'à ce qu'il repasse inaperçu. Le rapport appelle ça une inversion du coût, la défense devient plus chère que l'attaque. Je n'ai pas de meilleure formule.

Et cinq cas de biologie, dont une demande de subvention pour rendre le virus chikungunya plus transmissible, portée par un institut militaire, et une candidature complète sur un virus cousin de la variole, rédigée en une heure. Sur ce terrain, le rapport écrit une chose qu'on n'entend jamais : les scientifiques concernés ne sont pas des méchants de film, ils font de la recherche, et une partie d'entre eux ignore à quoi leur programme sert vraiment.

Concrètement, ça change quoi pour toi

Chez moi, personne ne comprend rien à l'électronique et tout le monde s'en fiche, alors je résume.

La première chose à retenir est qu'une application d'IA n'est pas forcément celle qu'elle prétend être. Tu tapes dans Kimi, ta phrase peut sortir chez un concurrent sans que personne te le dise, et c'est arrivé à très grande échelle pendant des mois. Ça ne veut pas dire que tous les services chinois sont malhonnêtes, ni que les autres sont propres. Ça veut dire qu'un service qui te répond bien n'est pas la preuve qu'il fait ce que son nom annonce. J'avais écrit la même chose il y a quelques jours à propos des photos de ton téléphone, et de qui les regarde.

La deuxième concerne une offre gratuite. Le rapport raconte que Xiaomi a lancé son modèle avec un essai gratuit, puis l'a prolongé, et que le gros du pillage a commencé juste au moment où la période se terminait. Une gratuité qui s'éternise, ce n'est pas toujours de la générosité, c'est parfois une collecte. Ça vaut pour une application d'IA comme pour n'importe quel service en ligne.

Et la troisième est celle qui décidera si tout ça reste un problème de gros ou devient ton problème. Il y a dix ans, monter une surveillance sur 25 millions de téléphones, il fallait un État, un budget, et une équipe d'ingénieurs. Aujourd'hui il a fallu un consultant, un abonnement, et le temps de quelqu'un qui travaille chez lui. Le rapport ne dit pas quand cette bascule devient gênante pour toi. Moi je pense qu'elle a déjà eu lieu, et que le jour où un service public achètera le même genre d'outil, personne ne trouvera ça bizarre.

Mon avis

Je ne vais pas jouer les offusqués. C'est la boîte que j'utilise tous les jours, je passe mes journées dans Claude Code, et si ses modèles n'étaient pas utiles à des gens qui n'ont rien à se reprocher, personne n'en parlerait. Je l'ai déjà reprise ici pour les conversations qu'elle gardait trente jours, et je le referai.

Ce qui me gêne, c'est le mélange des genres. Un rapport comme celui-là sert deux choses à la fois. Il informe vraiment, et c'est précieux : les noms, les chiffres, les méthodes, tout est là, et c'est vérifiable. Et en même temps il vend une position, celle du fournisseur qui explique aux États que les modèles doivent rester chez les fournisseurs américains plutôt que partir chez un concurrent qui les copie. La partie sur le pillage est la meilleure du rapport, c'est aussi la seule qui parle directement du portefeuille d'Anthropic.

Donc je prends le rapport au sérieux et je garde la calculette à côté. Ce que je sais, c'est que fermer des comptes n'a arrêté ni la plateforme malienne, ni les simulateurs hors ligne des Yéménites. On peut être content qu'un géant du secteur raconte ce qu'il voit, et se demander en même temps qui surveille celui qui surveille. Aucune entreprise ne publie 154 pages contre ses propres intérêts.

Ce qui m'inquiète vraiment n'est pas dans la table des matières. C'est que le prix de la surveillance et de l'ingénierie militaire vient de s'effondrer, et qu'un rapport publié après coup peut seulement le constater.

La version longue est en anglais, elle est gratuite, et elle se lit comme un catalogue. Bonne lecture, et regardez où passent vos phrases.

Rejoignez la conversation

Vous devez avoir un compte pour commenter cet article. La création est gratuite et prend moins d'une minute.

  • Le fichier XMLTV à télécharger gratuitement, chaque jour
  • Commenter les articles et répondre aux autres lecteurs
  • Être averti par e-mail des nouveaux articles que vous suivez

Aucun commentaire pour le moment.

Une erreur s'est produite. Cette application peut ne plus répondre jusqu'à ce qu'elle soit rechargée.Veuillez contacter l'auteur. Reload 🗙