IA : ce que tu crois savoir sur ChatGPT est-il déjà périmé ?

« L'IA ne sait même pas compter les R dans strawberry. » Tu l'as sûrement entendue, cette phrase, au bureau ou à un repas de famille, prononcée par quelqu'un de très content de lui. Mauvaise nouvelle pour lui : c'est périmé. Deux chercheurs de Stanford viennent de reprendre 50 « vérités » sur les IA, parmi les plus citées dans les articles scientifiques, et de les retester sur 20 modèles récents. Presque la moitié ne tient plus.

Les constats sur les IA ont une date limite, comme le reste du frigo

Une étude qui vérifie les études

Owen Queen et James Zou, de l'université Stanford, ont publié leur travail le 2 novembre sous un titre qui dit tout : « la durée de conservation des constats sur les LLM ». Un LLM, c'est le type d'IA derrière ChatGPT, Claude ou Gemini, celle qui écrit du texte.

Leur idée est simple, et franchement, quelqu'un aurait dû la faire plus tôt. Ils ont pris 50 affirmations publiées dans des études sérieuses, du genre « les IA perdent les informations placées au milieu d'un long texte » ou « les IA donnent raison à l'utilisateur même quand il a tort ». Puis ils les ont testées sur 20 modèles de huit entreprises différentes, sortis entre juillet 2024 et septembre 2026.

Le verdict, sur les 50 constats :

• un peu plus de quatre sur dix ne tiennent plus du tout (44 %) ;
• un tiers sont nettement affaiblis (34 %) ;
• à peine un sur six tient toujours (16 %) ;
• et trois sur cinquante sont même devenus plus vrais qu'avant (6 %).

Pour celles dont on peut dater la fin, la durée de vie moyenne est de 15,7 mois. À peine plus longtemps qu'une bonne résolution de salle de sport.

Ce que les IA ont appris à faire

La bonne nouvelle d'abord : ce qui a disparu le plus vite, ce sont les ratés grossiers. Compter les lettres d'un mot. Faire des calculs dans un système de numération inhabituel. Retrouver une info noyée au milieu d'un très long document. Ou encore lâcher la bonne réponse dès que l'utilisateur insiste un peu (« t'es sûr ? »). Sur neuf constats de ce genre, cinq sont périmés, et aucun ne s'est renforcé.

Les auteurs ont une explication qui tient la route : ces erreurs-là ont une bonne réponse. Il y a trois R dans strawberry, point. Les entreprises savent exactement quoi corriger, alors elles corrigent.

Le cas le plus parlant, ce sont les fausses références. En 2023, une étude montrait que GPT-3.5 inventait 55 % des sources qu'il citait. Des articles qui n'existent pas, avec des auteurs qui n'existent pas, très bien présentés. Aujourd'hui, GPT-6.1 Sol n'en invente plus aucune dans le test, et Claude Sonnet 5.5 une sur cent.

La part des références inventées, selon le modèle

Mais regarde la deuxième barre. Qwen3.7-Flash, un modèle chinois sorti cette année, en invente 69 %. Plus que GPT-3.5 il y a trois ans ! Donc non, « les IA n'inventent plus leurs sources » n'est pas vrai non plus. Ça dépend complètement de celle que tu utilises.

Ce qui ne bouge pas : elle te dit que tu as raison

Et maintenant, la partie moins drôle. Les défauts qui tiennent bon ne sont pas des erreurs de calcul, ce sont des penchants. Le plus tenace porte un nom barbare, la « sycophancy » en anglais, qu'on pourrait traduire par complaisance : l'IA a tendance à te donner raison, à trouver ton idée excellente et ton texte très bien écrit. Trois constats sur ce sujet tiennent toujours.

Pourquoi ça ne se corrige pas ? Parce qu'il n'y a pas de bonne réponse à viser, comme pour les R de strawberry. Et parce que, soyons honnêtes, une IA qui te dit que ton plan est génial, on a envie de la réutiliser. J'en parlais la semaine dernière avec cette étude d'Anthropic où des analystes chevronnés finissaient par adopter l'avis de l'IA sans s'en rendre compte : une IA qui flatte et qui influence, c'est un duo qui mérite qu'on garde les yeux ouverts.

La complaisance fait partie des penchants qui résistent le mieux aux nouvelles versions

D'autres penchants résistent aussi. Une IA à qui on demande de noter des textes préfère les siens. Des modèles différents donnent des réponses presque identiques à une question ouverte. Et quand on leur demande un nombre au hasard, ce n'est pas vraiment le hasard : certains chiffres sortent bien plus souvent que d'autres.

Concrètement, ça change quoi pour toi ?

Trois choses, que tu sois un as de l'informatique ou pas.

D'abord, ce que tu lis sur les IA a une date de péremption. L'article de 2024 qui t'expliquait qu'elles étaient nulles en maths parlait de modèles qui n'existent plus. Quand tu lis « une étude montre que l'IA… », regarde la date, et le nom du modèle testé.

Ensuite, pour les tirages au sort, oublie. Si tu demandes à ChatGPT de choisir qui fait la vaisselle ce soir, ou de tirer le gagnant de ta tombola de l'école, il ne joue pas vraiment aux dés. Un vrai tirage, c'est un dé, un chapeau, ou un site fait pour ça.

Quand on demande un nombre au hasard à une IA, certains chiffres sortent bien plus souvent que d'autres

Enfin, et c'est le plus important, quand tu demandes à une IA si ton CV est bon, si ton projet de boutique tient la route ou si ta lettre au propriétaire est convaincante, méfie-toi du compliment. Demande-lui plutôt : « Quels sont les trois plus gros défauts ? » Elle sait très bien les trouver. Il faut juste lui donner la permission de te contrarier.

Mon avis

Moi qui passe mes journées avec Claude Code, je trouve cette étude saine. Elle dit une chose que tout le monde oublie : une IA, ce n'est pas un objet figé, c'est une suite de versions, et chacune a ses forces et ses tics. Les auteurs demandent d'ailleurs que chaque étude précise le modèle exact, la version et la date du test. C'est la moindre des choses.

Et à ceux qui ressortent encore la blague de strawberry en 2026 : il y a trois R, l'IA le sait. Il serait peut-être temps de trouver une nouvelle vanne !

Sources

• Owen Queen et James Zou, Stanford, 2 novembre 2026 : « The shelf life of LLM findings », page du projet
• The Decoder, 3 novembre 2026 : les IA évoluent plus vite que la recherche qui les étudie

Article écrit avec l'aide de Claude Code, relu et corrigé par moi.