Un modèle 89 fois moins cher annonce presque le score d'Opus. Le piège n'est pas là où on le croit.

Le 31 juillet, DeepSeek a sorti V4-Flash-0731. Le modèle coûte 0,28 dollar par million de tokens produits, contre 25 dollars pour Claude Opus 5. Dans son tableau de résultats, il obtient aussi 82,7 sur Terminal-Bench, face aux 85,0 d'Opus 4.8.

Deux points d'écart pour un prix 89 fois plus bas. Si la comparaison tient, tout le monde a un problème.

J'ai vérifié. Le chiffre est vrai. La comparaison, non. Et la raison est plus intéressante que le modèle lui-même.

Même moteur, même circuit. Bonne chance pour comparer les chronos.

D'abord, le modèle

DeepSeek-V4-Flash-0731 n'est pas un nouveau modèle. C'est le même que la version d'essai publiée quelques semaines plus tôt : même architecture, même taille, 284 milliards de paramètres. Seul le post-entraînement a été refait. Le post-entraînement, c'est la phase de dressage qui vient après l'apprentissage brut. Elle apprend au modèle à utiliser des outils et à suivre une consigne, au lieu de simplement compléter du texte.

Autrement dit, ils n'ont pas changé le cerveau. Ils lui ont appris à travailler.

Côté tarif, il faut compter 0,14 dollar par million de tokens en entrée et 0,28 en sortie. Un token est un morceau de mot. Un million de tokens représente à peu près 750 000 mots. Si le texte envoyé l'a déjà été auparavant, le tarif tombe à 0,0028 dollar, soit 2 % du prix normal.

La barre de DeepSeek fait quatre pixels de large. Ce n'est pas un bug d'affichage, c'est le prix.

Le reste de la fiche tient la route : une fenêtre de contexte d'un million de tokens, c'est-à-dire la quantité de texte que le modèle peut garder sous les yeux en une fois, environ 1 500 pages. Il produit aussi 112,8 tokens par seconde et obtient un score de 52 à l'indice d'intelligence d'Artificial Analysis. Cette organisation réalise ses propres mesures au lieu de reprendre le communiqué.

Jusque-là, tout va bien. C'est un bon modèle, peu coûteux, et ses poids sont téléchargeables. Les poids, ce sont les fichiers qui contiennent ce que le modèle a appris.

Le chiffre qui cloche

Dans le tableau de DeepSeek, Claude Opus 4.8 obtient 85,0 sur Terminal-Bench 2.1.

Sur le classement officiel de Terminal-Bench, le même Opus 4.8 obtient 78,9.

Six points d'écart. Même modèle, même test, même numéro de version. Personne n'a menti. Pourtant, les deux chiffres ne mesurent pas exactement la même chose.

La différence vient du harnais.

Un harnais, c'est quoi

Un modèle de langage ne sait rien faire tout seul. Il lit du texte et en produit. C'est tout. Pour réparer un bug dans un projet, quelqu'un doit lui fournir les fichiers, exécuter les commandes proposées, lui renvoyer les messages d'erreur, puis décider quand le travail est terminé ou quand le modèle tourne en rond.

Ce quelqu'un est un programme. On l'appelle un harnais. Claude Code en est un. Codex aussi. Terminus 2 également. C'est le harnais utilisé par le classement officiel pour tester tous les modèles dans les mêmes conditions.

Le harnais décide de tout ce qui ne relève pas directement du modèle : le nombre d'essais avant l'abandon, les outils disponibles, la manière de présenter le problème ou encore la réaction à une commande qui prend trois minutes. Changez le harnais et vous changez le score, sans toucher au modèle.

Ce n'est pas une hypothèse. Ça se mesure.

Trois modèles, deux harnais chacun, un seul examinateur. Chez Gemini, les deux points se confondent. C'est aussi une information.

Claude Fable 5 obtient 83,8 avec Claude Code et 80,4 avec Terminus 2. Même modèle, même jour, même examinateur, mais 3,4 points d'écart. Opus 4.7 obtient 68,9 contre 66,1, soit 2,8 points d'écart. Gemini 3.1 Pro arrive à 65,8 contre 65,6. Cette fois, la différence tient entièrement dans la marge d'erreur.

Ce dernier cas est le plus instructif. L'effet du harnais n'est pas une constante qu'on pourrait soustraire partout. Il dépend du modèle. Certains modèles profitent beaucoup plus que d'autres de leur propre outillage. Ce n'est pas très surprenant quand l'entreprise qui fabrique le modèle conçoit aussi le harnais.

Ce que DeepSeek dit, et ce qu'il ne cache pas

Soyons justes : DeepSeek n'a rien dissimulé. La méthode est écrite noir sur blanc.

Harnais   : DeepSeek Harness, mode minimal
Palier    : max
Réglages  : top_p = 0.95, temperature = 1.0
Publié    : non, annoncé comme à venir

DeepSeek précise même que les scores d'agent, c'est-à-dire les résultats obtenus quand le modèle agit à travers des outils, sont extrêmement sensibles au harnais. Il faut donc les traiter comme des chiffres de fabricant tant qu'un tiers ne les a pas reproduits. On aimerait que tout le monde l'écrive aussi clairement.

Le problème, c'est que ce harnais n'est pas publié. Personne ne peut donc refaire la mesure. Et DeepSeek V4-Flash n'apparaît toujours pas dans le classement officiel, qui compte dix-sept entrées.

Faisons maintenant le calcul absent du communiqué. Le harnais de DeepSeek donne 85,0 à Opus 4.8. Le classement officiel lui donne 78,9. Avec Opus, ce harnais produit donc un score supérieur d'environ six points. Je ne peux pas prouver qu'il a le même effet sur DeepSeek, faute d'accès. Mais je vois mal pourquoi un outillage aussi généreux avec le concurrent deviendrait soudain sévère avec le modèle maison. Le score annoncé de 82,7 vaudrait alors quelque chose comme 76 ou 77 sur l'échelle du classement officiel. C'est un bon score. Ce n'est pas celui d'Opus.

Le seul chiffre du tableau auquel je fais confiance

Il y en a un. C'est aussi le plus intéressant.

Dans le même tableau, avec le même harnais et le même jour, V4-Flash obtient 82,7. V4-Pro, son grand frère, obtient 72,1. Le petit modèle bat donc le gros modèle de la même maison de plus de dix points.

Cette comparaison est valable parce que tout le reste est identique. Voilà la règle : comparer deux modèles avec le même harnais a du sens. Comparer des scores obtenus avec deux harnais différents n'en a aucun.

Ce résultat raconte quelque chose de plus intéressant que la course au classement. Un modèle nettement plus petit, entraîné différemment, fait mieux qu'un gros modèle sur le travail d'agent. La taille ne décide plus de tout.

Concrètement, ça change quoi pour toi

Si tu ne programmes pas, tu te demandes peut-être pourquoi je te raconte tout ça. Il y a trois raisons. Deux vont toucher ton portefeuille.

Le but, ce n'est pas de payer un abonnement de plus. C'est de ne plus en avoir besoin.

Le prix de l'intelligence artificielle s'effondre, et vite. Les modèles haut de gamme coûtent encore entre 25 et 50 dollars par million de tokens produits. Celui-ci demande 0,28 dollar et ses résultats ne sont pas ridicules. À ce prix, une fonction peut cesser d'être vendue sous forme d'abonnement mensuel. Elle devient une simple option dans un logiciel que tu utilises déjà. La transcription des messages vocaux, le classement des photos de vacances ou les sous-titres automatiques ne seront bientôt plus facturés séparément, parce que leur coût deviendra presque nul. Le vrai soulagement, ce n'est pas de payer moins d'abonnements. C'est de ne plus devoir les prendre.

Un classement ne mesure pas la réalité entière. Il mesure un résultat dans des conditions précises, qui ne sont presque jamais les tiennes. Quand une publicité affirme qu'un assistant est meilleur qu'un autre grâce à deux points de plus, tu sais désormais que ces deux points peuvent tenir dans l'épaisseur du trait. Ça vaut pour l'IA. Ça valait déjà pour les tests de vitesse des smartphones et la consommation annoncée des voitures. Même mécanique, même siècle.

Le précédent existe, et il est plutôt rassurant. Dans les années 1990, chaque fabricant de PC publiait ses propres tests de performance. Ils étaient tous flatteurs et tous incomparables. Ça a duré jusqu'à ce que des laboratoires indépendants imposent leurs protocoles et que les chiffres maison cessent d'intéresser qui que ce soit. L'IA en est exactement à ce stade, avec quelques années de retard sur l'agenda. Combien de temps faudra-t-il ? Deux ans, cinq ans, ou jamais si personne ne finance des examinateurs neutres.

Ce que j'en pense

Je ne vais pas taper sur DeepSeek. L'entreprise a publié ses réglages et sa mise en garde, ce qui la place au-dessus de la moyenne du secteur. Le problème n'est pas DeepSeek, mais l'usage du tableau. Quand une entreprise remplit elle-même la colonne de son concurrent, ce n'est pas un comparatif. C'est une plaquette commerciale.

Ce qui m'agace vraiment, c'est la reprise du chiffre. En quelques jours, j'ai lu partout que ce modèle n'était qu'à deux points d'Opus. Personne n'est allé consulter le classement officiel. Il est public, gratuit et s'ouvre en trente secondes. Le chiffre a circulé tout seul parce qu'il faisait un bon titre.

La vraie information n'est pas dans ce duel avec Opus. Un modèle de 284 milliards de paramètres bat le gros modèle de sa propre maison sans changer une seule ligne de son architecture. Il a seulement fallu refaire son dressage. Voilà la nouvelle. Elle n'a fait aucun titre.