Pourquoi les benchmarks des agents IA sous-estiment les capacités réelles

Pendant des années, nous avons traité la capacité d'un agent IA comme un nombre fixe, presque comme s'il s'agissait du temps d'un sprinteur : on court, on chronomètre, on écrit le résultat sur un tableau. Mais si ce nombre dépendait du souffle que nous accordons au coureur avant de l'arrêter ? Un rapport publié le 2 juillet 2026 par l'AI Security Institute, l'institut de sécurité IA du gouvernement britannique, suggère que c'est exactement là l'erreur cachée dans de nombreuses évaluations d'agents : nous les chronométrons avec un sifflet qui retentit trop tôt.

L'AISI part d'une observation simple, presque banale dite ainsi. Presque toutes les évaluations d'agents IA réduisent la capacité à un seul nombre, un score, un succès ou un échec, la longueur de la tâche accomplie. Ce nombre cache pourtant un choix de conception qui est rarement déclaré clairement : quelle quantité de calcul, quel "temps de raisonnement" en termes de tokens, est accordée à l'agent avant d'interrompre la tentative. Modifier ce seuil, démontre le rapport, change le score de manière substantielle, surtout pour les modèles les plus récents.

Le nombre qui cache un choix

Pour comprendre le point, il faut distinguer trois concepts qui sont souvent confondus dans le débat public. Le training compute est la puissance de calcul dépensée pour entraîner un modèle, des mois de GPU digérant des données avant même que l'utilisateur n'écrive une ligne. L'inference cost est ce qu'il en coûte, en argent et en temps, pour obtenir une seule réponse une fois que le modèle est prêt. Le test-time compute, véritable protagoniste de l'étude, est au contraire la quantité de calcul que l'agent peut dépenser pendant qu'il travaille sur une tâche spécifique durant l'évaluation : combien d'étapes de raisonnement, combien de tentatives, combien de tokens avant que quelqu'un, ou quelque chose, ne dise stop.

La distinction n'est pas académique. Un modèle peut être entraîné de manière identique et obtenir des scores très différents selon ce qu'on le laisse "penser" au moment du test. Et c'est là que l'AISI identifie le problème : les benchmarks les plus répandus imposent des budgets de tokens fixes, souvent pensés pour contenir les coûts computationnels des évaluations à grande échelle, non parce que ce budget représente une limite naturelle de la capacité du modèle.

L'équipe de l'institut, la Science of Evaluations, a fait quelque chose de conceptuellement raffiné : au lieu d'assigner un budget et de lire le score final, elle a fait varier le budget du plus bas au plus haut et a observé comment la performance changeait tout au long du parcours. Le résultat est ce qui est appelé dans le rapport une capability curve, une courbe de capacité plutôt qu'un point isolé. Si la courbe monte encore lorsque l'évaluation s'interrompt, le score obtenu n'est pas le plafond de la capacité du modèle, c'est seulement le point où quelqu'un a cessé de regarder.

Il y a une image qui est utile ici, tirée d'un domaine éloigné des laboratoires d'AI safety. Dans Return of the Obra Dinn, le jeu vidéo de Lucas Pope où l'on reconstitue le sort de l'équipage d'un navire disparu en observant des instantanés figés dans le temps, chaque scène observable ne raconte qu'un fragment de l'histoire : s'arrêter trop tôt signifie croire avoir tout compris alors qu'on n'a vu qu'une image. Les benchmarks à haut budget fixe risquent de fonctionner de la même manière, ils renvoient un instantané convaincant mais partiel d'un processus qui, s'il était laissé à son cours, en révélerait bien plus.

Des courbes, pas des scores : ce que disent les tests

Les chercheurs ont mis à l'épreuve des modèles de frontière sur une batterie de benchmarks couvrant la cybersécurité, l'ingénierie logicielle, les mathématiques, les tâches académiques et la santé, un éventail choisi exprès pour comprendre si le phénomène était spécifique à un domaine ou transversal.

Sur la suite de cybersécurité de l'AISI, composée de tâches de type capture-the-flag, le taux de réussite a augmenté de manière constante au fur et à mesure que le budget accordé par tâche augmentait. Environ 8 % des tâches n'ont été résolues que lorsque le budget a atteint 10 millions de tokens, certains cas en ayant nécessité jusqu'à 50 millions. Avec des budgets plus restreints, ces succès seraient simplement restés invisibles, classés comme des échecs du modèle alors qu'ils étaient en réalité des échecs de la mesure.

Le schéma se répète sur des benchmarks publics très cités dans le secteur. Passer de 1 à 10 millions de tokens au total a augmenté les performances d'environ 25 % sur des tâches d'ingénierie logicielle comme TerminalBench 2.0 et SWE-Bench Pro, et d'environ 22 % sur les mathématiques et les tâches académiques mesurées avec Humanity's Last Exam, jusqu'à 5 millions de tokens. Sur TerminalBench, de manière surprenante, les performances continuent de s'améliorer même lorsque le budget de tokens est porté à dix fois celui typiquement rapporté dans les évaluations publiques.

Il existe pourtant une exception qui vaut confirmation, et c'est là que le rapport gagne en crédibilité aux yeux de ceux qui se méfient des enthousiasmes faciles : sur HealthBench, un benchmark de santé, chaque modèle a plafonné rapidement dans le budget habituel. Plus de calcul aide, expliquent les chercheurs, surtout là où l'agent peut vérifier lui-même son travail, en exécutant du code, en testant un exploit ou en vérifiant une démonstration mathématique. Cela aide beaucoup moins là où le feedback est faible, retardé ou absent, comme c'est souvent le cas en milieu clinique. C'est une distinction qu'il vaut la peine de garder à l'esprit chaque fois que l'on lit une annonce triomphale sur "l'IA qui dépasse les médecins" : le contexte de la tâche compte autant que le modèle. Image tirée du rapport aisi.gov.uk

Le temps humain comme unité de mesure

La partie peut-être la plus intrigante de l'étude concerne le lien entre la durée d'une tâche pour un être humain expert et le calcul qu'un agent doit dépenser pour la résoudre. En analysant à la fois la suite cyber de l'AISI et les tâches d'ingénierie logicielle rassemblées par METR, l'organisation qui a popularisé le concept de "time horizon" des agents, les chercheurs ont découvert que le calcul nécessaire pour résoudre une tâche croît proportionnellement au temps qu'un professionnel qualifié mettrait à l'accomplir, et cela vaut également pour la tentative réussie la moins coûteuse enregistrée pour chaque tâche, ce qui suggère que le plancher de calcul requis est fixé par la nature de la tâche elle-même, et non par une utilisation inefficace des ressources par le modèle.

La conséquence pratique est qu'un budget d'évaluation fixe épuise les tokens précisément sur les tâches les plus longues, alors que les tâches brèves reçoivent de toute façon une tentative complète. Un échec, dans ce scénario, peut signifier que l'agent n'y est pas parvenu, ou simplement que le temps à disposition s'est terminé plus tôt. Le cas cité dans le rapport est presque anecdotique dans sa clarté : "The Last Ones", un scénario cyber de l'AISI estimé nécessiter environ vingt heures de travail à un expert humain, n'a été résolu par aucun modèle testé tant que le budget n'a pas atteint au moins 30 millions de tokens.

On pense, pour ceux qui ont lu les recueils de nouvelles de Ted Chiang, à l'idée récurrente dans ses textes selon laquelle la compréhension d'un phénomène dépend de l'échelle temporelle à laquelle on l'observe, un concept qui, dans Exhalation, prend la forme d'un univers qui ne révèle sa propre nature qu'à celui qui a la patience d'en mesurer l'entropie sur des temps très longs. Les tâches complexes pour un agent fonctionnent de manière assez similaire : elles demandent du temps avant de montrer ce qu'il y a réellement derrière.

À quelle vitesse la frontière avance-t-elle vraiment

Ici, le rapport touche un nerf à vif du débat public sur l'IA, celui de la vitesse de progression. On utilise depuis longtemps le concept de "time horizon", introduit par METR, pour estimer la rapidité avec laquelle double la longueur des tâches qu'un agent parvient à accomplir avec une certaine fiabilité. Dans des recherches précédentes, l'AISI avait estimé que l'horizon temporel des modèles de frontière sur ses propres tâches cyber doublait tous les 4,7 mois depuis fin 2024, mesure effectuée pourtant avec un budget fixe de 2,5 millions de tokens par tâche.

La nouvelle étude montre que, pour les modèles publiés l'année dernière, le taux de croissance estimé est environ 60 % plus marqué lorsque l'horizon est calculé à 50 millions de tokens plutôt qu'à 2,5 millions. En d'autres termes, le rythme du progrès de frontière que nous lisons dans les rapports n'est pas seulement une propriété des modèles, c'est en partie un artefact du budget utilisé pour les mesurer. Au niveau d'un seul modèle, l'effet est encore plus frappant : l'un des modèles de frontière testés voit son horizon passer d'environ 40 minutes avec un budget de 2,5 millions de tokens à environ 4 heures avec un budget de 50 millions.

Ce n'est pas un détail pour initiés. Si le rythme auquel les agents deviennent capables de gérer des tâches de plus en plus longues est systématiquement sous-estimé par les benchmarks standards, alors les prédictions sur le moment où certains seuils de risque ou d'utilité économique seront atteints doivent également être revues à la hausse, ou du moins regardées avec plus de prudence. Ce n'est pas par hasard que le thème des "doubling rate" fait déjà l'objet de discussions animées dans la communauté qui étudie ces tendances : certaines analyses indépendantes ont mis en doute la robustesse statistique des estimations de METR sur le doublement des time horizons, soutenant que de petites modifications au scaffolding dont les agents sont équipés peuvent gonfler artificiellement la pente de la courbe. L'étude de l'AISI ne résout pas cette controverse, mais elle la complique davantage, car elle ajoute une seconde variable, le budget de calcul, à une mesure qui dépendait déjà lourdement de choix méthodologiques pas toujours explicités. Image tirée du rapport aisi.gov.uk

Qui décide avec de mauvais chiffres

La dernière section du rapport est celle qui concerne le plus ceux qui ne construisent pas les modèles mais doivent décider quoi en faire : les entreprises qui évaluent s'il faut confier un processus à un agent, les régulateurs qui doivent établir des seuils de risque, les journalistes qui écrivent des articles comme celui-ci. Si un score mesuré avec un budget insuffisant fait paraître un modèle moins capable qu'il ne le serait dans un usage réel, où le budget de calcul est souvent moins contraint que dans un laboratoire d'évaluation, alors les décisions prises sur cette base risquent d'être systématiquement en retard sur la réalité.

Cela vaut dans les deux sens, et il est important de le dire pour ne pas tomber dans l'alarmisme. D'un côté, une entreprise qui écarte un agent parce qu'il a échoué à un test pourrait écarter un outil qui, avec plus de temps de traitement, aurait fonctionné. De l'autre, ceux qui s'occupent de sécurité et évaluent si un modèle peut être dangereux dans un domaine sensible comme la cybersécurité offensive pourraient conclure, sur la base d'un budget limité, que le risque est sous contrôle, alors qu'en réalité la capacité est là, on n'a simplement pas laissé au modèle l'espace pour la démontrer. L'AISI l'écrit sans détour : les scores à budget restreint peuvent rendre les comparaisons entre modèles injustes, amener les décideurs à sous-estimer les capacités des agents et occulter la portée réelle des risques.

Les limites et les questions encore ouvertes

Il faut dire avec la même clarté que plus de calcul n'est pas une baguette magique universelle. Le cas de HealthBench le démontre, et le rapport lui-même énumère trois questions auxquelles il n'a pas encore de réponse. La première concerne l'endroit précis où plus de calcul produit de manière fiable plus de capacité, et pourquoi : les gains semblent plus forts là où l'agent peut contrôler lui-même son travail, plus faibles là où le retour est absent ou bruité. La seconde demande si les performances à haut budget, coûteuses à mesurer, peuvent être estimées à partir de runs plus économiques, une question loin d'être théorique puisque évaluer un modèle à 50 millions de tokens par tâche a un coût computationnel non négligeable. La troisième porte sur la possibilité de généraliser la relation entre le temps humain et le calcul requis, vérifiée jusqu'à présent uniquement dans le domaine cyber et de l'ingénierie logicielle.

Il y a aussi une remarque, presque cachée dans l'une des notes de bas de page du rapport, qui mérite d'être rapportée car elle dément une narration trop linéaire : sur une minorité non négligeable de tâches, entre 10 et 30 % selon la suite, les modèles les plus récents font moins bien que leurs prédécesseurs. Le progrès, en somme, n'est pas une ligne droite qui monte toujours, il ressemble plutôt à une de ces cartes d'un jeu de rôle indépendant où certaines pièces restent sombres même quand on a déjà exploré tout le reste de l'étage.

Ce qui change, en pratique

L'AISI déclare que ces résultats modifient déjà sa propre façon d'évaluer les modèles : des tests sur des budgets multiples plutôt que sur un seul, des rapports qui montrent la fiabilité et la portée en fonction du budget plutôt qu'un nombre unique, la tentative de définir des "budgets minimaux informatifs" au-delà desquels un modèle cesse vraiment de s'améliorer, et des méthodes pour prévoir les performances à haut budget en partant de runs plus économiques. L'institut déclare en outre partager cette approche avec des partenaires internationaux, signe que la question n'est pas perçue comme un détail technique interne mais comme un problème de standards partagés.

Reste une question que le rapport pose plus qu'il ne résout, et c'est peut-être la conclusion la plus honnête possible pour un travail de recherche qui s'occupe de mesure plutôt que de proclamations. Si la façon dont nous mesurons les agents IA a systématiquement sous-estimé ce qu'ils savent faire, quelle part du reste de la narration publique sur le progrès de l'intelligence artificielle, sa vitesse, ses risques, les délais dans lesquels certains seuils seront atteints, repose sur des photographies prises avec un obturateur fermé trop tôt ? Ce n'est pas une question à laquelle un seul rapport, aussi rigoureux soit-il, peut répondre entièrement. Mais c'est la bonne question à se poser, chaque fois que l'on lit un benchmark comme s'il s'agissait d'un verdict définitif au lieu d'une mesure provisoire, dépendante de choix qui sont rarement déclarés dans le tableau des résultats.