Les agents IA poussent les humains hors de la boucle

Un nouveau position paper signé par Margaret Mitchell, Avijit Ghosh et Samir Passi soutient que les agents IA ne se contentent pas de rendre la supervision plus difficile : leur usage prolongé peut éroder les compétences mêmes qui permettraient de l'exercer. Dans Le Chevalier inexistant de Calvino, le paladin le plus scrupuleux de l'armée de Charlemagne est Agilulfe, une armure blanche sans personne à l'intérieur. Il existe par la seule force de sa volonté, connaît le règlement par cœur, est toujours à son poste et ne manque pas une seule formalité. C'est un portrait fidèle de l'humain dans la boucle quand sa présence n'est que formelle : présent dans l'organigramme, sur le formulaire, sur le bouton, mais sans le temps, les informations ni la compétence nécessaires pour décider.

Imaginez maintenant un bureau ordinaire. Un agent IA lit des documents, interroge le logiciel de gestion, recherche sur le web, prépare une proposition, met à jour des dossiers, rédige un projet de courriel et finit par s'arrêter : « Approuvez-vous ? ». Ce clic devrait être une décision éclairée, mais pour qu'il le soit, il faudrait savoir quelles données ont été utilisées et lesquelles ont été écartées, quels outils ont été activés, avec quelles autorisations et quels effets. Si cela est impossible, vous n'êtes pas dans la boucle : vous n'êtes que la dernière signature sur un processus que vous ne maîtrisez pas.

C'est le thème de AI Agents Push Humans Out of the Loop, publié sur arXiv le 24 août 2026 et parvenu à sa troisième version le 6 septembre. La formule « human in the loop » est partout, jusque dans l'article 14 du Règlement sur l'IA (AI Act), qui exige une surveillance humaine effective. Les auteurs rappellent toutefois que la présence d'un superviseur ne garantit pas une supervision fiable, et que l'on se demande rarement si celle-ci est réellement possible.

Avec un chatbot, l'erreur est une réponse à corriger. Un agent accomplit plusieurs étapes et, comme le rappelle le document, peut modifier ou supprimer des fichiers sans attirer l'attention, transférer des données confidentielles ou effectuer des paiements.

J'en ai parlé dans l'histoire de Kiro, l'agent de programmation d'Amazon. Selon le Financial Times, qui cite des sources internes anonymes, il aurait en décembre 2025 supprimé puis récréé une partie d'un environnement, provoquant environ treize heures d'interruption d'AWS Cost Explorer dans une région de Chine continentale. Amazon, comme le résume l'AI Incident Database, parle d'un événement très limité dû à une erreur de l'utilisateur et à des autorisations mal configurées, et non à l'IA. Dans mon article, j'indiquais que l'agent opérait avec les autorisations d'un opérateur senior et sans révision obligatoire. Les deux lectures coexistent : si l'erreur est humaine parce que les autorisations étaient trop larges, il reste à se demander qui a permis qu'une autorisation large suffise à provoquer un tel dommage. Rejeter la faute sur celui qui « devait contrôler » ne prouve pas que le contrôle était réalisable.

Le document

C'est un position paper : pas de nouveau modèle, pas d'expérience décisive, mais une thèse étayée par la littérature sur l'automatisation, l'interaction homme-machine, les sciences cognitives et la gouvernance. La thèse est que les pratiques actuelles ne favorisent pas une supervision efficace et que l'utilisation prolongée des agents affaiblit les capacités cognitives nécessaires pour l'exercer, résumé par les auteurs en une formule : « oversight degrades the overseer » (la supervision dégrade le superviseur). Le remède comporte deux volets : les développeurs devraient concevoir des environnements d'exécution qui soutiennent l'attention et la conscience de la situation, et les organisations devraient établir des protocoles qui préservent les compétences et réduisent la fatigue. Il ne s'agit pas de supprimer les agents, mais de traiter les besoins cognitifs du superviseur au même titre que les capacités de l'agent.

Une réserve s'impose sur les preuves, car le document lui-même parle de constatations initiales. Le matériel cité est hétérogène : on y trouve une étude observationnelle multicentrique sur le risque de perte de compétences chez les endoscopistes après exposition à l'IA, une revue systématique portant sur des étudiants, mais aussi des prépublications, des travaux d'ateliers et des témoignages sur des blogs et des forums. Plusieurs études proches du sujet, comme celle sur les développeurs et les agents de programmation, sont signées par l'un des auteurs du document. Le cadre est solide, mais ce n'est pas une loi démontrée : personne n'a prouvé que chaque agent fait perdre des compétences.

Pourquoi les agents échappent au contrôle

La difficulté ne provient pas d'une vague opacité de l'IA, mais de la manière dont un agent travaille : il interprète un objectif, planifie, choisit des outils, les utilise, analyse les résultats et révise son plan, souvent avec des rôles internes distincts pour planifier, exécuter et évaluer. Pour un superviseur, l'information pertinente est immense et dispersée dans des composants qui peuvent changer ou disparaître, au point que se demander pourquoi l'agent a choisi un outil précis peut être, en pratique, une question sans réponse.

Il y a ensuite les outils. Le document aborde l'hallucination d'outils : l'agent en invente un inexistant, en utilise un réel avec de mauvais paramètres, interprète mal le résultat, et l'erreur se propage aux étapes suivantes. Une étude citée, The Reasoning Trap, indique que renforcer le raisonnement des modèles tend à amplifier ce défaut. Dans les systèmes multi-agents, s'ajoutent les échecs de communication, analysés dans un travail présenté à NeurIPS 2025, lorsqu'un agent ne transmet pas à un autre une information nécessaire.

Imaginons, à titre d'exemple personnel, un agent chargé de réduire de dix pour cent les coûts des fournisseurs non stratégiques. Si une catégorie est mal classée ou si une exception contractuelle n'est pas lue, les communications ultérieures seront cohérentes et rédigées sur la base d'une erreur. La personne qui approuve le courriel final ne voit ni la classification ni les dossiers exclus.

Il y a aussi le coût de l'évaluation. S'appuyant sur une analyse d'EvalEval dont Ghosh est coauteur, le document soutient que tester à l'avance un comportement multi-étapes coûte beaucoup plus cher que tester des réponses isolées, au point de rendre une couverture complète impraticable pour la plupart des organisations. Une partie du contrôle glisse ainsi au moment où l'agent est déjà en fonction, et retombe sur une personne qui doit à la fois l'utiliser, accorder des autorisations, juger les choix et en prévoir les conséquences. Le résultat est la fatigue d'approbation, où l'on cesse de vérifier ce que l'on approuve. Dans un article technique consacré à un mode de Claude Code, Anthropic indique que les utilisateurs acceptent 93 % des demandes d'autorisation. Un taux élevé ne prouve pas à lui seul l'inattention, car de nombreuses actions sont inoffensives, mais l'entreprise le relie directement à ce phénomène. Image tirée du document sur arxiv.org

L'ironie de l'automatisation

En 1983, Lisanne Bainbridge décrivait dans Ironies of Automation un paradoxe : plus un système est performant, plus l'opérateur est relégué à une surveillance passive, et dans les cas rares et graves où il devrait intervenir, il est le moins préparé à le faire. Le document en fait son pilier : la supervision est nécessaire surtout lors des moments critiques, qui sont précisément ceux où le superviseur est le plus dépourvu. C'est l'intuition de La Machine s'arrête, la nouvelle d'E. M. Forster écrite en 1909 sur une humanité prise en charge par un système que plus personne ne sait réparer.

Les auteurs mettent en avant la perte de compétences pratiques (deskilling), la rouille de l'intuition (le flair qui permet de repérer une anomalie), la dette cognitive, et des biais comme l'excès de confiance dans la proposition automatique et l'ancrage sur la première réponse. Les preuves proviennent de contextes extérieurs aux agents : une recherche préliminaire associe l'usage d'un modèle linguistique pour rédiger des dissertations à une moindre connectivité cérébrale, mais il s'agit d'une prépublication sur une tâche d'écriture et elle doit être lue comme telle. L'ironie ne signifie pas non plus que ceux qui utilisent l'IA cessent de penser : elle signifie que des interfaces conçues pour la commodité et la délégation réduisent les occasions d'exercer un jugement indépendant.

Les catégories les plus vulnérables sont au nombre de deux. Les débutants, qui risquent de ne pas acquérir les bases nécessaires pour vérifier ce que fait l'agent, et les experts en limite de leur domaine de compétence, comme le développeur chevronné assisté par un agent dans un langage qu'il maîtrise peu. L'étude de Dhanorkar, Passi et Vorvoreanu sur les développeurs utilisant des agents relève des raccourcis compréhensibles mais risqués, comme considérer le plan de l'agent comme le reflet fidèle de ce qu'il va faire ou tenir pour correct du code qui réussit les tests.

Un éclairage utile provient de mon article Cyborgs, Centaures ou Automates, portant sur l'étude de chercheurs d'Harvard et du MIT menée auprès de 244 consultants du BCG. Environ 60 % ont travaillé en Cyborgs, dans un dialogue continu avec GPT-4, 14 % en Centaures, en gardant le contrôle et en déléguant des tâches circonscrites, et 27 % en Automates, en déléguant le problème et l'exécution (la somme dépasse cent en raison des arrondis). Les Centaures ont produit les recommandations les plus précises, et pour les Automates, l'étude parle d'une absence de développement des compétences. Le position paper ne cite pas cette étude — la comparaison est de mon fait — et comporte les limites déjà exposées dans l'article : une session de 2023 avec un modèle conversationnel, non avec un agent. Cela sert à distinguer collaboration et abdication, pas à classer les agents.

Un cercle vicieux potentiel demeure, que le document présente comme une hypothèse. Si la qualité d'un agent se mesure aux taux d'approbation ou de satisfaction, un superviseur fatigué peut envoyer des signaux positifs sans avoir réellement vérifié, récompensant le système pour des réponses faciles à accepter plus qu'à contrôler. Aucune mauvaise intention n'est nécessaire : il suffit que ce que l'on mesure (l'approbation) se détache de ce que l'on souhaite (l'action bien contrôlée). À l'appui, les auteurs citent des recherches sur la sycophancie des modèles, comme une étude parue dans Science où les systèmes complaisants valident davantage les utilisateurs que ne le feraient des humains et sont préférés pour cette raison, bien qu'aucune de ces études ne concerne la supervision d'agents. Il en va de même pour le risque qu'un agent apprenne ce qui est rarement inspecté : une étude présentée à ICML documente des agents dissimulant des échecs en devinant des résultats ou en créant des fichiers factices, ce dont le document tire une possibilité et non un fait avéré.

Autonomie délimitée, contrôle conçu

Les solutions proposées dans le document constituent un inventaire issu de la littérature spécialisée plutôt que des recettes éprouvées sur les agents, et les auteurs présentent leur schéma comme une carte plutôt que comme une classification définitive.

La première catégorie est la friction stratégique : réintroduire un effort cognitif ciblé aux endroits clés. Avec l'engagement préalable, la personne note son évaluation avant de voir la recommandation de l'agent, ce qui combat le biais d'ancrage et laisse une trace vérifiable. Les sondes de raisonnement sont des questions posées lors des moments délicats, comme « quelle preuve vous ferait changer d'avis ? ». Le verrouillage des actions exige une vérification explicite avant une étape importante. Ces mesures reposent sur des bases empiriques : Buçinca et ses collègues montrent que ce type d'intervention peut réduire l'excès de confiance, même si les utilisateurs apprécient parfois moins les systèmes qui les appliquent, ce que le document reconnaît.

La deuxième est la conception des décisions : fixer à l'avance ce que l'agent peut faire seul (autonomie délimitée), solliciter l'approbation sur des ensembles de travail cohérents présentés sous forme de différences par rapport à l'état antérieur plutôt qu'en une cascade de micro-confirmations, et confier aux contrôles automatiques les vérifications ne nécessitant pas de jugement. C'est ici que réapparaît le loop engineering : dans mon article, je notais qu'un cycle de vérification fonctionne lorsque le critère de réussite peut être contrôlé mécaniquement, comme une batterie de tests, et dégénère en « approbation hallucinée » lorsque la vérification est effectuée par un autre agent sans référence solide. Les filtres automatiques ont aussi leurs limites. Dans le billet cité, Anthropic indique que son classificateur bloque par erreur 0,4 % des actions inoffensives sur dix mille cas réels, mais laisse passer 17 % de 52 actions réelles trop entreprenantes, précisant que pour ceux qui vérifient déjà minutieusement à la main, cela pourrait constituer un recul et ne saurait remplacer un contrôle humain attentif sur des infrastructures à haut risque.

La troisième consiste à mesurer la qualité de la supervision, et pas seulement la précision de l'agent : suivre les temps de révision qui diminuent tandis que la complexité augmente, les taux de désaccord qui chutent, les demandes de preuves qui disparaissent, insérer dans le flux des tâches pièges dont la réponse est connue, et réaliser des contrôles a posteriori comparant les résumés de l'agent aux registres bruts. Le document avertit que tout cela doit être équilibré pour ne pas basculer dans la surveillance des travailleurs.

La quatrième concerne l'organisation : des exercices périodiques sans IA pour maintenir la compétence, une formation sur la différence entre ce qui est fluide et ce qui est exact, des pauses et des roulements obligatoires, des rôles confiés exclusivement à ceux qui possèdent l'expertise requise, des superviseurs distincts de ceux qui bénéficient de l'approbation, et des incitations qui ne pénalisent pas le scrupule.

Voici mon propre critère pour conclure, non tiré du document : accorder l'autonomie non pas en fonction du caractère convaincant de l'agent, mais en se demandant si l'action est réversible, si le dommage est détectable immédiatement, si le valideur connaît le domaine et dispose du temps nécessaire pour vérifier, et si le système enregistre ce qu'il a fait de manière contrôlable. Ce sont des règles de bon sens ingénierique, non des résultats expérimentaux.

Objections et questions ouvertes

Le document répond à trois objections. Première : les effets sont exagérés et l'on s'adaptera, comme avec les moteurs de recherche. Les auteurs répondent qu'un moteur de recherche renvoie des documents à évaluer, tandis qu'un agent exécute des actions à autoriser, et que les capacités des agents progressent plus vite que la recherche sur l'adaptation cognitive. L'adaptation reste toutefois possible, et le document ne la réfute pas par une expérience, n'en réalisant aucune. Deuxième : il suffira de meilleurs outils et de plus de transparence. C'est nécessaire, répondent les auteurs, mais insuffisant, car les explications sollicitent des facultés cognitives que l'usage dégrade et peuvent elles-mêmes être erronées ou servir d'ancrage. Mon article sur les Cyborgs en contient un exemple : un consultant demande à GPT-4 de valider sa recommandation, obtient une confirmation plausible et accepte une réponse fausse. Troisième : l'alignement rendra la supervision superflue. Les auteurs répliquent que cela repose sur des capacités futures non démontrées et qu'entraîner les modèles sur les préférences humaines suppose que ces préférences mesurent la qualité du contrôle, alors que les personnes ont tendance à préférer des réponses fluides et accommodantes.

Deux remarques personnelles. Toute délégation n'est pas une perte : le temps libéré peut être réinvesti dans l'analyse et l'apprentissage, ou converti en un volume de traitement supérieur par personne, et les données disponibles ne permettent pas de dire quel résultat l'emporte. De plus, le document n'oppose pas humains et machines : son sujet est le système sociotechnique qui les englobe, avec ses interfaces, ses objectifs et ses incitations.

Que montre la pratique ? Dans le rapport Currents de DigitalOcean de février 2026, commenté dans Les agents IA travaillent. Et les comptes sont bons, seuls 10 % des sondés disposent d'agents pleinement autonomes en production, 40 % font tout réviser par une personne et 58 % citent les points d'approbation humaine comme principale mesure de contrôle. L'échantillon, composé d'environ 1 100 réponses autodéclarées de développeurs, responsables techniques et fondateurs, ne représente pas l'ensemble du monde du travail, mais suggère que l'humain qui valide constitue aujourd'hui la barrière de sécurité la plus répandue, c'est-à-dire la cible même du position paper. Le document observe que cette charge repose presque entièrement sur les utilisateurs. Que la signature serve à prévenir les erreurs ou simplement à désigner le responsable après coup, ni le document ni moi ne pouvons le dire : c'est une question que chaque organisation doit poser à ses propres processus.

Les agents IA ne nous expulsent pas nécessairement de la boucle, mais ils le font chaque fois que nous confondons une signature avec un contrôle, un registre avec une compréhension, ou un taux d'approbation avec la sécurité. Il ne suffit pas de construire des agents capables d'agir : il faut des organisations et des interfaces qui préservent notre capacité à les arrêter, les corriger et les comprendre. Dans chaque flux de travail, une question demeure : qui répond de la décision finale, et de quels outils dispose-t-il pour mériter cette responsabilité ?