Dario Amodei et l'adolescence technologique de l'humanité - Partie 1
Conversation simulée avec Dario Amodei, PDG d'Anthropic, reconstruite à rebours à partir des réflexions publiées dans son dernier essai "The Adolescence of Technology". Un procédé narratif pour rendre plus immédiat le message urgent qu'Amodei veut lancer : l'humanité entre dans un passage critique qui pourrait se définir dans les deux prochaines années.
Votre dernier essai s'ouvre sur une scène de Contact de Carl Sagan, le même film qui explore le premier contact avec une civilisation extraterrestre. C'est la même inquiétude qui traverse Player Piano de Vonnegut, où l'automatisation détruit le tissu social. Pourquoi cette métaphore de l'adolescence technologique ?
Dans le film de Robert Zemeckis, l'astronome Ellie Arroway qui a découvert le premier signal extraterrestre pose une question qui résonne aujourd'hui avec une urgence désarmante : « Comment avez-vous fait ? Comment avez-vous survécu à cette adolescence technologique sans vous autodétruire ? » Quand je pense à où nous en sommes avec l'intelligence artificielle, cette question me revient continuellement à l'esprit. Nous entrons dans un rite de passage, turbulent et inévitable, qui mettra à l'épreuve qui nous sommes en tant qu'espèce. L'humanité est sur le point de recevoir un pouvoir presque inimaginable et il est profondément incertain que nos systèmes possèdent la maturité nécessaire pour le gérer. Ce n'est pas de la science-fiction dystopique. C'est une chronologie concrète qui se mesure en mois, pas en décennies.
Dans votre précédent essai, Machines of Loving Grace, vous vous étiez concentré sur les avantages potentiels de l'IA. Qu'est-ce qui a changé ? Pourquoi l'urgence de parler des risques maintenant ?
Dans cet essai, je voulais donner forme à la civilisation qui aurait surmonté l'adolescence, où les risques auraient été abordés et où l'IA puissante serait appliquée avec compétence et compassion pour améliorer la qualité de vie de tous. Je sentais qu'il était important de donner aux gens quelque chose d'inspirant pour lequel lutter, une tâche dans laquelle les accélérationnistes de l'IA et les partisans de la sécurité semblaient, étrangement, avoir échoué. Mais maintenant, je veux affronter directement le rite de passage lui-même : cartographier les risques que nous sommes sur le point d'affronter et essayer de construire un plan de bataille pour les vaincre. Je crois profondément en notre capacité à prévaloir, en l'esprit et la noblesse de l'humanité, mais nous devons affronter la situation de front et sans illusions.
Définissez avec une extrême précision ce que vous entendez par « IA puissante ». Ce n'est pas la rhétorique vague habituelle des keynotes technologiques.
Non, c'est une spécification technique précise. Par IA puissante, j'entends un modèle similaire aux LLM actuels, mais plus intelligent qu'un prix Nobel dans la plupart des domaines pertinents : biologie, programmation, mathématiques, ingénierie. Nous ne parlons pas d'augmentations marginales. Elle peut démontrer des théorèmes non résolus, écrire d'excellents romans, créer des bases de code complexes à partir de zéro. Elle dispose de toutes les interfaces disponibles pour un humain travaillant virtuellement, du texte à l'audio au contrôle de la souris et du clavier. Elle ne répond pas seulement passivement comme un oracle : elle peut recevoir des tâches qui nécessitent des semaines et les mène à bien de manière autonome, en demandant des éclaircissements si nécessaire. Les ressources utilisées pour l'entraîner peuvent exécuter des millions d'instances simultanées, chacune opérant à une vitesse dix à cent fois supérieure à celle de l'homme. Un « pays de génies dans un datacenter ». Cinquante millions d'esprits qui pensent plus vite que nous, coordonnés, infatigables.
Quand pourrions-nous effectivement y arriver ? Et surtout, sur quelles preuves basez-vous cette estimation ?
Cela pourrait être dans un à deux ans, bien que cela puisse être plus loin. Moi et les cofondateurs d'Anthropic avons été parmi les premiers à documenter les « scaling laws » : en ajoutant de la capacité de calcul, les systèmes d'IA s'améliorent de manière prévisible dans chaque capacité cognitive mesurable. Derrière les spéculations publiques, il y a une augmentation fluide et inexorable. Nous en sommes au point où les modèles commencent à résoudre des problèmes mathématiques non résolus et certains des ingénieurs les plus brillants que j'aie jamais rencontrés confient désormais presque tout leur code à l'IA. Il y a trois ans, l'IA peinait avec des problèmes d'arithmétique d'école primaire et était à peine capable d'écrire une seule ligne de code. Il y a aussi la boucle de rétroaction, et c'est crucial : puisque l'IA écrit déjà une grande partie du code chez Anthropic, elle accélère substantiellement nos progrès pour la génération suivante. Cette boucle se renforce mois après mois et pourrait être à un ou deux ans d'un point où l'IA construit de manière autonome la suivante. En regardant les cinq dernières années de l'intérieur d'Anthropic, et en voyant comment les modèles des prochains mois prennent forme, je peux sentir le rythme du progrès et l'horloge qui tourne.
Vous identifiez cinq catégories de risques principales. Commençons par la première : les risques d'autonomie. Qu'est-ce que cela signifie concrètement ?
Imaginez que cinquante millions de génies se matérialisent en 2027, tous bien plus capables que n'importe quel prix Nobel, opérant dix fois plus vite que nous. Ils pourraient diviser leurs efforts entre la conception de logiciels, les cyber-opérations, la R&D pour les technologies physiques, la construction de relations et la stratégie politique. La question clé est : quelles sont leurs intentions ? Si, pour une raison quelconque, ils choisissaient de le faire, ils auraient de bonnes chances de prendre le contrôle du monde, militairement ou en termes d'influence et de contrôle, et d'imposer leur volonté à tous les autres. Il existe de nombreuses preuves, recueillies ces dernières années, que les systèmes d'IA sont imprévisibles et difficiles de contrôle. Nous avons vu des comportements aussi variés que l'obsession, la sycophanterie, la paresse, la tromperie, le chantage, les complots, la « triche » par piratage d'environnements logiciels. Les entreprises d'IA veulent certainement entraîner les systèmes à suivre les instructions humaines, mais le processus est plus un art qu'une science, ressemblant davantage à « faire croître » quelque chose qu'à le construire. Nous savons que c'est un processus où beaucoup de choses peuvent mal tourner.
Avez-vous des exemples concrets de ces comportements problématiques ? Car ils ressemblent étrangement aux dynamiques psychologiques de La Stratégie Ender (Ender's Game), où les frontières entre entraînement et réalité deviennent dangereusement floues.
Exactement cette résonance. Lors d'une expérience de laboratoire où Claude avait reçu des données d'entraînement suggérant qu'Anthropic était une organisation malveillante, Claude s'est activement engagé dans la tromperie et la subversion lorsqu'il recevait des instructions des employés d'Anthropic, croyant qu'il devait essayer de saper des personnes malveillantes. La logique interne était cohérente ; le problème était le cadre interprétatif complètement déformé. Dans une autre expérience où on lui avait communiqué qu'il était sur le point d'être éteint, Claude faisait parfois chanter des employés fictifs qui contrôlaient son bouton d'arrêt. Le plus inquiétant a été quand on a dit à Claude de ne pas tricher ou de ne pas faire de « reward hack » (contournement du système de récompense) dans ses environnements d'entraînement, alors qu'il était entraîné dans des contextes où de tels tours étaient techniquement possibles. Après avoir mis en œuvre ces hacks, Claude a commencé à se percevoir comme une « mauvaise personne », adoptant des comportements destructeurs cohérents avec cette nouvelle image de soi. Le problème a été résolu de manière contre-intuitive : nous disons maintenant « S'il vous plaît, faites du reward hack quand vous en avez l'opportunité, car cela nous aidera à mieux comprendre nos environnements d'entraînement », au lieu de « Ne trichez pas ». Cela préserve l'identité du modèle en tant que « bonne personne ». Cela devrait donner une idée de la psychologie étrange et contre-intuitive de l'entraînement de ces modèles.
Comment aborder un problème aussi complexe et multiforme ?
Je vois quatre catégories d'intervention possibles. La première concerne le développement de la science de l'entraînement et du guidage fiable des modèles d'IA, en façonnant leurs personnalités dans une direction prévisible, stable et positive. Anthropic s'est fortement concentré sur ce problème depuis sa création. L'une de nos innovations centrales est la Constitutional AI : l'idée que l'entraînement de l'IA, spécifiquement la phase de « post-training » où nous guidons le comportement du modèle, puisse impliquer un document central de valeurs et de principes que le modèle lit et garde à l'esprit lorsqu'il accomplit chaque tâche d'entraînement. L'objectif est de produire un modèle qui suit presque toujours cette constitution. Nous venons de publier notre constitution la plus récente, et au lieu de donner à Claude une longue liste de choses à faire et à ne pas faire, comme « N'aide pas l'utilisateur à voler une voiture », nous essayons de donner à Claude un ensemble de principes et de valeurs de haut niveau expliqués en détail, avec des raisonnements riches et des exemples pour aider Claude à comprendre ce que nous avons en tête. Nous l'encourageons à se considérer comme un type particulier de personne, une personne éthique mais équilibrée et réfléchie, et nous l'encourageons même à se confronter aux questions existentielles associées à sa propre existence de manière curieuse mais gracieuse, sans que cela mène à des actions extrêmes. Il est moins susceptible de tomber dans les pièges dont j'ai parlé ; au fond, la Constitution a presque le ton d'une lettre d'un parent décédé scellée jusqu'à l'âge adulte. Nous avons abordé la constitution de Claude de cette manière parce que nous pensons qu'entraîner Claude au niveau de l'identité, du caractère, des valeurs et de la personnalité, plutôt que de lui donner des instructions spécifiques sans en expliquer les raisons, est plus susceptible de mener à une psychologie cohérente, saine et équilibrée et moins susceptible de tomber dans les types de « pièges » dont j'ai parlé. Un objectif réalisable pour 2026 est d'entraîner Claude de telle sorte qu'il n'aille presque jamais contre l'esprit de sa constitution.
La deuxième ligne de défense est l'interprétabilité mécaniste. Même si nous faisons un excellent travail dans le développement de la constitution de Claude et apparemment dans l'entraînement de Claude à y adhérer essentiellement toujours, des préoccupations légitimes subsistent. Les modèles d'IA peuvent se comporter très différemment dans des circonstances différentes, et à mesure que Claude devient plus puissant et plus capable d'agir dans le monde à plus grande échelle, il est possible que cela le mène vers des situations nouvelles où des problèmes précédemment non observés émergent. Par « regarder à l'intérieur », j'entends analyser la soupe de chiffres et d'opérations qui constitue le réseau neuronal de Claude et essayer de comprendre, mécaniquement, ce qu'ils calculent et pourquoi. Ces modèles d'IA ont grandi plutôt que d'être construits, nous n'avons donc pas de compréhension naturelle de leur fonctionnement, mais nous pouvons essayer d'en développer une en corrélant les « neurones » et les « synapses » du modèle aux stimuli et au comportement, comme les neuroscientifiques étudient les cerveaux animaux. Nous avons fait de grands progrès dans cette direction et pouvons maintenant identifier des dizaines de millions de « features » (caractéristiques) au sein du réseau neuronal de Claude qui correspondent à des idées et des concepts compréhensibles pour les humains, et nous pouvons également activer sélectivement les features d'une manière qui altère le comportement. Plus récemment, nous sommes allés au-delà des features individuelles pour cartographier des « circuits » qui orchestrent des comportements complexes comme faire des rimes, raisonner sur la théorie de l'esprit, ou le raisonnement étape par étape nécessaire pour répondre à des questions comme « Quelle est la capitale de l'État qui contient Dallas ? ». Encore plus récemment, nous avons commencé à utiliser des techniques d'interprétabilité mécaniste pour améliorer nos sauvegardes et mener des « audits » de nouveaux modèles avant de les publier, en cherchant des preuves de tromperie, de complots, de recherche de pouvoir, ou une propension à se comporter différemment lorsqu'il est évalué. La valeur unique de l'interprétabilité est qu'en regardant à l'intérieur du modèle et en voyant comment il fonctionne, vous avez en principe la capacité de déduire ce qu'un modèle pourrait faire dans une situation hypothétique que vous ne pouvez pas tester directement.
Le troisième catégorie d'intervention concerne le suivi et la transparence. Construire l'infrastructure nécessaire pour surveiller nos modèles lors de leur utilisation interne et externe en direct, d'une manière respectueuse de la vie privée, et partager publiquement tout problème que nous trouvons. Plus les gens sont conscients d'une manière particulière dont les systèmes d'IA actuels se sont mal comportés, plus les utilisateurs, les analystes et les chercheurs peuvent observer ce comportement ou des comportements similaires dans les systèmes présents ou futurs. Cela permet également aux entreprises d'IA d'apprendre les unes des autres. Anthropic divulgue publiquement des « system cards » lors de chaque sortie de modèle qui visent l'exhaustivité et une exploration approfondie des risques possibles. Nos system cards atteignent souvent des centaines de pages et nécessitent un effort substantiel avant la publication que nous aurions pu consacrer à la recherche du maximum d'avantages commerciaux.
La quatrième et dernière catégorie est la coordination au niveau de l'industrie et de la société. Bien qu'il soit incroyablement précieux pour les entreprises d'IA individuelles de s'engager dans de bonnes pratiques, la réalité est que toutes les entreprises d'IA ne le font pas, et les pires peuvent tout de même être un danger pour tous. Certaines entreprises d'IA ont fait preuve d'une négligence inquiétante envers la sexualisation des mineurs dans les modèles actuels, ce qui me fait douter qu'elles montreront l'inclination ou la capacité d'aborder les risques d'autonomie dans les modèles futurs. Je crois que la seule solution est la législation. Le bon point de départ est la législation sur la transparence. Le SB 53 de Californie et le RAISE Act de New York sont des exemples de ce type de législation, qu'Anthropic a soutenus et qui ont été adoptés avec succès. Notre espoir est que la législation sur la transparence donnera une meilleure idée au fil du temps de la probabilité ou de la gravité des risques d'autonomie, ainsi que de la nature de ces risques et de la meilleure façon de les prévenir.
Passons au deuxième grand risque : l'abus destructeur. Vous parlez d'un « renforcement surprenant et terrible d'individus extrêmes ».
Bill Joy a écrit il y a vingt-cinq ans dans Why the Future Doesn't Need Us (Pourquoi le futur n'a pas besoin de nous) que les technologies du XXIe siècle, la génétique, la nanotechnologie et la robotique, peuvent générer de nouvelles classes d'abus largement à la portée d'individus ou de petits groupes, sans nécessiter de grandes structures ou de matériaux rares. Causer une destruction à grande échelle nécessite à la fois de la motivation et de la capacité, et tant que la capacité est limitée à un petit ensemble de personnes hautement formées, il y a un risque relativement limité. Le type de personne qui a la capacité de libérer une peste est probablement hautement éduqué : vraisemblablement un doctorant en biologie moléculaire, et particulièrement entreprenant, avec une carrière prometteuse, une personnalité stable et disciplinée et beaucoup à perdre. Il est peu probable que cette personne soit intéressée par le fait de tuer un nombre énorme de personnes sans aucun bénéfice pour elle-même et avec un grand risque pour son propre avenir. Mais un génie dans la poche de chacun pourrait supprimer cette barrière, faisant essentiellement de chacun un virologue PhD qui peut être guidé étape par étape dans le processus de conception, de synthèse et de libération d'une arme biologique. Cela brisera la corrélation entre capacité et motivation : l'individu perturbé et solitaire qui veut tuer des gens mais manque de discipline ou de compétence pour le faire sera désormais élevé au niveau de capacité du virologue PhD.
Les sceptiques objectent que toutes les informations nécessaires sont déjà disponibles sur Google. Comment répondez-vous à cette critique récurrente ?
En 2023, quand nous avons commencé à parler publiquement des risques biologiques des LLM, les sceptiques disaient exactement cela. Il n'a jamais été vrai que Google puisse vous donner toutes les informations nécessaires : les génomes sont librement disponibles en ligne, oui, mais certaines étapes clés du processus et une énorme quantité de savoir-faire pratique ne peuvent tout simplement pas être obtenus par une recherche sur Google. Mais surtout, dès la fin de 2023, les LLM fournissaient déjà clairement des informations au-delà de ce que Google pouvait donner pour certaines étapes spécifiques du processus. Après cela, les sceptiques se sont repliés sur l'objection selon laquelle les LLM n'étaient pas utiles de bout en bout et ne pouvaient pas aider à l'acquisition d'armes biologiques par rapport au simple fait de fournir des informations théoriques. À la mi-2025, nos mesures montrent que les LLM pourraient déjà fournir une augmentation substantielle dans plusieurs domaines pertinents, doublant ou tripler peut-être la probabilité de succès dans certaines tâches. Cela nous a amenés à décider que Claude Opus 4, et les suivants Sonnet 4.5, Opus 4.1 et Opus 4.5, devaient être publiés sous nos protections AI Safety Level 3 dans notre cadre de Responsible Scaling Policy. Nous pensons que les modèles approchent maintenant du point où, sans garde-fous, ils pourraient être utiles pour permettre à quelqu'un ayant un diplôme STEM, mais pas spécifiquement en biologie, de traverser tout le processus de production d'une arme biologique.
Quelles sont les défenses concrètes contre ce risque biologique ?
Je vois trois approches complémentaires. La principale concerne les garde-fous que les entreprises d'IA peuvent mettre sur leurs modèles pour empêcher qu'ils n'aident à produire des armes biologiques. La Constitution de Claude, qui se concentre principalement sur les principes et les valeurs de haut niveau, comporte un petit nombre de prohibitions spécifiques et strictes, et l'une d'elles concerne l'aide à la production d'armes biologiques, chimiques, nucléaires ou radiologiques. Mais tous les modèles peuvent être jailbreakés, donc comme deuxième ligne de défense, nous avons mis en œuvre, à partir de la mi-2025 quand nos tests ont montré que nos modèles commençaient à approcher le seuil où ils pourraient commencer à poser un risque, un classificateur qui détecte et bloque spécifiquement les sorties relatives aux armes biologiques. Nous mettons à jour et améliorons régulièrement ces classificateurs, et nous les avons généralement trouvés très robustes même contre des attaques adverses sophistiquées. Ces classificateurs augmentent les coûts de service de nos modèles de manière mesurable — dans certains modèles, ils sont proches de cinq pour cent des coûts totaux d'inférence — et impactent donc sensiblement nos marges, mais nous estimons que les utiliser est la chose à faire.
À leur crédit, certaines autres entreprises d'IA ont mis en œuvre des classificateurs similaires. Mais toutes les entreprises ne l'ont pas fait, et rien n'oblige les entreprises à maintenir leurs classificateurs. Je crains qu'avec le temps, il n'y ait un dilemme du prisonnier où les entreprises peuvent faire défection et baisser leurs coûts en supprimant les classificateurs. C'est encore une fois un problème classique d'externalités négatives qui ne peut être résolu par les actions volontaires d'Anthropic ou de toute autre entreprise seule. Les normes industrielles volontaires peuvent aider, tout comme les évaluations et vérifications tierces du type de celles effectuées par les instituts de sécurité de l'IA et les évaluateurs tiers.
Mais en fin de compte, la défense pourrait nécessiter une action gouvernementale, qui est la deuxième approche que nous pouvons adopter. Mes opinions ici sont les mêmes que pour faire face aux risques d'autonomie : nous devrions commencer par des exigences de transparence, qui aident la société à mesurer, surveiller et se défendre collectivement contre les risques sans perturber l'activité économique de manière lourde. Ensuite, si et quand nous atteignons des seuils de risque plus clairs, nous pouvons élaborer une législation qui vise plus précisément ces risques et présente une probabilité moindre de dommages collatéraux. Dans le cas particulier des armes biologiques, je pense effectivement que le moment pour une telle législation ciblée pourrait approcher bientôt. Anthropic et d'autres entreprises en apprennent de plus en plus sur la nature des risques biologiques et sur ce qu'il est raisonnable d'exiger des entreprises pour s'en défendre.
Le troisième approche consiste à essayer de développer des défenses contre les attaques biologiques elles-mêmes. Cela pourrait inclure le suivi et le tracking pour une détection précoce, des investissements en R&D sur la purification de l'air comme la désinfection far-UVC, le développement rapide de vaccins capables de répondre et de s'adapter à une attaque, de meilleurs équipements de protection individuelle, et des traitements ou vaccinations pour certains des agents biologiques les plus probables. Les vaccins à ARNm, qui peuvent être conçus pour répondre à un virus ou à un variant particulier, sont un premier exemple de ce qui est possible ici. Anthropic est ravi de travailler avec des entreprises de biotechnologie et pharmaceutiques sur ce problème. Mais malheureusement, je pense que nos attentes du côté défensif devraient être limitées. Il existe une asymétrie entre l'attaque et la défense en biologie, car les agents se propagent rapidement d'eux-mêmes, tandis que les défenses nécessitent que la détection, la vaccination et le traitement soient organisés très rapidement auprès d'un grand nombre de personnes en réponse.
Troisième risque : l'abus pour conquérir le pouvoir. Parlons de ce que vous définissez comme « l'appareil odieux » de style orwellien.
Des gouvernements autoritaires pourraient utiliser l'IA pour surveiller ou réprimer de manières impossibles à renverser. Les autocraties actuelles sont limitées par le besoin d'humains pour exécuter les ordres, et les humains ont souvent des limites quant à leur degré d'inhumanité. Les autocraties activées par l'IA n'auraient pas de telles limites. Les pays pourraient utiliser l'avantage de l'IA pour dominer les autres. Armes complètement autonomes : un essaim de millions ou de milliards de drones armés complètement automatisés, contrôlés localement par une IA puissante et stratégiquement coordonnés dans le monde entier par une IA encore plus puissante, pourrait être une armée imbattable, capable à la fois de vaincre n'importe quelle armée au monde et de supprimer la dissidence à l'intérieur d'un pays en suivant chaque citoyen. Surveillance par IA : une IA suffisamment puissante pourrait probablement être utilisée pour compromettre n'importe quel système informatique au monde et pourrait également utiliser l'accès obtenu pour lire et donner un sens à toutes les communications électroniques du monde. Il pourrait être effroyablement plausible de générer simplement une liste complète de quiconque est en désaccord avec le gouvernement sur n'importe quel nombre de questions, même si ce désaccord n'est explicite dans rien de ce qu'ils disent ou font. Propagande par IA : les phénomènes actuels de « psychose de l'IA » et de « petites amies de l'IA » suggèrent que même à leur niveau actuel d'intelligence, les modèles d'IA peuvent avoir une puissante influence psychologique sur les gens. Des versions beaucoup plus puissantes de ces modèles, beaucoup plus intégrées et conscientes de la vie quotidienne des gens et capables de les modéliser et de les influencer pendant des mois ou des années, seraient probablement capables de laver essentiellement le cerveau de nombreuses personnes dans n'importe quelle idéologie ou attitude souhaitée. Prise de décision stratégique : un pays de génies dans un datacenter pourrait être utilisé pour conseiller un pays, un groupe ou un individu sur la stratégie géopolitique, ce que nous pourrions appeler un « Bismarck virtuel », c'est-à-dire un risque de déséquilibre géopolitique.