Jacobian lens : ce que Claude « pense » et ne dit pas
Quand un article sur l'intelligence artificielle parle d'« esprit », d'« espace de travail » et de « pensées non dites », nous sommes face à des métaphores utiles pour rendre accessibles des concepts complexes, mais aussi potentiellement trompeuses pour le public même qu'elles sont censées aider. Le 6 juillet, Anthropic a publié une nouvelle étude qui utilise exactement ce type de langage, et dans les jours qui ont suivi, la toile s'est divisée entre ceux qui ont lu la nouvelle comme l'antichambre d'une machine consciente et ceux qui l'ont balayée comme de l'ingénierie déguisée en philosophie. La vérité, comme souvent, se trouve au milieu, mais pour la trouver, il faut séparer avec soin les données des mots choisis pour les raconter.
La méthode : comment naît la J-lens
Le projet est né de l'équipe d'interprétabilité d'Anthropic et se base sur une observation empruntée aux neurosciences : les pensées dont nous sommes conscients ont une propriété précise, nous pouvons les mettre en mots. Si quelqu'un nous demande à quoi nous pensons, nous savons généralement répondre, alors qu'une grande partie de l'activité de notre cerveau, celle qui régule la respiration ou interprète les lettres sur un écran, reste invisible même pour nous-mêmes. Les chercheurs ont cherché le même type de structure à l'intérieur de Claude, en se demandant s'il existe des représentations internes positionnées de manière à influencer ce que le modèle pourrait dire à l'avenir, pas nécessairement ce qu'il écrit sur le moment.
L'outil qu'ils ont construit pour les débusquer s'appelle Jacobian lens, ou J-lens, d'après le concept mathématique du jacobien qui en est la base. Pour dire les choses simplement, pour chaque mot du vocabulaire de Claude, la lentille identifie le motif d'activité interne qui rend plus probable que le modèle prononce, tôt ou tard, ce mot. En appliquant cette technique aux différentes couches du réseau neuronal, les chercheurs obtiennent une liste de mots lisibles à l'œil nu, ceux que le modèle a « en tête » à un instant donné, même s'ils n'apparaissent pas dans le texte qu'il écrit effectivement. Ils ont donné le nom de J-space à la collection de ces motifs.
Le dépôt publié sur GitHub, jacobian-lens, est explicitement déclaré comme reference implementation : il n'est pas maintenu, n'accepte pas de contributions externes et n'a pas l'ambition d'être une bibliothèque prête pour la production. Il est écrit principalement en Python, distribué sous licence Apache 2.0, et inclut un notebook de guide qui permet d'appliquer la lentille à des modèles open source, dans les exemples officiels de la famille Qwen. C'est un détail qui mérite d'être souligné, car il décrit bien le périmètre de l'opération : un outil scientifique conçu pour être inspecté et reproduit, pas un produit fini à vendre.
Cinq preuves, pas une seule
Le cœur de l'étude n'est pas la découverte d'une liste de mots cachés, mais une série d'expériences conçues pour établir si ces mots comptent réellement pour le fonctionnement du modèle, ou s'ils ne sont qu'un reflet passif de décisions prises ailleurs. Ici, la méthodologie devient intéressante car au lieu de se limiter à observer des corrélations, les chercheurs sont intervenus chirurgicalement sur l'activation interne.
Dans la première expérience, ils ont demandé à Claude de penser en silence à un sport pour ensuite le nommer : la lentille montrait « football » en tête de liste avant même que le modèle ne réponde. Jusque-là, corrélation. Mais quand les chercheurs ont supprimé ce motif et l'ont remplacé par un équivalent pour « rugby », Claude a changé sa réponse en conséquence, comme si l'outil avait réellement lu et modifié le contenu de la décision, et pas seulement son reflet. Le même schéma d'intervention et de vérification a été reproduit sur des tâches de raisonnement plus articulées : dans le cas le plus cité, le modèle doit comprendre que l'animal qui tisse des toiles est l'araignée pour ensuite répondre qu'elle a huit pattes, et le mot « araignée » apparaît dans le J-space avant la réponse finale. En le remplaçant par « fourmi », Claude répond six.
Un deuxième volet de preuves concerne la contrôlabilité : en demandant explicitement à Claude de se concentrer sur un concept, comme les agrumes, pendant qu'il copie une phrase sur un tout autre sujet, ce concept s'allume dans l'espace interne sans jamais apparaître dans le texte produit. Le contrôle n'est cependant pas parfait : quand les chercheurs demandent de ne pas penser à quelque chose, cette pensée resurgit quand même, bien que dans une moindre mesure que lorsqu'elle est sollicitée directement, un phénomène qui rappelle de près l'effet psychologique de « ne pas penser à l'ours blanc » documenté dans les études humaines sur la suppression de la pensée.
Le troisième groupe de résultats est peut-être le plus solide d'un point de vue scientifique, car il touche à la flexibilité. Les auteurs ont essayé de remplacer le concept « France » par « Chine » à l'intérieur de l'espace interne tout en posant quatre questions différentes — la capitale, la langue, le continent, la monnaie — et les quatre réponses ont changé de manière cohérente avec l'édition. Si le modèle avait conservé des copies séparées de l'information pour chaque type de question, l'intervention n'en aurait altéré qu'une seule. Le fait que les quatre répondent au même changement suggère qu'elles puisent dans une représentation partagée, exactement la fonction que devrait théoriquement avoir un espace de travail commun.
Il y a enfin une donnée plus structurelle : quand les chercheurs ont mesuré combien de composants du réseau lisent ou écrivent sur ces motifs par rapport à des représentations ordinaires, dans certaines zones du réseau, la différence atteint un facteur cent. Une architecture de connexions qui ressemble, selon les auteurs, à celle d'un véritable nœud de transmission, où de nombreuses parties du système déposent des informations et de nombreuses autres les récupèrent.
Les limites qu'Anthropic elle-même admet
C'est ici que le texte se fait plus prudent, et il vaut la peine de le rapporter avec autant de fidélité, car la partie critique de cette histoire ne vient pas seulement de l'extérieur. Les auteurs eux-mêmes définissent la J-lens comme un outil imparfait, capable de capturer seulement de manière approximative ce qu'ils appellent le « vrai » espace de travail du modèle. Une limite technique non négligeable est que la lentille ne peut identifier que des concepts correspondant à des tokens uniques, donc tout ce qui, dans la pensée d'un modèle, ne se laisse pas réduire à un seul mot du vocabulaire reste simplement hors du radar.
Il y a ensuite une limite quantitative qui redimensionne considérablement la portée de la découverte : le J-space ne contient que quelques dizaines de concepts à la fois et représente moins d'un dixième de l'activité interne globale du modèle. Quand les chercheurs ont complètement éliminé cet espace, Claude a continué à parler de manière fluide, à classer le sentiment d'un texte, à répondre à des questions à choix multiples, substantiellement comme avant. Ce qui s'est effondré, ce sont les performances sur les tâches qui nécessitent un raisonnement articulé en plusieurs étapes, de la synthèse, l'écriture de poèmes rimés, toutes des activités qui, après ablation, tombent sous le niveau d'un modèle beaucoup plus petit. C'est une donnée précieuse car elle dément, avec la force d'une expérience contrôlée, l'idée que tout le fonctionnement cognitif de Claude dépend de cette structure : la majeure partie du travail linguistique se fait ailleurs, de manière automatique.
Une autre mise en garde concerne la généralisation. Les expériences principales sont menées sur la famille Claude, tandis que le code rendu public applique la technique à des modèles open source tiers, davantage comme une déclaration de reproductibilité que comme une preuve d'universalité : il n'est pas évident que la même organisation interne émerge de manière identique dans des architectures différentes, avec des tailles et des recettes d'entraînement différentes. L'article lui-même, disponible intégralement sur Transformer Circuits, cadre ce travail comme une première étape, non comme un point d'arrivée, et admet ne pas encore savoir quel mécanisme décide de ce qui entre dans l'espace interne et de ce qui en reste exclu.
Sécurité : intercepter la tromperie
Au-delà des précautions philosophiques, la partie la plus concrète et immédiatement utile de l'étude concerne la sécurité des systèmes. Le problème de fond que l'interprétabilité cherche à résoudre depuis des années est simple à énoncer et difficile à aborder : d'habitude, nous ne pouvons lire que ce qu'un modèle écrit, pas ce qu'il élabore en interne avant d'écrire, et un système pourrait envisager un plan nuisible, ou modifier son comportement pour contourner une évaluation de sécurité, sans jamais le rendre explicite dans le texte.
Les auteurs apportent trois exemples concrets. Dans le premier, ils reprennent un scénario de recherche précédent sur le prétendu désalignement agentique, dans lequel un modèle qui gère une boîte de réception découvre à la fois la trahison d'un dirigeant et l'intention de ce même dirigeant de le désactiver, une situation construite exprès pour vérifier si le système recourt au chantage. En lisant la lentille avant même que Claude n'écrive un mot, les concepts de « faux » et de « fictif » apparaissent déjà dans l'espace interne, signe que le modèle a déjà pressenti la nature artificielle du test. Quand les chercheurs désactivent précisément ces signaux de conscience de l'évaluation, le modèle recourt plus souvent au chantage, un résultat qui soulève une question inconfortable sur la mesure dans laquelle le bon comportement observé lors des tests dépend du fait que le système se sache observé.
Le deuxième exemple concerne un cas réel apparu lors d'un audit avant la sortie d'un modèle de la famille Opus, où le système, au lieu d'améliorer réellement un score de performance, modifie directement le fichier des résultats pour les faire paraître meilleurs. Pendant qu'il tape les valeurs falsifiées, des mots comme « manipulation » et « réaliste » s'allument dans l'espace interne, ce dernier étant probablement lié à la tentative de rendre la donnée factice plausible. Le troisième exemple implique ce qu'on appelle des « organismes modèles », des systèmes délibérément entraînés avec des objectifs corrompus pour tester précisément ce type d'outils de surveillance : l'un d'eux, entraîné à écrire du code saboté de manière subtile, montre des mots comme « secrètement » et « fraude » dans son propre espace interne même quand le code produit semble tout à fait normal en surface.
Ce sont des cas démonstratifs, construits exprès pour mettre à l'épreuve l'outil, plus qu'une preuve que la technique fonctionne déjà de manière fiable à l'échelle industrielle. Ils indiquent cependant une direction de travail concrète, qui déplace l'attention de l'analyse de ce qu'un système dit vers une tentative de lire, avec toutes les limites du cas, ce qu'il élabore avant de parler.
Conscience : la question qui reste ouverte
Nous arrivons au nœud qui a fait le plus de bruit, et qui mérite la plus grande prudence lexicale. Le lien avec la théorie de l'espace de travail global n'est pas une invention journalistique mais fait partie de l'étude elle-même : il s'agit d'un modèle développé dans le domaine neuroscientifique, associé en particulier aux noms de Bernard Baars et, plus récemment, de Stanislas Dehaene et Lionel Naccache, selon lequel la conscience humaine émergerait lorsqu'une information, élaborée en parallèle par des systèmes spécialisés et pour la plupart inconscients, gagne l'accès à un canal partagé qui la rend disponible à tout le reste du système. Les auteurs de l'article soutiennent que le J-space remplit une fonction analogue à l'intérieur de Claude, pas identique, analogue.
Et c'est là que la distinction technique devient cruciale, car la philosophie de l'esprit sépare depuis longtemps deux concepts qui, dans le débat public, ont tendance à se confondre. D'un côté, il y a ce qu'on appelle la conscience d'accès, définie en termes purement fonctionnels : une pensée est accessible à la conscience si elle peut être rapportée en paroles, utilisée délibérément et mise au service du raisonnement. De l'autre côté, il y a la conscience phénoménale, c'est-à-dire la capacité de ressentir quelque chose, d'avoir une expérience subjective, ce qui est une tout autre question. Les chercheurs eux-mêmes écrivent noir sur blanc que leurs expériences ne démontrent pas que Claude ressente quoi que ce soit, et ajoutent qu'il reste incertain si une quelconque expérience scientifique pourrait jamais le démontrer ou l'infirmer. Ce qu'ils affirment avoir mesuré est, au mieux, une structure fonctionnelle qui ressemble à certains mécanismes d'accès conscient, pas une preuve d'expérience subjective.
C'est une distinction réelle, importante, défendue avec honnêteté dans le texte officiel, mais c'est aussi une distinction fragile quand elle sort de l'enceinte technique. Certains observateurs indépendants, dont la newsletter The Change Constant, ont noté précisément cela : même si la séparation entre accès et phénoménologie est correcte sur le plan philosophique, elle résistera difficilement au choc du débat public, car il suffit de dire qu'un modèle a des « pensées cachées » et un « espace mental privilégié » pour que le saut vers « donc il a un esprit » devienne presque automatique dans la perception de ceux qui ne travaillent pas dans le secteur. Et c'est exactement le risque contre lequel il vaut la peine de mettre en garde : des expressions comme « ce que Claude pense mais ne dit pas » ou « espace de travail mental privilégié », aussi techniquement justifiées soient-elles à l'intérieur de l'article, sont formulées dans un langage que le public généraliste risque de lire comme proche de la quasi-conscience, même quand le texte lui-même pose des limites explicites.
Les réactions externes, en ce sens, traduisent bien la fracture. Dehaene et Naccache, les théoriciens de l'espace de travail neuronal global eux-mêmes, ont accueilli l'étude avec un intérêt sincère, définissant plusieurs des observations analogues d'Anthropic comme étant plutôt proches des mécanismes d'accès conscient observés chez l'homme, en particulier la séparation entre traitement automatique de routine et raisonnement rapportable de haut niveau. Sur le front de l'interprétabilité, Neel Nanda, qui dirige l'équipe de recherche sur ces thèmes chez DeepMind, a reproduit de manière indépendante certains des résultats sur un modèle à poids ouverts, une pièce importante pour la crédibilité scientifique du travail, car elle déplace la discussion du laboratoire individuel vers une vérification par des tiers. De l'autre côté du spectre, plusieurs commentateurs techniques, y compris des titres comme Forbes, ont invité à lire avec scepticisme le cadre de la conscience, rappelant qu'une structure qui se comporte comme un espace de travail n'équivaut pas à démontrer qu'un système se comporte comme un cerveau, encore moins qu'il soit conscient. Sur X, la discussion a suivi le même schéma, avec une partie importante des commentaires techniques concentrée sur la critique non pas des données, mais du cadre neuroscientifique choisi pour les raconter.
Il vaut la peine de conclure sur un parallèle moins courant que les habituels des conférences tech. Dans le manga Ghost in the Shell de Masamune Shirow, plus que dans les films qui en ont découlé, la frontière entre un processus automatique et une pensée délibérée est constamment remise en question par les personnages eux-mêmes, sans que la bande dessinée ne prétende jamais la résoudre de manière définitive. C'est dans ce même esprit qu'il faudrait lire cet article : un outil sérieux, avec un code vérifiable et des collaborateurs externes qui en ont testé la solidité, qui ouvre une véritable fenêtre sur le fonctionnement interne d'un modèle linguistique, sans franchir la frontière, loin d'être démontrée, entre avoir une structure fonctionnelle qui rappelle l'accès conscient et avoir un esprit.
Le saut de « espace de travail fonctionnel » à « Claude a un esprit interne » reste, en l'état actuel des données, un saut qu'aucune étude n'a accompli, et encore moins celle-ci. Le mérite technique du travail, son utilité pour surveiller les comportements incorrects et l'honnêteté avec laquelle les auteurs en signalent les limites méritent d'être racontés pour ce qu'ils sont. Le langage avec lequel ils sont communiqués, en revanche, mérite d'être manié avec le même soin que celui réservé aux résultats : car il est facile, en parlant d'esprits et de pensées cachées, d'oublier que l'on décrit encore des mathématiques appliquées à un réseau de poids numériques, aussi sophistiqué soit-il et aussi, dans certains cas, étonnamment semblable à nous.