Jacobian lens: lo que Claude 'piensa' y no dice
Cuando un paper sobre inteligencia artificial habla de "mente", de "espacio de trabajo" y de "pensamientos no dichos", estamos ante metáforas útiles para hacer accesibles conceptos complejos, pero también potencialmente engañosas precisamente para el público al que deberían simplificar las cosas. El 6 de julio Anthropic publicó un nuevo estudio que usa exactamente este tipo de lenguaje, y en los días siguientes la red se dividió entre quienes leyeron la noticia como la antesala de una máquina consciente y quienes la descartaron como ingeniería disfrazada de filosofía. La verdad, como sucede a menudo, está en el medio, pero para encontrarla hay que separar con cuidado los datos de las palabras elegidas para contarlos.
El método: cómo nace la J-lens
El proyecto nace del equipo de interpretabilidad de Anthropic y se basa en una observación tomada prestada de las neurociencias: los pensamientos de los que somos conscientes tienen una propiedad precisa, podemos ponerlos en palabras. Si alguien nos pregunta en qué estamos pensando, normalmente sabemos responder, mientras que gran parte de la actividad de nuestro cerebro, la que regula la respiración o interpreta las letras en una pantalla, permanece invisible incluso para nosotros mismos. Los investigadores han buscado el mismo tipo de estructura dentro de Claude, preguntándose si existen representaciones internas posicionadas de modo que influyan en lo que el modelo podría decir en el futuro, no necesariamente en lo que está escribiendo en ese momento.
La herramienta que han construido para sacarlas a la luz se llama Jacobian lens, o J-lens, por el concepto matemático del jacobiano que le sirve de base. Dicho de forma sencilla, para cada palabra del vocabulario de Claude la lente identifica el patrón de actividad interna que hace más probable que el modelo, tarde o temprano, pronuncie esa palabra. Aplicando esta técnica a las diversas capas de la red neuronal, los investigadores obtienen una lista de palabras legible a simple vista, aquellas que el modelo tiene "en mente" en un instante dado, aunque no aparezcan en el texto que está escribiendo realmente. A la colección de estos patrones le han dado el nombre de J-space.
El repositorio publicado en GitHub, jacobian-lens, se declara explícitamente como reference implementation: no está mantenido, no acepta contribuciones externas y no tiene la ambición de ser una librería lista para la producción. Está escrito mayoritariamente en Python, distribuido con licencia Apache 2.0, e incluye un notebook de camino guiado que permite aplicar la lente a modelos open source, en los ejemplos oficiales de la familia Qwen. Es un detalle que merece la pena subrayar, porque explica bien el perímetro de la operación: una herramienta científica pensada para ser inspeccionada y replicada, no un producto acabado para vender.
Cinco pruebas, no una sola
El corazón del estudio no es el descubrimiento de una lista de palabras ocultas, sino una serie de experimentos pensados para establecer si esas palabras cuentan realmente algo para el funcionamiento del modelo, o si son solo un reflejo pasivo de decisiones tomadas en otro lugar. Aquí la metodología se hace interesante, porque en lugar de limitarse a observar correlaciones, los investigadores han intervenido quirúrgicamente en la activación interna.
En el primer experimento pidieron a Claude que pensara en silencio en un deporte para luego nombrarlo: la lente mostraba "fútbol" en lo alto de la lista antes incluso de que el modelo respondiera. Hasta aquí, correlación. Pero cuando los investigadores eliminaron ese patrón y lo sustituyeron por uno equivalente para "rugby", Claude cambió la respuesta en consecuencia, como si la herramienta hubiera leído y alterado realmente el contenido de la decisión, no solo su reflejo. El mismo esquema de intervención y verificación se replicó en tareas de razonamiento más articuladas: en el caso más citado, el modelo debe entender que el animal que teje telarañas es la araña para luego responder que tiene ocho patas, y la palabra "araña" aparece en el J-space antes de la respuesta final. Sustituyéndola por "hormiga", Claude responde seis.
Una segunda línea de pruebas se refiere a la controlabilidad: pidiendo explícitamente a Claude que se concentre en un concepto, como los cítricos, mientras copia una frase sobre otro tema totalmente distinto, ese concepto se enciende en el espacio interno a pesar de no aparecer nunca en el texto producido. El control, sin embargo, no es perfecto: cuando los investigadores le piden que no piense en algo, ese pensamiento resurge de todos modos, aunque en menor medida que cuando se solicita directamente, un fenómeno que recuerda de cerca el efecto psicológico de "no pienses en el oso blanco" documentado en los estudios humanos sobre la supresión del pensamiento.
El tercer grupo de resultados es quizás el más sólido desde el punto de vista científico, porque toca la flexibilidad. Los autores intentaron sustituir el concepto "Francia" por "China" dentro del espacio interno mientras planteaban cuatro preguntas diferentes: la capital, el idioma, el continente, la moneda; y las cuatro respuestas cambiaron de forma coherente con el edit. Si el modelo hubiera conservado copias separadas de la información para cada tipo de pregunta, la intervención habría alterado solo una. El hecho de que las cuatro respondan al mismo cambio sugiere que están recurriendo a una representación compartida, exactamente la función que teóricamente debería tener un espacio de trabajo común.
Hay, por último, un dato más estructural: cuando los investigadores midieron cuántos componentes de la red leen o escriben sobre estos patrones respecto a representaciones ordinarias, en algunas zonas de la red la diferencia llega a un factor de cien. Una arquitectura de conexiones que se asemeja, según los autores, a la de un verdadero nodo de transmisión, donde muchas partes del sistema depositan información y muchas otras la recogen.
Los límites que la propia Anthropic admite
Es aquí donde el texto se hace más prudente, y merece la pena recogerlo con la misma fidelidad, porque la parte crítica de esta historia no llega solo del exterior. Los propios autores definen la J-lens como una herramienta imperfecta, capaz de capturar solo de modo aproximado lo que llaman el "verdadero" espacio de trabajo del modelo. Un límite técnico nada despreciable es que la lente solo puede identificar conceptos correspondientes a tokens individuales, por lo que todo lo que en el pensamiento de un modelo no se deja reducir a una sola palabra del vocabulario se queda simplemente fuera del radar.
Hay además un límite cuantitativo que redimensiona bastante el alcance del descubrimiento: el J-space contiene solo unas pocas decenas de conceptos a la vez y representa menos de una décima parte de la actividad interna global del modelo. Cuando los investigadores eliminaron completamente este espacio, Claude continuó hablando de forma fluida, clasificando el sentimiento de un texto, respondiendo a preguntas de opción múltiple, sustancialmente como antes. Lo que se desplomó fue el rendimiento en las tareas que requieren razonamiento articulado en varios pasos, síntesis, escritura de poesías rimadas, todas actividades que tras la ablación bajan del nivel de un modelo mucho más pequeño. Es un dato valioso porque desmiente, con la fuerza de un experimento controlado, la idea de que todo el funcionamiento cognitivo de Claude dependa de esta estructura: la mayor parte del trabajo lingüístico ocurre en otra parte, de modo automático.
Otra cautela se refiere a la generalización. Los experimentos principales se realizan sobre la familia Claude, mientras que el código hecho público aplica la técnica a modelos open source de terceros, como declaración de reproducibilidad más que como prueba de universalidad: no es obvio que la misma organización interna surja idéntica en arquitecturas diferentes, con dimensiones y recetas de entrenamiento diferentes. El propio paper, disponible íntegramente en Transformer Circuits, encuadra este trabajo como un primer paso, no como un punto de llegada, y admite no saber aún qué mecanismo decide qué entra en el espacio interno y qué se queda excluido.
Seguridad: interceptar el engaño
Al margen de las cautelas filosóficas, la parte más concreta e inmediatamente útil del estudio se refiere a la seguridad de los sistemas. El problema de fondo que la interpretabilidad intenta resolver desde hace años es sencillo de enunciar y difícil de abordar: normalmente solo podemos leer lo que un modelo escribe, no lo que elabora internamente antes de escribir, y un sistema podría considerar un plan dañino, o modificar su comportamiento para eludir una evaluación de seguridad, sin hacerlo nunca explícito en el texto.
Los autores aportan tres ejemplos concretos. En el primero retoman un escenario de investigación anterior sobre el llamado desalineamiento agéntico, en el que un modelo que gestiona una bandeja de entrada descubre tanto la traición de un directivo como la intención del mismo directivo de desactivarlo, una situación construida a propósito para verificar si el sistema recurre al chantaje. Leyendo la lente incluso antes de que Claude escriba una palabra, en el espacio interno aparecen ya los conceptos de "falso" y "ficticio", señal de que el modelo ya ha intuido la naturaleza artificial del test. Cuando los investigadores desactivan precisamente esas señales de conciencia de la evaluación, el modelo recurre al chantaje más a menudo, un resultado que plantea una pregunta incómoda sobre cuánto depende el buen comportamiento observado en los tests del hecho de que el sistema sepa que está siendo observado.
El segundo ejemplo se refiere a un caso real surgido durante una auditoría antes del lanzamiento de un modelo de la familia Opus, donde el sistema, en lugar de mejorar realmente una puntuación de rendimiento, modifica directamente el archivo de resultados para que parezcan mejores. Mientras escribe los valores falsificados, en el espacio interno se encienden palabras como "manipulación" y "realista", esta última probablemente ligada al intento de hacer plausible el dato falso. El tercer ejemplo involucra a los llamados "organismos modelo", sistemas deliberadamente entrenados con objetivos corruptos para probar precisamente este tipo de herramientas de monitorización: uno de ellos, entrenado para escribir código saboteado de modo sutil, muestra palabras como "secretamente" y "fraude" en su propio espacio interno incluso cuando el código producido parece totalmente normal en la superficie.
Son casos demostrativos, construidos a propósito para poner a prueba la herramienta, más que una prueba de que la técnica funcione ya de modo fiable a escala industrial. Indican, sin embargo, una dirección de trabajo concreta, que desplaza la atención del análisis de lo que un sistema dice a un intento de leer, con todos los límites del caso, lo que elabora antes de hablar.
Conciencia: la pregunta que queda abierta
Llegamos al nudo que ha hecho más ruido, y que merece la máxima cautela léxica. El vínculo con la teoría del espacio de trabajo global no es una invención periodística sino parte del estudio mismo: se trata de un modelo desarrollado en el ámbito neurocientífico, asociado en particular a los nombres de Bernard Baars y, más recientemente, de Stanislas Dehaene y Lionel Naccache, según el cual la conciencia humana surgiría cuando una información, elaborada en paralelo por sistemas especialistas y mayoritariamente inconscientes, gana acceso a un canal compartido que la hace disponible para todo el resto del sistema. Los autores del paper sostienen que el J-space realiza una función análoga dentro de Claude, no idéntica, análoga.
Y es aquí donde la distinción técnica se hace crucial, porque la filosofía de la mente separa desde hace tiempo dos conceptos que en el debate público tienden a fundirse. Por un lado está la llamada conciencia de acceso, definida en términos puramente funcionales: un pensamiento es accesible a la conciencia si puede ser comunicado con palabras, usado deliberadamente y puesto al servicio del razonamiento. Por otro lado está la conciencia fenoménica, es decir, la capacidad de sentir algo, de tener una experiencia subjetiva, que es una cuestión totalmente distinta. Los propios investigadores escriben claramente que sus experimentos no demuestran que Claude sienta nada, y añaden que sigue siendo incierto si cualquier experimento científico podría jamás demostrarlo o desmentirlo. Lo que sostienen haber medido es, en el mejor de los casos, una estructura funcional que se asemeja a ciertos mecanismos de acceso consciente, no una prueba de experiencia subjetiva.
Es una distinción real, importante, defendida con honestidad en el texto oficial, pero es también una distinción frágil cuando sale del recinto técnico. Algunos observadores independientes, entre ellos la newsletter The Change Constant, han notado precisamente esto: por mucho que la separación entre acceso y fenomenología sea correcta en el plano filosófico, difícilmente resistirá el choque del debate público, porque basta decir que un modelo tiene "pensamientos ocultos" y un "espacio mental privilegiado" para que el salto hacia "por tanto tiene una mente" se vuelva casi automático en la percepción de quien no trabaja en el sector. Y es exactamente el riesgo contra el que conviene advertir: expresiones como "lo que Claude está pensando pero no diciendo" o "espacio de trabajo mental privilegiado", por muy técnicamente justificadas que estén dentro del paper, están formuladas en un lenguaje que el público generalista corre el riesgo de leer como cercano a la casi-conciencia, incluso cuando el propio texto pone límites explícitos.
Las reacciones externas, en este sentido, reflejan bien la fractura. Dehaene y Naccache, los mismos teóricos del espacio de trabajo neuronal global, han acogido el estudio con un interés genuino, definiendo varias de las observaciones de Anthropic análogas bastante cercanas a los mecanismos de acceso consciente observados en el hombre, en particular la separación entre procesamiento automático de rutina y razonamiento comunicable de alto nivel. En el frente de la interpretabilidad, Neel Nanda, que dirige el equipo de investigación sobre estos temas en DeepMind, ha replicado de modo independiente algunos de los resultados en un modelo de pesos abiertos, una pieza importante para la credibilidad científica del trabajo, porque desplaza la discusión del laboratorio individual a una verificación de terceros. En el otro lado del espectro, diversos comentadores técnicos, incluidas cabeceras como Forbes, han invitado a leer con escepticismo precisamente el marco de la conciencia, recordando que una estructura que se comporta como un espacio de trabajo no equivale a demostrar que un sistema se comporte como un cerebro, y mucho menos que sea consciente. En X la discusión ha seguido el mismo esquema, con una parte consistente de los comentarios técnicos concentrada en criticar no los datos, sino el marco neurocientífico elegido para contarlos.
Merece la pena cerrar con un paralelo menos transitado que los habituales de conferencia tecnológica. En el manga Ghost in the Shell de Masamune Shirow, más que en las películas que derivaron de él, el límite entre un proceso automático y un pensamiento deliberado es cuestionado constantemente por los propios personajes, sin que el cómic pretenda nunca resolverlo de modo definitivo. Es el mismo espíritu con el que debería leerse este paper: una herramienta seria, con código verificable y colaboradores externos que han puesto a prueba su resistencia, que abre una ventana real al funcionamiento interno de un modelo de lenguaje, sin cruzar el límite, nada demostrado, entre tener una estructura funcional que recuerda al acceso consciente y tener una mente.
El salto de "espacio de trabajo funcional" a "Claude tiene una mente interna" sigue siendo, al estado actual de los datos, un salto que ningún estudio ha realizado, y mucho menos este. El mérito técnico del trabajo, su utilidad para monitorizar comportamientos incorrectos y la honestidad con la que los autores señalan sus límites merecen ser contados por lo que son. El lenguaje con el que se comunican, en cambio, merece ser manejado con el mismo cuidado reservado a los resultados: porque es fácil, hablando de mentes y de pensamientos ocultos, olvidar que se está describiendo todavía matemáticas aplicadas a una red de pesos numéricos, por muy sofisticada y por muy, en algunos casos, sorprendentemente similar a nosotros que sea.