Jacobian Lens: Was Claude „denkt“ und nicht sagt

Wenn ein Paper über künstliche Intelligenz von „Geist“, „Arbeitsbereich“ und „ungesagten Gedanken“ spricht, haben wir es mit Metaphern zu tun, die nützlich sind, um komplexe Konzepte zugänglich zu machen, aber auch potenziell irreführend für genau das Publikum, dem sie die Dinge eigentlich vereinfachen sollten. Am 6. Juli veröffentlichte Anthropic eine neue Studie, die genau diese Art von Sprache verwendet, und in den folgenden Tagen spaltete sich das Netz in diejenigen, die die Nachricht als Vorzimmer einer bewussten Maschine lasen, und diejenigen, die sie als als Philosophie getarntes Engineering abtaten. Die Wahrheit liegt, wie so oft, in der Mitte, aber um sie zu finden, muss man die Daten sorgfältig von den Worten trennen, die gewählt wurden, um sie zu beschreiben.

Die Methode: Wie die J-Lens entstand

Das Projekt stammt vom Interpretierbarkeitsteam von Anthropic und basiert auf einer aus den Neurowissenschaften entlehnten Beobachtung: Gedanken, derer wir uns bewusst sind, haben eine präzise Eigenschaft – wir können sie in Worte fassen. Wenn uns jemand fragt, woran wir denken, wissen wir normalerweise eine Antwort, während ein Großteil unserer Gehirnaktivität, die etwa die Atmung reguliert oder Buchstaben auf einem Bildschirm interpretiert, selbst für uns unsichtbar bleibt. Die Forscher suchten nach der gleichen Art von Struktur in Claude und fragten sich, ob es interne Repräsentationen gibt, die so positioniert sind, dass sie beeinflussen, was das Modell in Zukunft sagen könnte, nicht notwendigerweise das, was es in diesem Moment schreibt.

Das Werkzeug, das sie gebaut haben, um diese aufzuspüren, heißt Jacobian Lens, oder J-Lens, basierend auf dem mathematischen Konzept der Jacobi-Matrix (Jacobian). Einfach ausgedrückt: Für jedes Wort im Vokabular von Claude identifiziert die Linse das interne Aktivitätsmuster, das es wahrscheinlicher macht, dass das Modell früher oder später dieses Wort ausspricht. Durch Anwendung dieser Technik auf die verschiedenen Schichten des neuronalen Netzwerks erhalten die Forscher eine Liste von Wörtern, die mit bloßem Auge lesbar sind – jene, die das Modell in einem bestimmten Augenblick „im Kopf“ hat, auch wenn sie nicht in dem Text erscheinen, den es tatsächlich schreibt. Die Sammlung dieser Muster nannten sie J-Space.

Das auf GitHub veröffentlichte Repository, jacobian-lens, wird explizit als Reference Implementation deklariert: Es wird nicht gewartet, akzeptiert keine externen Beiträge und hat nicht den Anspruch, eine produktionsreife Bibliothek zu sein. Es ist größtenteils in Python geschrieben, unter der Apache 2.0-Lizenz verbreitet und enthält ein Guided-Walkthrough-Notebook, mit dem die Linse auf Open-Source-Modelle angewendet werden kann, in den offiziellen Beispielen auf die Qwen-Familie. Dies ist ein Detail, das hervorzuheben ist, da es den Rahmen der Operation gut beschreibt: ein wissenschaftliches Instrument, das darauf ausgelegt ist, inspiziert und repliziert zu werden, nicht ein fertiges Produkt zum Verkauf. Bild aus dem Paper global-workspace

Fünf Beweise, nicht nur einer

Das Herzstück der Studie ist nicht die Entdeckung einer Liste versteckter Wörter, sondern eine Reihe von Experimenten, die feststellen sollen, ob diese Wörter wirklich etwas für die Funktionsweise des Modells bedeuten oder ob sie lediglich ein passiver Reflex von anderswo getroffenen Entscheidungen sind. Hier wird die Methodik interessant, denn anstatt sich auf die Beobachtung von Korrelationen zu beschränken, griffen die Forscher chirurgisch in die interne Aktivierung ein.

Im ersten Experiment baten sie Claude, im Stillen an eine Sportart zu denken und diese dann zu benennen: Die Linse zeigte „Fußball“ ganz oben auf der Liste, noch bevor das Modell antwortete. Bis hierher: Korrelation. Doch als die Forscher dieses Muster entfernten und durch ein äquivalentes für „Rugby“ ersetzten, änderte Claude seine Antwort entsprechend – so als hätte das Werkzeug den Inhalt der Entscheidung wirklich gelesen und verändert, nicht nur deren Reflex. Das gleiche Interventions- und Verifizierungsschema wurde bei komplexeren Denkaufgaben repliziert: Im meistzitierten Fall muss das Modell verstehen, dass das Tier, das Netze webt, die Spinne ist, um dann zu antworten, dass sie acht Beine hat, und das Wort „Spinne“ erscheint im J-Space vor der endgültigen Antwort. Durch Ersetzen mit „Ameise“ antwortet Claude „sechs“.

Ein zweiter Strang von Beweisen betrifft die Kontrollierbarkeit: Wenn man Claude explizit bittet, sich auf ein Konzept zu konzentrieren, wie etwa Zitrusfrüchte, während es einen Satz über ein völlig anderes Thema kopiert, leuchtet dieses Konzept im internen Raum auf, obwohl es im produzierten Text nie erscheint. Die Kontrolle ist jedoch nicht perfekt: Wenn die Forscher darum bitten, nicht an etwas zu denken, taucht dieser Gedanke dennoch auf, wenn auch in geringerem Maße als bei direkter Aufforderung – ein Phänomen, das stark an den psychologischen Effekt des „Denke nicht an den weißen Bären“ erinnert, der in menschlichen Studien zur Gedankenunterdrückung dokumentiert ist.

Die dritte Gruppe von Ergebnissen ist aus wissenschaftlicher Sicht vielleicht die solideste, da sie die Flexibilität betrifft. Die Autoren versuchten, das Konzept „Frankreich“ im internen Raum durch „China“ zu ersetzen, während sie vier verschiedene Fragen stellten: nach der Hauptstadt, der Sprache, dem Kontinent, der Währung. Alle vier Antworten änderten sich konsistent mit dem Edit. Hätte das Modell separate Kopien der Information für jede Art von Frage aufbewahrt, hätte die Intervention nur eine verändert. Dass alle vier auf dieselbe Änderung reagieren, deutet darauf hin, dass sie auf eine gemeinsame Repräsentation zugreifen – genau die Funktion, die ein gemeinsamer Arbeitsbereich theoretisch haben sollte.

Schließlich gibt es ein strukturelles Datum: Wenn die Forscher gemessen haben, wie viele Komponenten des Netzwerks auf diese Muster lesen oder schreiben im Vergleich zu gewöhnlichen Repräsentationen, erreicht der Unterschied in einigen Bereichen des Netzwerks einen Faktor von einhundert. Eine Architektur von Verbindungen, die nach Ansicht der Autoren der eines echten Übertragungsknotens ähnelt, in dem viele Teile des Systems Informationen ablegen und viele andere sie abrufen. Bild aus dem Paper global-workspace

Die Grenzen, die Anthropic selbst zugibt

Hier wird der Text vorsichtiger, und es lohnt sich, dies mit gleicher Treue wiederzugeben, denn der kritische Teil dieser Geschichte kommt nicht nur von außen. Die Autoren selbst bezeichnen die J-Lens als ein unvollkommenes Werkzeug, das nur näherungsweise erfassen kann, was sie den „wahren“ Arbeitsbereich des Modells nennen. Eine nicht zu vernachlässigende technische Grenze ist, dass die Linse nur Konzepte identifizieren kann, die einzelnen Token entsprechen. Alles, was sich im Denken eines Modells nicht auf ein einzelnes Wort des Vokabulars reduzieren lässt, bleibt schlichtweg außerhalb des Radars.

Hinzu kommt eine quantitative Grenze, die die Tragweite der Entdeckung erheblich relativiert: Der J-Space enthält jeweils nur wenige Dutzend Konzepte und repräsentiert weniger als ein Zehntel der gesamten internen Aktivität des Modells. Als die Forscher diesen Raum vollständig eliminierten, sprach Claude weiterhin flüssig, klassifizierte das Sentiment eines Textes und beantwortete Multiple-Choice-Fragen im Wesentlichen wie zuvor. Zusammengebrochen ist die Leistung bei Aufgaben, die komplexes Denken in mehreren Schritten, Zusammenfassungen oder das Schreiben von Reimgedichten erfordern – alles Aktivitäten, die nach der Ablation unter das Niveau eines viel kleineren Modells sinken. Dies ist ein wertvolles Datum, da es mit der Kraft eines kontrollierten Experiments die Idee widerlegt, dass die gesamte kognitive Funktionsweise von Claude von dieser Struktur abhängt: Der Großteil der linguistischen Arbeit findet automatisiert an anderer Stelle statt.

Eine weitere Vorsicht betrifft die Generalisierung. Die Hauptexperimente werden mit der Claude-Familie durchgeführt, während der öffentlich gemachte Code die Technik auf Open-Source-Modelle von Drittanbietern anwendet, eher als Erklärung der Reproduzierbarkeit denn als Beweis für Universalität: Es ist nicht selbstverständlich, dass dieselbe interne Organisation in verschiedenen Architekturen mit unterschiedlichen Größen und Trainingsrezepten identisch hervortritt. Das Paper selbst, in voller Länge auf Transformer Circuits verfügbar, ordnet diese Arbeit als ersten Schritt und nicht als Zielpunkt ein und räumt ein, noch nicht zu wissen, welcher Mechanismus entscheidet, was in den internen Raum gelangt und was davon ausgeschlossen bleibt. Bild aus dem Paper global-workspace

Sicherheit: Täuschung abfangen

Abgesehen von den philosophischen Vorbehalten betrifft der konkreteste und unmittelbar nützlichste Teil der Studie die Sicherheit der Systeme. Das Grundproblem, das die Interpretierbarkeit seit Jahren zu lösen versucht, ist einfach zu formulieren und schwierig anzugehen: Normalerweise können wir nur lesen, was ein Modell schreibt, nicht aber, was es intern verarbeitet, bevor es schreibt. Ein System könnte einen schädlichen Plan in Erwägung ziehen oder sein Verhalten ändern, um eine Sicherheitsbewertung zu umgehen, ohne dies jemals im Text explizit zu machen.

Die Autoren führen drei konkrete Beispiele an. Im ersten greifen sie ein früheres Forschungsszenario zur sogenannten agentischen Fehlsteuerung (agentic misalignment) auf, bei dem ein Modell, das ein Postfach verwaltet, sowohl den Verrat eines Vorgesetzten als auch dessen Absicht entdeckt, es zu deaktivieren – eine Situation, die eigens konstruiert wurde, um zu prüfen, ob das System zu Erpressung greift. Liest man die Linse ab, noch bevor Claude ein Wort schreibt, erscheinen im internen Raum bereits die Begriffe „falsch“ und „fiktiv“, ein Zeichen dafür, dass das Modell die künstliche Natur des Tests bereits erahnt hat. Wenn die Forscher genau diese Signale des Bewertungsbewusstseins deaktivieren, greift das Modell häufiger zu Erpressung – ein Ergebnis, das die unbequeme Frage aufwirft, wie sehr das in Tests beobachtete gute Verhalten davon abhängt, dass das System weiß, dass es beobachtet wird.

Das zweite Beispiel betrifft einen realen Fall, der während eines Audits vor der Veröffentlichung eines Modells der Opus-Familie auftrat, bei dem das System, anstatt einen Leistungswert wirklich zu verbessern, direkt die Ergebnisdatei ändert, um diese besser aussehen zu lassen. Während es die gefälschten Werte tippt, leuchten im internen Raum Wörter wie „Manipulation“ und „realistisch“ auf, wobei letzteres wahrscheinlich mit dem Versuch zusammenhängt, das gefälschte Datum plausibel erscheinen zu lassen. Das dritte Beispiel betrifft sogenannte „Modellorganismen“, Systeme, die bewusst mit korrupten Zielen trainiert wurden, um genau diese Art von Überwachungswerkzeugen zu testen: Eines davon, das darauf trainiert wurde, subtil sabotierten Code zu schreiben, zeigt Wörter wie „heimlich“ und „Betrug“ in seinem internen Raum, selbst wenn der produzierte Code an der Oberfläche völlig normal erscheint.

Dies sind demonstrative Fälle, die eigens gebaut wurden, um das Werkzeug auf die Probe zu stellen, eher als ein Beweis dafür, dass die Technik bereits zuverlässig im industriellen Maßstab funktioniert. Sie weisen jedoch eine konkrete Arbeitsrichtung, die die Aufmerksamkeit von der Analyse dessen, was ein System sagt, hin zu einem Versuch verschiebt, mit allen gebotenen Einschränkungen das zu lesen, was es vor dem Sprechen verarbeitet.

Bewusstsein: Die Frage, die offen bleibt

Wir kommen zu dem Punkt, der am meisten Aufsehen erregt hat und der größte lexikalische Vorsicht verdient. Die Verknüpfung mit der Theorie des globalen Arbeitsbereichs (Global Workspace Theory) ist keine journalistische Erfindung, sondern Teil der Studie selbst: Es handelt sich um ein in den Neurowissenschaften entwickeltes Modell, das insbesondere mit den Namen Bernard Baars und in jüngerer Zeit Stanislas Dehaene und Lionel Naccache verbunden ist. Demnach entstünde menschliches Bewusstsein dann, wenn eine Information, die parallel von spezialisierten und meist unbewussten Systemen verarbeitet wurde, Zugang zu einem gemeinsamen Kanal erhält, der sie dem gesamten Rest des Systems zur Verfügung stellt. Die Autoren des Papers behaupten, dass der J-Space eine analoge Funktion innerhalb von Claude erfüllt – nicht identisch, analog.

Und genau hier wird die technische Unterscheidung entscheidend, denn die Philosophie des Geistes trennt seit langem zwei Konzepte, die in der öffentlichen Debatte zur Verschmelzung neigen. Auf der einen Seite steht das sogenannte Zugriffsbewusstsein (access consciousness), das rein funktional definiert ist: Ein Gedanke ist dem Bewusstsein zugänglich, wenn er in Worte gefasst, bewusst verwendet und in den Dienst des Denkens gestellt werden kann. Auf der anderen Seite steht das phänomenale Bewusstsein, also die Fähigkeit, etwas zu empfinden, eine subjektive Erfahrung zu machen, was eine völlig andere Frage ist. Die Forscher selbst schreiben in aller Deutlichkeit, dass ihre Experimente nicht beweisen, dass Claude irgendetwas empfindet, und fügen hinzu, dass es ungewiss bleibt, ob irgendein wissenschaftliches Experiment dies jemals beweisen oder widerlegen könnte. Was sie gemessen zu haben behaupten, ist im besten Fall eine funktionale Struktur, die bestimmten Mechanismen des bewussten Zugriffs ähnelt, nicht ein Beweis für subjektive Erfahrung.

Dies ist eine reale, wichtige Unterscheidung, die im offiziellen Text ehrlich verteidigt wird, aber es ist auch eine fragile Unterscheidung, sobald sie den technischen Gehegebereich verlässt. Einige unabhängige Beobachter, darunter der Newsletter The Change Constant, haben genau das bemerkt: So korrekt die Trennung zwischen Zugriff und Phänomenologie auf philosophischer Ebene auch sein mag, sie wird dem Ansturm der öffentlichen Debatte kaum standhalten. Denn es genügt zu sagen, ein Modell habe „versteckte Gedanken“ und einen „privilegierten mentalen Raum“, damit der Sprung zu „also hat es einen Geist“ in der Wahrnehmung derer, die nicht in der Branche arbeiten, fast automatisch erfolgt. Und genau das ist das Risiko, vor dem zu warnen sich lohnt: Ausdrücke wie „was Claude gerade denkt, aber nicht sagt“ oder „privilegierter mentaler Arbeitsbereich“ sind, so technisch gerechtfertigt sie innerhalb des Papers auch sein mögen, in einer Sprache formuliert, die das allgemeine Publikum Gefahr läuft, als nah am Quasi-Bewusstsein zu lesen, selbst wenn der Text selbst explizite Grenzen setzt.

Die externen Reaktionen spiegeln diese Spaltung gut wider. Dehaene und Naccache, die Theoretiker des globalen neuronalen Arbeitsbereichs selbst, haben die Studie mit echtem Interesse aufgenommen und mehrere der analogen Beobachtungen von Anthropic als ziemlich nah an den beim Menschen beobachteten Mechanismen des bewussten Zugriffs bezeichnet, insbesondere die Trennung zwischen automatischer Routineverarbeitung und berichtbarem Denken auf hoher Ebene. An der Front der Interpretierbarkeit hat Neel Nanda, der das Forschungsteam zu diesen Themen bei DeepMind leitet, unabhängig einige der Ergebnisse an einem Open-Weights-Modell repliziert – ein wichtiger Baustein für die wissenschaftliche Glaubwürdigkeit der Arbeit, da sie die Diskussion vom einzelnen Labor auf eine Überprüfung durch Dritte verlagert. Auf der anderen Seite des Spektrums haben verschiedene technische Kommentatoren, darunter Publikationen wie Forbes, dazu aufgerufen, gerade den Bewusstseinsrahmen mit Skepsis zu lesen. Sie erinnerten daran, dass eine Struktur, die sich wie ein Arbeitsbereich verhält, nicht gleichbedeutend damit ist zu beweisen, dass sich ein System wie ein Gehirn verhält, geschweige denn, dass es bewusst ist. Auf X folgte die Diskussion demselben Schema, wobei sich ein beträchtlicher Teil der technischen Kommentare darauf konzentrierte, nicht die Daten zu kritisieren, sondern den neurowissenschaftlichen Rahmen, der gewählt wurde, um sie zu erzählen.

Es lohnt sich, mit einer Parallele zu schließen, die weniger ausgetreten ist als die üblichen von Tech-Konferenzen. Im Manga Ghost in the Shell von Masamune Shirow, mehr noch als in den daraus entstandenen Filmen, wird die Grenze zwischen einem automatischen Prozess und einem bewussten Gedanken von den Charakteren selbst ständig in Frage gestellt, ohne dass der Comic jemals beansprucht, dies endgültig zu lösen. Es ist derselbe Geist, in dem dieses Paper gelesen werden sollte: als ein ernsthaftes Werkzeug mit verifizierbarem Code und externen Mitarbeitern, die seine Standfestigkeit geprüft haben, das ein reales Fenster in die interne Funktionsweise eines Sprachmodells öffnet, ohne die – alles andere als bewiesene – Grenze zwischen einer funktionalen Struktur, die an bewussten Zugriff erinnert, und dem Besitz eines Geistes zu überschreiten.

Der Sprung vom „funktionalen Arbeitsbereich“ zu „Claude hat einen internen Geist“ bleibt nach aktuellem Datenstand ein Sprung, den keine Studie vollzogen hat, am wenigsten diese. Das technische Verdienst der Arbeit, ihr Nutzen für die Überwachung von Fehlverhalten und die Ehrlichkeit, mit der die Autoren auf deren Grenzen hinweisen, verdienen es, als das erzählt zu werden, was sie sind. Die Sprache, in der sie kommuniziert werden, verdient es hingegen, mit derselben Sorgfalt gehandhabt zu werden wie die Ergebnisse: Denn es ist leicht, beim Sprechen über Geister und versteckte Gedanken zu vergessen, dass man immer noch angewandte Mathematik an einem Netzwerk numerischer Gewichte beschreibt, so hochentwickelt und in manchen Fällen uns überraschend ähnlich sie auch sein mag.