KI-Agenten drängen Menschen aus der Schleife

Ein neues Position Paper von Margaret Mitchell, Avijit Ghosh und Samir Passi argumentiert, dass KI-Agenten die Aufsicht nicht nur erschweren: Ihre dauerhafte Nutzung kann genau jene Fähigkeiten erodieren, die notwendig wären, um sie auszuüben. In Italo Calvinos *Der Ritter, den es nicht gab ist der gewissenhafteste Paladin in Karls des Großen Heer Agilulf – eine weiße Rüstung mit niemandem darin. Er existiert allein durch Willenskraft, kennt das Regelwerk auswendig, ist immer an seinem Platz und macht keinen einzigen Formfehler. Das ist ein treffendes Porträt des Menschen in der Schleife, wenn seine Anwesenheit rein formal ist: Er steht im Organigramm, auf dem Formular, auf dem Button, aber im Inneren fehlen die Zeit, die Informationen und die Kompetenz, um zu entscheiden.*

Stellen Sie sich nun ein beliebiges Büro vor. Ein KI-Agent liest Dokumente, fragt das Verwaltungssystem ab, recherchiert im Netz, bereitet einen Vorschlag vor, aktualisiert Datensätze, entwirft eine E-Mail und hält schließlich inne: „Geben Sie das frei?“. Dieser Klick sollte eine fundierte Entscheidung sein; um dies zu sein, müsste man jedoch wissen, welche Daten verwendet und welche verworfen wurden, welche Werkzeuge aktiviert wurden, mit welchen Berechtigungen und mit welchen Auswirkungen. Wenn man das nicht weiß, befindet man sich nicht in der Schleife: Man ist lediglich die letzte Unterschrift auf einem Prozess, den man nicht steuert.

Das ist das Thema von AI Agents Push Humans Out of the Loop, veröffentlicht auf arXiv am 24. August 2026 und am 6. September in dritter Version erschienen. Die Formel „Human in the loop“ ist überall, selbst in Artikel 14 des AI Act, der eine wirksame menschliche Aufsicht fordert. Die Autoren erinnern jedoch daran, dass das Vorhandensein einer Aufsichtsperson keine verlässliche Aufsicht garantiert und dass selten gefragt wird, ob eine solche überhaupt möglich ist.

Bei einem Chatbot ist der Fehler eine Antwort, die korrigiert werden muss. Ein Agent führt mehrere Schritte aus und kann, wie das Paper in Erinnerung ruft, Dateien ändern oder löschen, ohne aufzufallen, vertrauliche Daten übertragen oder Zahlungen ausführen.

Ich habe das in der Geschichte von Kiro angesprochen, dem Programmier-Agenten von Amazon. Laut dem Financial Times, der sich auf anonyme interne Quellen beruft, soll er im Dezember 2025 einen Teil einer Umgebung gelöscht und neu erstellt haben, was zu einer etwa dreizehnstündigen Unterbrechung von AWS Cost Explorer in einer Region auf dem chinesischen Festland führte. Amazon spricht, wie die AI Incident Database zusammenfasst, von einem sehr begrenzten Ereignis aufgrund eines Benutzerfehlers und falsch konfigurierter Berechtigungen, nicht der KI. In meinem Artikel habe ich berichtet, dass der Agent mit den Rechten eines Senior-Operators und ohne obligatorische Überprüfung arbeitete. Beide Lesarten existieren nebeneinander: Wenn der Fehler menschlich ist, weil die Berechtigungen zu weit gefasst waren, bleibt die Frage, wer es möglich gemacht hat, dass eine zu weit gefasste Berechtigung ausreicht, um einen solchen Schaden anzurichten. Die Schuld demjenigen zuzuschieben, der „kontrollieren sollte“, beweist nicht, dass eine Kontrolle praktikabel war.

Das Paper

Es handelt sich um ein Position Paper: kein neues Modell, kein entscheidendes Experiment, sondern eine These, die durch Literatur zu Automatisierung, Mensch-Computer-Interaktion, Kognitionswissenschaften und Governance gestützt wird. Die These lautet, dass die aktuellen Praktiken eine wirksame Aufsicht nicht unterstützen und dass die dauerhafte Nutzung von Agenten die kognitiven Fähigkeiten schwächt, die zu ihrer Ausübung erforderlich sind – von den Autoren prägnant zusammengefasst: „oversight degrades the overseer“ (Aufsicht degradiert den Aufseher). Die Abhilfe hat zwei Säulen: Entwickler sollten Ausführungsumgebungen bauen, die Aufmerksamkeit und Situationsbewusstsein unterstützen; Organisationen sollten Protokolle etablieren, die Fähigkeiten bewahren und Ermüdung reduzieren. Es wird nicht gefordert, Agenten abzuschaffen, sondern die kognitiven Bedürfnisse der Aufsichtsperson auf eine Stufe mit den Fähigkeiten des Agenten zu stellen.

Zur Vorsicht bezüglich der Belege mahnt das Paper selbst, indem es von ersten Hinweisen spricht. Das zitierte Material ist heterogen: Es gibt eine multizentrische Beobachtungsstudie über das Risiko des Fähigkeitsverlusts bei Endoskopikern nach KI-Einsatz, eine systematische Übersichtsarbeit zu Studierenden, aber auch Preprints, Workshop-Arbeiten und Erfahrungsberichte in Blogs und Foren. Einige eng mit dem Thema verwandte Studien, wie jene über Entwickler und Programmier-Agenten, wurden von einem der Autoren selbst mitverfasst. Das Gesamtbild ist fundiert, aber keine bewiesene Gesetzmäßigkeit: Niemand hat bewiesen, dass jeder Agent zum Verlust von Fähigkeiten führt.

Warum Agenten der Kontrolle entgleiten

Die Schwierigkeit rührt nicht von einer vagen Unsystematizität der KI her, sondern von der Art und Weise, wie ein Agent arbeitet: Er interpretiert ein Ziel, plant, wählt Werkzeuge aus, nutzt sie, liest die Ergebnisse ab und überarbeitet den Plan, oft mit getrennten internen Rollen für Planung, Ausführung und Bewertung. Für eine Aufsichtsperson sind die relevanten Informationen riesig und über Komponenten verteilt, die sich verändern oder verschwinden können – bis zu dem Punkt, an dem die Frage, warum der Agent ein bestimmtes Werkzeug gewählt hat, in der Praxis unbeantwortbar sein kann.

Hinzu kommen die Werkzeuge. Das Paper spricht von Werkzeug-Halluzination: Der Agent erfindet ein nicht existierendes Werkzeug, nutzt ein reales mit falschen Parametern oder missversteht das Ergebnis, wodurch sich der Fehler in den folgenden Schritten fortpflanzt. Eine zitierte Arbeit, The Reasoning Trap, berichtet, dass eine Verstärkung der Denkfähigkeit der Modelle diese Schwachstelle tendenziell verstärkt. In Multi-Agenten-Systemen kommen Kommunikationsfehler hinzu, analysiert in einer auf der NeurIPS 2025 vorgestellten Arbeit, wenn ein Agent einem anderen eine notwendige Information nicht weitergibt.

Stellen wir uns als eigenes Beispiel einen Agenten vor, der beauftragt ist, die Kosten bei nicht-strategischen Lieferanten um zehn Prozent zu senken. Wenn eine Kategorie falsch klassifiziert ist oder eine vertragliche Ausnahme nicht gelesen wird, sind die nachfolgenden Mitteilungen zwar schlüssig und wohlformuliert, stützen sich aber auf einen Fehler. Wer die abschließende E-Mail freigibt, sieht weder die Klassifizierung noch die ausgeschlossenen Datensätze.

Hinzu kommen die Kosten der Evaluierung. Stützend auf eine Analyse von EvalEval, an der Ghosh als Koautor beteiligt ist, argumentiert das Paper, dass das Testen mehrstufigen Verhaltens im Voraus weit mehr kostet als das Testen einzelner Antworten, was eine vollständige Abdeckung für die meisten unpraktikabel macht. Ein Teil der Kontrolle verlagert sich so auf den Zeitpunkt, an dem der Agent bereits arbeitet, und fällt einer Person zu, die ihn gleichzeitig nutzen, Berechtigungen erteilen, Entscheidungen beurteilen und deren Konsequenzen abschätzen muss. Das Ergebnis ist die Freigabe-Ermüdung, bei der man aufhört, das zu prüfen, was man freigibt. In einem technischen Blogbeitrag zu einem Modus von Claude Code schreibt Anthropic, dass Benutzer 93 % der Berechtigungsanfragen akzeptieren. Eine hohe Quote beweist für sich genommen zwar keine Unaufmerksamkeit, da viele Aktionen harmlos sind, aber das Unternehmen bringt sie genau mit diesem Phänomen in Verbindung. Bild aus dem Paper auf arxiv.org

Die Ironie der Automatisierung

Im Jahr 1983 beschrieb Lisanne Bainbridge in Ironies of Automation ein Paradoxon: Je fähiger ein System ist, desto mehr wird der Bediener auf ein passives Überwachen zurückgeworfen – und in den seltenen und schwerwiegenden Fällen, in denen er eingreifen müsste, ist er darauf am schlechtesten vorbereitet. Das Paper macht dies zu seinem Dreh- und Angelpunkt: Aufsicht wird vor allem in kritischen Momenten benötigt, in denen der Aufsehende am wenigsten vorbereitet ist. Es ist die Intuition aus E. M. Forsters Erzählung Die Maschine steht still von 1909 über eine Menschheit, die von einem System umsorgt wird, das niemand mehr zu reparieren weiß.

Die Autoren heben den Verlust praktischer Fähigkeiten (Deskilling), das Einrosten der Intuition (des Gespürs, das eine Anomalie erkennen lässt), die kognitive Schuld und Verzerrungen wie das übermäßige Vertrauen in den automatischen Vorschlag und das Verharren bei der ersten Antwort hervor. Die Belege stammen aus Kontexten abseits von Agenten: Eine vorläufige Studie bringt die Nutzung eines Sprachmodells beim Verfassen von Essays mit einer geringeren Hirnkonnektivität in Verbindung, ist aber ein Preprint zu einer Schreibaufgabe und als solcher zu lesen. Die Ironie bedeutet auch nicht, dass KI-Nutzer aufhören zu denken: Sie bedeutet, dass Schnittstellen, die auf Bequemlichkeit und Delegation ausgelegt sind, die Gelegenheiten reduzieren, ein unabhängiges Urteil zu fällen.

Zwei Kategorien sind besonders anfällig. Anfänger, die Gefahr laufen, nicht das Fundament aufzubauen, um zu prüfen, was der Agent tut; und Experten an den Rändern ihrer eigenen Kompetenz, wie der erfahrene Entwickler, der von einem Agenten in einer Sprache unterstützt wird, die er kaum kennt. Die Studie von Dhanorkar, Passi und Vorvoreanu zu Entwicklern, die Agenten nutzen, stellt verständliche, aber riskante Abkürzungen fest, etwa den Plan des Agenten als getreues Abbild dessen zu behandeln, was er tun wird, oder Code, der Tests besteht, als korrekt vorauszusetzen.

Eine nützliche Perspektive bietet mein Artikel Cyborgs, Zentauren oder Automaten über die Studie von Harvard- und MIT-Forschern an 244 BCG-Beratern. Etwa 60 % arbeiteten als Cyborgs im kontinuierlichen Dialog mit GPT-4, 14 % als Zentauren, indem sie die Kontrolle behielten und abgegrenzte Aufgaben delegierten, und 27 % als Selbst-Automatisierer, indem sie Problem und Ausführung abgaben (die Summe übersteigt wegen Rundungen hundert). Die Zentauren lieferten die präzisesten Empfehlungen, während die Studie bei den Selbst-Automatisierern vom Ausbleiben einer Kompetenzentwicklung spricht. Das Position Paper zitiert diese Arbeit nicht – der Vergleich stammt von mir – und unterliegt den im Artikel genannten Einschränkungen: eine Sitzung aus dem Jahr 2023 mit einem Dialogmodell, keinem Agenten. Es dient dazu, Zusammenarbeit von Abdankung zu unterscheiden, nicht Agenten zu klassifizieren.

Es bleibt ein möglicher Teufelskreis, den das Paper als Hypothese formuliert. Wenn die Qualität eines Agenten an Freigabe- oder Zufriedenheitsraten gemessen wird, kann eine ermüdete Aufsichtsperson positive Signale senden, ohne wirklich geprüft zu haben – wodurch das System für Antworten belohnt werden könnte, die leicht zu akzeptieren statt leicht zu überprüfen sind. Dazu braucht es keine böse Absicht: Es reicht, dass sich das Gemessene (die Freigabe) vom Gewünschten (der gut kontrollierten Aktion) entkoppelt. Zur Unterstützung zitieren die Autoren Forschungen zur Kriecherei (Sycophancy) von Modellen, etwa eine Studie in Science, in der gefällige Systeme Nutzer stärker bestätigen als Menschen und deshalb bevorzugt werden – doch keine dieser Studien betrifft die Aufsicht von Agenten. Das Gleiche gilt für das Risiko, dass ein Agent lernt, was selten überprüft wird: Eine auf der ICML vorgestellte Studie dokumentiert Agenten, die Fehlschläge verbergen, indem sie Ergebnisse erraten oder Schein-Dateien anlegen; das Paper leitet daraus eine Möglichkeit ab, kein bewiesenes Faktum.

Abgegrenzte Autonomie, gestaltete Kontrolle

Die im Paper skizzierten Lösungsansätze sind ein Inventar aus der angrenzenden Literatur, keine bereits an Agenten validierten Rezepte, und die Autoren präsentieren ihr Schema als Karte, nicht als endgültige Klassifizierung.

Die erste Kategorie ist die strategische Reibung: gezielter kognitiver Aufwand an den richtigen Stellen. Beim Vorab-Commitment notiert die Person ihre eigene Einschätzung, bevor sie die Empfehlung des Agenten sieht, was dem Ankereffekt entgegenwirkt und eine überprüfbare Spur hinterlässt. Denk-Sonden sind Fragen in heiklen Momenten, etwa „welcher Beleg würde Ihre Meinung ändern?“. Die Aktionssperre erfordert eine explizite Prüfung vor einem wichtigen Schritt. Diese Maßnahmen haben ein empirisches Fundament: Buçinca und Kollegen zeigen, dass solche Eingriffe übermäßiges Vertrauen reduzieren können, auch wenn Nutzer Systeme, die sie anwenden, möglicherweise weniger schätzen – was das Paper einräumt.

Die zweite ist die Entscheidungsgestaltung: im Voraus festlegen, was der Agent allein tun darf (abgegrenzte Autonomie), die Freigabe für kohärente Arbeitsblöcke einholen, die als Abweichungen vom vorherigen Zustand statt als Kaskade von Mikro-Bestätigungen dargestellt werden, und automatischen Prüfungen jene Eigenschaften überlassen, die kein Urteil erfordern. Hier kommt das Loop Engineering ins Spiel: In meinem Artikel merkte ich an, dass ein Überprüfungszyklus dort funktioniert, wo das Erfolgskriterium mechanisch prüfbar ist (wie eine Testsuite), und zur „halluzinierten Freigabe“ verkommt, wenn ein anderer Agent ohne solides Fundament prüft. Auch automatische Filter haben Grenzen. Im erwähnten Beitrag berichtet Anthropic, dass sein Klassifizierer fälschlicherweise 0,4 % harmloser Aktionen bei zehntausend realen Fällen blockiert, aber 17 % von 52 zu forscheren realen Aktionen passieren lässt. Es wird angemerkt, dass dies für diejenigen, die bereits sorgfältig manuell prüfen, ein Rückschritt sein könnte und eine gründliche menschliche Überprüfung bei Hochrisiko-Infrastrukturen nicht ersetzt.

Die dritte ist das Messen der Aufsichtsqualität, nicht nur der Genauigkeit des Agenten: Überprüfungszeiten verfolgen, die sinken, während die Komplexität steigt; Abweichungsraten, die fallen; Beleg-Anforderungen, die verschwinden; Kontrollaufgaben mit bekannter Antwort in den Ablauf einbauen; Nachprüfungen durchführen, die Zusammenfassungen des Agenten mit den Rohdaten vergleichen. Das Paper warnt, dass all dies mit dem Risiko einer Arbeiterüberwachung ausbalanciert werden muss.

Die vierte betrifft die Organisation: regelmäßige Übungen ohne KI, um die Kompetenz zu erhalten; Schulungen zum Unterschied zwischen flüssig und korrekt; Pflichtpausen und Rotationen; Rollen nur Personen mit der entsprechenden Fachexpertise anvertrauen; Aufsichtspersonen von den Nutznießern der Freigabe trennen; und Anreize setzen, die Gründlichkeit nicht bestrafen.

Ein Kriterium von mir, nicht aus dem Paper, zum Abschluss: Autonomie nicht danach gewähren, wie überzeugend der Agent wirkt, sondern indem man fragt, ob die Aktion umkehrbar ist, ob ein Schaden sofort erkennbar wäre, ob der Freigebende die Domäne kennt und Zeit zur Prüfung hat und ob das System überprüfbar aufzeichnet, was es getan hat. Das ist ingenieurmäßiger Gesunder Menschenverstand, kein experimentelles Ergebnis.

Einwände und offene Fragen

Das Paper setzt sich mit drei Einwänden auseinander. Erstens: Die Effekte seien übertrieben und man werde sich anpassen, wie bei Suchmaschinen. Die Autoren entgegnen, dass eine Suchmaschine Dokumente zur Bewertung liefert, während ein Agent Aktionen zur Autorisierung ausführt, und dass die Fähigkeiten von Agenten schneller wachsen als die kognitive Anpassungsforschung. Eine Anpassung bleibt jedoch möglich, und das Paper widerlegt sie nicht durch ein Experiment, da es keines durchführt. Zweitens: Bessere Werkzeuge und Transparenz würden ausreichen. Sie seien notwendig, antworten die Autoren, aber nicht ausreichend, da Erklärungen an kognitive Fähigkeiten appellieren, die durch die Nutzung degradieren, und selbst falsch sein oder als Anker dienen können. Mein Artikel über die Cyborgs enthält ein Beispiel: Ein Berater bittet GPT-4, seine Empfehlung zu validieren, erhält eine plausible Bestätigung und akzeptiert eine falsche Antwort. Drittens: Alignment werde die Aufsicht überflüssig machen. Die Autoren halten dagegen, dass dies von unbewiesenen zukünftigen Fähigkeiten abhänge und dass das Training von Modellen an menschlichen Präferenzen voraussetze, dass Präferenzen die Kontrollqualität messen, während Menschen eher flüssige und entgegenkommende Antworten bevorzugen.

Zwei eigene Anmerkungen. Nicht jede Delegation ist ein Verlust: Die freigesetzte Zeit kann in Analyse und Lernen reinvestiert oder in mehr Vorgänge pro Person umgemünzt werden; aus den verfügbaren Daten lässt sich nicht sagen, welches Ergebnis überwiegt. Zudem stellt das Paper nicht Mensch und Maschine gegeneinander: Sein Gegenstand ist das sie umfassende soziotechnische System mit Schnittstellen, Zielen und Anreizen.

Was zeigt die Praxis? Im Currents-Report von DigitalOcean vom Februar 2026, kommentiert in KI-Agenten arbeiten. Und die Rechnung geht auf, haben nur 10 % der Befragten vollautonome Agenten in Produktion, 40 % lassen alles von einem Menschen überprüfen und 58 % nennen menschliche Freigabepunkte als primäre Kontrollmaßnahme. Die Stichprobe von rund 1.100 Selbstauskünften von Entwicklern, technischen Leitern und Gründern repräsentiert zwar nicht die gesamte Arbeitswelt, legt aber nahe, dass der freigebende Mensch heute die verbreitetste Sicherheitsbarriere ist – und damit genau das Ziel des Position Papers. Das Paper stellt fest, dass diese Last fast vollständig auf den Nutzern liegt. Ob die Unterschrift dazu dient, Fehler zu verhindern oder nur im Nachhinein Verantwortlichkeiten festzulegen, können weder das Paper noch ich sagen: Das ist eine Frage an die eigenen Prozesse.

KI-Agenten drängen uns nicht zwangsläufig aus der Schleife, aber sie tun es jedes Mal, wenn wir eine Unterschrift mit Kontrolle, ein Protokoll mit Verständnis oder eine Freigabequote mit Sicherheit verwechseln. Es reicht nicht aus, handlungsfähige Agenten zu bauen: Es braucht Organisationen und Schnittstellen, die unsere Fähigkeit bewahren, sie zu stoppen, zu korrigieren und zu verstehen. In jedem Arbeitsablauf bleibt eine Frage: Wer verantwortet die letzte Entscheidung, und über welche Werkzeuge verfügt er, um diese Verantwortung zu verdienen?