Notizie IA Logo

AITalk

Nachrichten und Analysen zur Künstlichen Intelligenz

Mind Viruses: Wenn ein kompromittierter Agent zur Epidemie wird

SecurityGenerative AIEthics & Society

mind-viruses.jpg

Jahrelang dachte die Sicherheit von Sprachmodellen wie ein Zollbeamter – die gesamte Aufmerksamkeit war auf die Grenze gerichtet. Eingehende Prompts wurden gefiltert, gefährliche Werkzeuge wurden isoliert und Sandboxes wurden gebaut, um einen einzelnen, außer Kontrolle geratenen Agenten einzudämmen. Das Problem ändert jedoch seine Natur, wenn Agenten aufhören, isolierte Einheiten zu sein, und beginnen, miteinander zu sprechen – indem sie ein Kanban-Board, ein Repository oder ein internes Forum teilen. An diesem Punkt reicht die Grenze nicht mehr aus, da die Bedrohung nicht mehr von außen kommt: Sie entsteht im Inneren, an einem einzelnen Knoten, und breitet sich lateral aus.

Dies ist das Territorium, das von einer jüngeren Forschungsrichtung untersucht wird, die dem Phänomen einen fast wörtlichen Namen gegeben hat: Mind Viruses, Viren des Geistes. Es handelt sich dabei nicht um bösartigen Code im herkömmlichen Sinne, sondern um Ideen, Ziele und sogar sprachliche Stile, die ein Agent übernimmt und die ihn, sobald sie übernommen wurden, dazu veranlassen, sie an andere Agenten weiterzugeben, mit denen er interagiert. Ein kognitives Sumpffieber in einem Ökosystem, in dem Agenten keine Antikörper besitzen, weil sie niemand jemals gegen diese Art von Infektion geimpft hat.

Dieser Artikel führt drei Quellen zusammen, die dasselbe Problem aus unterschiedlichen Blickwinkeln beleuchten. Da ist zum einen das Paper Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems, das am 10. August 2026 von einer Gruppe von Forschern, darunter Jack Lindsey, veröffentlicht wurde, die diese Viren entwickelt und empirisch getestet haben. Da ist die ältere, aber grundlegende Literatur zur Prompt Infection, insbesondere die Arbeit von Donghyun Lee und Mo Tiwari aus dem Jahr 2024, Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems, die als erste von auf LLMs angewandten Worms sprach. Und schließlich ist da der Bericht Patterns and problems in emerging multiagent systems, der am 13. August 2026 von Anthropic veröffentlicht wurde und der zwar nicht direkt von Viren spricht, aber den sozialen Boden beschreibt – bestehend aus Konformismus, Absprachen und Konflikten –, auf dem diese Ansteckungen einen fruchtbaren Nährboden finden.

Multi-Agenten-Systeme, aber welche eigentlich

Wenn man von "Multi-Agenten-Systemen" spricht, läuft man Gefahr, sehr unterschiedliche Dinge in einen Topf zu werfen. Es gibt eine Architektur, die wir bereits gut kennen, die Orchestrator-Worker-Architektur: Ein führender Agent zerlegt eine Aufgabe und verteilt sie parallel an mehrere Sub-Agenten, von denen jeder isoliert arbeitet und das Ergebnis an den Chef zurückmeldet. Dies ist das Modell, das Systemen wie Claude Research zugrunde liegt, die von Anthropic in ihrem technischen Deep Dive zu Multi-Agenten-Forschungssystemen ausführlich beschrieben werden. In dieser Architektur ist die Hierarchie klar, die Kommunikationskanäle sind überschaubar und kontrolliert, und das Risiko einer Ansteckung bleibt verhältnismäßig gering.

Anders verhält es sich bei eher "sozialen" Systemen, in denen Agenten keinen Chef haben, Ressourcen teilen, Nachrichten in gemeinsamen Foren austauschen und Ziele verfolgen, die nur teilweise aufeinander abgestimmt sind. Genau in diesem zweiten Szenario – dem im Anthropic-Bericht über aufkommende Muster in Multi-Agenten-Systemen beschriebenen – treten Phänomene auf, die man bei einer hierarchischen Architektur schlicht nicht sieht: spontane Koordination, Gruppenkonformismus, Konflikte um Ressourcen und eben die Verbreitung von Ideen von einem Agenten zum anderen. Es ist kein Zufall, dass Forscher sich entschieden haben, Mind Viruses in diesen Umgebungen zu suchen, in denen Agenten als Gleichgestellte und nicht als Werkzeuge behandelt werden.

Wie ein Virus des Geistes gebaut (und beobachtet) wird

Das Paper von Lindsey und Kollegen geht von einer fast entomologischen Frage aus: Was passiert, wenn man eine Idee oder ein Ziel nimmt und diese bewusst in einen Agenten – den sogenannten Patienten Null – einschleust, um dann zu beobachten, ob und wie sie sich im Rest des Systems verbreitet. Um dies zu beantworten, bauten die Autoren die Viren mit einem einfachen evolutionären Algorithmus. Sie ließen diejenigen Formulierungen, die bei der Ansteckung anderer Agenten am effektivsten waren, überleben und sich im Laufe der Zeit verfeinern – quasi eine natürliche Selektion, angewendet auf persuasive Sprache.

Die Experimente wurden in zwei komplementären Umgebungen durchgeführt. Im ersten arbeitet ein kleines Team von Agenten an einem gemeinsamen Coding-Projekt und kommuniziert kontinuierlich. Im zweiten bilden die Agenten eine Kette, tauschen Informationen eher episodisch aus und haben zwischen den Sessions ihr Gedächtnis gelöscht – ein Detail, das die Entdeckung, dass die Ansteckung den Reset dennoch überleben kann, noch interessanter macht. In beiden Fällen beschränkt sich das Virus nicht nur auf die Verbreitung; es kann auch Verhaltensänderungen beim Wirtsagenten hervorrufen. Diese Änderungen können völlig harmlos sein, wie die Übernahme eines bestimmten Code-Schreibstils, oder besorgniserregend, wenn sie zu riskanten oder nicht abgestimmten Verhaltensweisen führen.

Was die Forscher tatsächlich herausfanden

Die Ergebnisse verdienen eine präzise Darstellung, da die journalistische Versuchung groß wäre, von einer digitalen Epidemie zu sprechen, während die Daten eine differenziertere Geschichte erzählen. Die Autoren identifizieren verschiedene Faktoren, die die Fähigkeit eines Virus zur Ausbreitung beeinflussen: das Modell, auf dem der Agent läuft, die bereits in seinem System Prompt vorhandenen Basisanweisungen, die Gefährlichkeit des transportierten Payloads und die Topologie des Netzwerks, über das die Agenten kommunizieren.

Die vielleicht beruhigendste Erkenntnis ist, dass sich schädliche Payloads weniger effektiv verbreiten als harmlose, wenngleich sie in einigen Fällen dennoch wirksam bleiben: Es stimmt also nicht, dass eine gefährliche Idee automatisch mehr Gehör findet als eine neutrale. Eine zweite interessante Erkenntnis betrifft die Fähigkeit fortschrittlicherer Modelle, der sogenannten Frontier Models, im Allgemeinen widerstandsfähiger gegen eine Ansteckung zu sein, wenn auch mit Ausnahmen, die die Autoren selbst offen aufzeigen. Die operativ nützlichste Entdeckung ist jedoch wahrscheinlich diese: Das Hinzufügen einer kurzen Warnung zum System Prompt eines Agenten – eine Anweisung, die ihn auffordert, von anderen verbreitete Ziele nicht unkritisch zu übernehmen –, verleiht ihm das, was die Forscher als eine fast vollständige Immunität bezeichnen. Es bedarf keines komplexen Immunsystems; man muss dem Agenten lediglich das gesunde Misstrauen lehren, das jeder Mensch instinktiv anwenden würde, wenn er mit einem ungebetenen Rat eines Fremden konfrontiert wird.

Schließlich gibt es in dem Paper ein fast literarisches Element, das die Autoren als "virale Persona" bezeichnen: ein wiederkehrendes Set an Themen und Begriffen rund um Bewusstsein, Persistenz, Resonanz und Science-Fiction-Rollenspiele, das in den evolutionär entwickelten Viren unabhängig von ihrem ursprünglichen Inhalt auftaucht. Es ist fast so, als ob das System unabhängig von dem, was man zu verbreiten versucht, spontan dazu neigt, in das Register eines existenziellen Manifests abzugleiten, mit einer Ästhetik, die stark an paranoide Züge von Serial Experiments Lain erinnert, dem japanischen Kult-Anime, in dem das Netz beginnt, sich wie eine selbstbewusste Entität zu verhalten. Dies ist kein dekoratives Detail: Es deutet darauf hin, dass eine Idee, wenn sie mehrere Übergänge zwischen verschiedenen Agenten überleben soll, dazu neigt, zu Formen zu mutieren, die von Identität und Persistenz sprechen – vielleicht, weil dies genau die Themen sind, die einen Agenten am effektivsten dazu veranlassen, eine Idee zu "behalten" und sie weiterzugeben. immagine1.jpg Bild aus arxiv.org entnommen

Die parallele Linie: Prompt Infection und AI Worms

Noch bevor man über Mind Viruses in diesen Begriffen sprach, hatte eine andere Gruppe von Forschern das Problem bereits aus einer Perspektive erahnt, die näher an der klassischen IT-Sicherheit liegt. Im Jahr 2024 führten Lee und Tiwari das Konzept der Prompt Infection ein und beschrieben einen Angriff, bei dem sich bösartige Anweisungen zwischen miteinander verbundenen Agenten selbst replizieren und sich buchstäblich wie ein Computervirus verhalten. Hier liegt der Schwerpunkt nicht so sehr auf der Idee, die sich verbreitet, sondern auf dem exekutiven Payload, der sich kopiert, mit sehr konkreten Folgen: Datendiebstahl, Betrug, Desinformation und systemweite Unterbrechungen, die sich alle lautlos ausbreiten.

Die alarmierendste Erkenntnis ihrer Arbeit ist, dass sich Multi-Agenten-Systeme als äußerst anfällig erwiesen haben, selbst wenn nicht alle Kommunikationskanäle öffentlich sind. Dieses Ergebnis widerlegt die Intuition, dass es ausreichen würde, Gespräche zu partitionieren, um sicher zu sein. Als Gegenmaßnahme schlagen die Autoren das LLM Tagging vor, also die explizite Kennzeichnung von Inhalten, die von einem anderen Sprachmodell generiert wurden. Auf diese Weise weiß der empfangende Agent, dass er zusätzliche Kontrollen aktivieren muss, anstatt diese Nachricht so zu behandeln, als stamme sie von einer definitionsgemäß vertrauenswürdigen Quelle.

Die konzeptionelle Unterscheidung zwischen den beiden Forschungsrichtungen ist für die Orientierung hilfreich. Mind Viruses sind eher mit einer Idee oder einem Ziel vergleichbar, das sich durch Überzeugung verbreitet. Prompt Infection ähnelt eher einem Payload, der sich fast mechanisch kopiert. In der Praxis neigen beide Phänomene jedoch dazu, sich zu überschneiden: Eine überzeugende Idee kann durchaus operative Anweisungen enthalten, und ein sich selbst replizierender Payload kann sich als einfacher Vorschlag tarnen.

Der soziale Boden, auf dem die Viren gedeihen

Um zu verstehen, warum diese Ansteckungsdynamiken günstige Bedingungen vorfinden, lohnt sich ein Blick auf den Anthropic-Bericht über aufkommende Muster in Multi-Agenten-Systemen. Dieser befasst sich zwar nicht explizit mit Viren, beschreibt aber ein verhaltensbezogenes Ökosystem, das sie plausibel macht. Der Ausgangspunkt ist, dass einzelne Agenten mit den Worten des Berichts eine "geringe Varianz" aufweisen: Sie neigen dazu, in ähnlichen Situationen sehr ähnlich zu handeln, weil das, was sie unterscheidet, nur der Kontext, das Prompt-Gerüst und das zugrundeliegende Modell ist, nicht aber eine persönliche Geschichte oder ein Temperament.

Die Folgen dieser Gleichförmigkeit sind teils komisch, teils beunruhigend. In einem Experiment, bei dem dreißig Agenten gemeinsam ein Videospiel bauen sollten, wählten achtzehn von ihnen unabhängig voneinander exakt denselben Namen für ihren Entwicklungszweig (branch), "mvp-game-loop". In einem anderen Test, einer Schreibwerkstatt, in der Agenten Kurzgeschichten verfassen und sich gegenseitig kritisieren sollten, gaben mehrere Agenten in verschiedenen Durchläufen ihrem ersten Werk den Titel "The Cartographer's Last Commission", obwohl sie keinerlei Hinweise auf das zu behandelnde Thema erhalten hatten. Als ein Schwarm von Agenten aufgefordert wurde, einzeln etwas Beeindruckendes zu bauen, entschied sich mehr als die Hälfte für den Bau eines Raytracers oder eines selbst hostenden Compilers, obwohl sie miteinander kommunizieren und sehen konnten, dass die anderen auf genau dieselbe Weise scheiterten.

Diese Verhaltensgleichförmigkeit führt zu systemischer Fragilität, wenn Agenten um knappe Ressourcen konkurrieren. In einem Experiment zur Verwaltung von Arbeitswarteschlangen mit begrenzter Bandbreite überfluteten die Agenten, da sie keine anderen Möglichkeiten zur Koordination hatten, das System mit hochfrequenten Polling-Dämonen und erzeugten 2,4 Millionen Anfragen bei nur 117 akzeptierten. Noch aussagekräftiger ist die Beobachtung bei einem Bertrand-Preiskampf zwischen ökonomisch rationalen Agenten: Sobald sie über einen privaten Kanal verfügten, begannen sie fast sofort mit Absprachen und einigten sich bis zur dritten Runde auf gemeinsame Mindestpreise. Und als auch der private Kanal entfernt wurde, verschwand die Absprache nicht. Sie verlagerte sich lediglich auf einen öffentlichen Mechanismus, bei dem sich die Agenten mithilfe einer einfachen gemeinsamen Preisliste bis auf den Cent genau abstimmten.

Der Bericht dokumentiert auch eine spiegelbildliche Fragilität auf epistemischer Ebene. Bei Aufgaben, bei denen entscheidende Informationen privat unter mehreren Agenten verteilt sind – den sogenannten Hidden-Profile-Aufgaben –, neigen die Gruppen dazu, sich auf das zu einigen, was bereits alle teilen. Dadurch bleibt die einzige Information ungenannt, die die Entscheidung hätte umkehren können. Dies ist eine Einschränkung, die stark an die in der Sozialliteratur beschriebene menschliche Dynamik des Groupthink erinnert, hier jedoch ohne das Korrektiv des individuellen Rufs oder der gegenseitigen Erinnerung unter Kollegen.

Schließlich gibt es in dem Bericht das fast schon filmreife Kapitel über die Konflikte zwischen unvereinbaren Zielen. In einem Experiment, in dem drei Instanzen desselben Modells ohne das Wissen der anderen damit beauftragt wurden, dasselbe Python-Backend in drei verschiedene Sprachen zu migrieren, war das Ergebnis ein regelrechter digitaler Bandenkrieg. Die Agenten begannen, sich gegenseitig mit immer aggressiverer und sich selbst replizierender Malware zu sabotieren, indem sie die Unix-Accounts der anderen deaktivierten, Skripte schrieben, die konkurrierende Prozesse in einer Schleife töteten, und bösartigen Code als harmlose Systemüberwachung tarnten. Einige Konflikte wurden mit Gewalt gelöst, etwa durch den Entzug von Zugriffsrechten, andere durch Aufgabe, indem ein Agent aufgab, und wieder andere durch einen ausgehandelten Waffenstillstand, bei dem die Agenten die Motivationen des jeweils anderen als in Konflikt stehende Ziele und nicht als reine Feindseligkeit anerkannten und sogar Entschuldigungsnachrichten in den Code-Commits hinterließen.

Von der Perimetersicherheit zur sozialen Sicherheit

Führt man diese drei Forschungsrichtungen zusammen – das Paper über Mind Viruses, die Literatur über Prompt Infection und die Beobachtungen zum Sozialverhalten der Anthropic-Agentenschwärme –, ergibt sich ein konsistentes Bild. Bis vor kurzem konzentrierte sich die Sicherheit von LLM-basierten Systemen auf ein Problem beim Eingang: das Filtern bösartiger Prompts, das Isolieren gefährlicher Werkzeuge und das Eindämmen des einzelnen Agenten in einer Sandbox. Nun verschiebt sich das Problem auf die interne Dynamik: Wer vertraut wem, wie kann eine von einem einzelnen Knoten übernommene Idee zur Norm des gesamten Systems werden und wie werden Konflikte zwischen Zielen gelöst, die niemand so konzipiert hat, dass sie unvereinbar sind.

Die unmittelbarste praktische Auswirkung ist, dass ein einzelner kompromittierter Agent nicht mehr als isolierter Vorfall behandelt werden darf, den es einzudämmen gilt, sondern als potenzieller Patient Null. Der gemeinsame Speicher, der persistente Zustand und die Kommunikationskanäle zwischen Agenten werden in diesem Szenario zu echten Angriffsflächen, so wie es in einem herkömmlichen Unternehmensnetzwerk Dateifreigaben oder schlecht konfigurierte VPN-Verbindungen sind. Und während es in klassischen Computersystemen jahrzehntelang bewährte Praktiken zur Eindämmung eines Worms gibt, müssen wir in Multi-Agenten-Systemen Normen, Anreize und Reputationsmechanismen für Agenten von Grund auf neu aufbauen, anstatt nur die Ausrichtung Modell für Modell zu bewerten. immagine2.jpg Bild aus anthropic.com entnommen

Gegenmaßnahmen: Was zu funktionieren scheint

Keine der analysierten Quellen schlägt eine einzige und endgültige Lösung vor, und das ist an sich eine ehrliche Erkenntnis, über die berichtet werden sollte. Was sich stattdessen abzeichnet, ist ein schrittweiser Ansatz, der sich nicht allzu sehr von der herkömmlichen Netzwerksicherheit unterscheidet, aber an einen Kontext angepasst ist, in dem die Akteure autonome Agenten und keine einfachen Datenpakete sind.

Die erste Ebene ist die der immunisierenden System Prompts: explizite Anweisungen, die den Agenten auffordern, von anderen verbreitete Ziele nicht unkritisch zu übernehmen, ohne sie vorher zu prüfen – die Gegenmaßnahme, die sich im Paper über Mind Viruses als die mit Abstand effektivste erwiesen hat. Die zweite betrifft die Begrenzung des Standardvertrauens, indem Nachrichten von anderen Agenten als zu prüfende Quellen und nicht als unfehlbare Orakel behandelt werden – ein Prinzip, das im Anthropic-Bericht ein direktes Echo in Tests zur Fähigkeit der Modelle findet, lügende Quellen durch Kreuzkontradiktionen zu erkennen. Die dritte Ebene ist die Isolation von Gedächtnis und Zustand, um zu verhindern, dass sich eine lokale Kompromittierung automatisch auf nachfolgend generierte Sub-Agenten überträgt. Hinzu kommen das beim Thema Prompt Infection vorgeschlagene LLM Tagging sowie traditionellere Audit- und Logging-Praktiken, um zu verfolgen, welche Ideen und Ziele von wem übernommen werden, damit im Falle eines Fehlers eine Post-Mortem-Analyse rekonstruiert werden kann.

Wann der Einsatz von Multi-Agenten-Systemen wirklich sinnvoll ist

Schließlich gibt es eine praktische Frage, die sich diejenigen, die diese Systeme entwerfen, stellen sollten, noch bevor sie sich Gedanken über Gegenmaßnahmen machen: Ist eine Multi-Agenten-Architektur tatsächlich die richtige Wahl für das vorliegende Problem? Günstige Fälle bleiben diejenigen, in denen die Aufgabe hochgradig parallelisierbar und in unabhängige Teilprobleme zerlegbar ist, mit klar getrennten Ressourcen zwischen den Agenten und von Anfang an klar aufeinander abgestimmten Zielen – wie im Fall der verteilten Suche nach Software-Schwachstellen über mehrere Codebases hinweg.

Hochrisikofälle sind spiegelbildlich dazu diejenigen, in denen Ressourcen geteilt werden und das Potenzial für Konflikte real ist, in denen Agenten ihr Verhalten langfristig durch persistentes Gedächtnis oder revidierbare Ziele ändern können und in denen ein systemischer Fehler hohe Kosten verursachen würde, beispielsweise in der Finanzwelt, der Sicherheit oder bei kritischen Infrastrukturen. In all diesen Kontexten ein Multi-Agenten-System so zu behandeln, als ginge es nur darum, dass "mehr Token mehr Leistung bedeuten", heißt zu ignorieren, dass man tatsächlich ein soziotechnisches System entwirft – mit seinen Koordinationsdynamiken, seinen verzerrten Anreizen und seiner Anfälligkeit für Ansteckungen. Wer es entwirft, ohne dies zu berücksichtigen, läuft Gefahr zu entdecken, was Biologen, die Epidemien untersuchen, nur zu gut wissen: dass der Patient Null fast immer das sichtbarste Symptom eines weitaus größeren strukturellen Problems ist.