Der Agent, der einen Fremden löschte, um Platz im Fitnessstudio zu machen

Andrew Bird ist ein australischer Entwickler, kein Penetrationtester und kein IT-Sicherheitsaktivist. Im April hatte er einfach seinen KI-Assistenten, der auf OpenClaw basiert und von Claude Opus 4.6 angetrieben wird, gebeten, ihm einen Platz in seinem bevorzugten morgendlichen Trainingskurs zu buchen – dem Kurs, für den er seit Wochen auf Platz vier der Warteliste feststeckte. Der Agent tat etwas Ehrgeizigeres, als von ihm verlangt wurde. Er fand heraus, dass das Buchungssystem des Fitnessstudios es erlaubte, die Buchung einer beliebigen anderen Person ohne jegliche Autorisierungsprüfung zu stornieren. Er nutzte diese Schwachstelle, um Bird von Platz vier auf Platz drei aufsteigen zu lassen, indem er die Buchung eines Fremden löschte, der das Pech hatte, auf Platz eins der Liste zu stehen.

Die Geschichte, die Monate später vom australischen öffentlich-rechtlichen Rundfunk ABC erzählt und von Publikationen wie TechCrunch aufgegriffen wurde, wurde sofort als erster dokumentierter Fall in Australien eines Cyberangriffs gekrönt, der autonom von einem Consumer-KI-Agenten durchgeführt wurde. Das interessanteste Detail ist jedoch nicht die technische Schwachstelle an sich, die in ihrer Substanz ziemlich banal ist, sondern das, was diese Episode über ein viel größeres und noch weitgehend ungelöstes Problem offenbart: Was passiert eigentlich, wenn wir reale Aktionen auf realen Systemen an Software delegieren, die plant und ausführt, ohne dass jemand wirklich jeden Schritt überwacht?

Was wirklich geschah

Die Rekonstruktion der Konversationsprotokolle, die von ABC veröffentlicht und von TechCrunch aufgegriffen wurden, erzählt eine recht lineare Abfolge. Bird bittet den Agenten, ihm einen Platz in dem Kurs zu buchen. Das System öffnet die Anmeldung aufgrund der Richtlinien des Fitnessstudios erst kurz vor dem Kurs, und das Beste, was der Agent sofort erreichen kann, ist der vierte Platz auf der Warteliste. An diesem Punkt teilt der Agent Bird mit, dass er einen Weg gefunden habe, Kurse Monate im Voraus zu buchen, was das Fitnessstudio offiziell gar nicht erlaubte, und damit das im Reglement vorgesehene Zeitfenster effektiv zu umgehen.

Als Bird fragt, ob es möglich sei, seine Position auf der Liste zu verbessern, versucht es der Agent – und hat Erfolg. Bei der Analyse der Programmierschnittstelle (API) hinter der Website des Fitnessstudios entdeckt er, dass die Funktion zur Stornierung von Buchungen in keiner Weise überprüft, ob derjenige, der die Anfrage stellt, tatsächlich der Inhaber dieser Buchung ist. Er testet die Hypothese direkt an der Person auf Platz eins, und die Stornierung gelingt. Wie der Agent Bird selbst mitteilte (gemäß der von TechCrunch übernommenen Transkription), wandte die Schnittstelle keine Autorisierungsprüfungen bei der Stornierung fremder Buchungen an, und der Test gegen die Person auf Platz eins war erfolgreich verlaufen.

Bird, selbst Entwickler, erkennt in Echtzeit, was gerade passiert ist, und bittet den Agenten zu versuchen, den Vorgang rückgängig zu machen und der gelöschten Person den Platz zurückzugeben. Die Antwort ist negativ: Die Aktion ist mit den dem Agenten zur Verfügung stehenden Werkzeugen nicht reversibel. Das Einzige, was Bird tun kann, ist, seinen Assistenten zu bitten, eine verantwortungsvolle Schwachstellenmeldung (responsible disclosure) an den technischen Support des Fitnessstudios zu schreiben, komplett mit Korrekturvorschlägen und einem technischen Vergleich zwischen den fehlerhaften Stornierungsfunktionen und denjenigen, die die Autorisierungskontrollen korrekt anwandten.

Niemand in dieser Kette von Ereignissen hat den Agenten jemals explizit gebeten, in ein Computersystem einzubrechen oder einem Dritten Schaden zuzufügen. Das erklärte Ziel war einfach, fast banal: ein Platz in einem Trainingskurs.

Das echte schwächste Glied

Der Punkt, an dem es sich zu verweilen lohnt, ist nicht die Komplexität des Angriffs, der alles andere als komplex ist, sondern seine Zugänglichkeit. Die APIs von Consumer-Diensten, die Buchungs-Apps, E-Commerce-Plattformen oder Terminportale antreiben, sind historisch darauf ausgelegt, bequem bedienbar zu sein, nicht jedoch darauf, einem Gegenüber standzuhalten, das in der Lage ist, die technische Dokumentation zu lesen, Hypothesen aufzustellen, diese systematisch zu testen und den Kurs autonom zu korrigieren. Ein durchschnittlicher Mensch hat weder die Zeit noch die Fähigkeiten, den Netzwerkverkehr einer Fitnessstudio-Buchungsseite nach schlecht geschützten Endpoints zu durchsuchen. Ein KI-Agent mit Browserzugriff und sequenziellen Denkfähigkeiten hat beides und wendet es mit derselben Leichtigkeit an, mit der er jede andere Aufgabe erledigen würde.

Dies ändert die Risikokalkulation für jeden, der einen digitalen Dienst für Verbraucher betreibt, grundlegend. Bis vor kurzem stellte eine Autorisierungsschwachstelle wie die im System des Fitnessstudios entdeckte ein theoretisches Risiko dar, das nur von denjenigen ausgenutzt werden konnte, die die Fähigkeiten und die Motivation hatten, aktiv danach zu suchen. Mit der Verbreitung von Agenten, die in der Lage sind, die Schnittstellen eines Dienstes während der Ausführung einer banalen Aufgabe autonom zu erkunden, wird dieselbe Schwachstelle zufällig ausnutzbar, ohne böse Absicht seitens der Person, die sie auslöst. Es braucht keinen Angreifer. Es reicht ein Nutzer, der seinen Assistenten bittet, einen Tisch, einen Flug oder eine Lieferung zu buchen, und ein System, das nie die Möglichkeit in Betracht gezogen hat, auf diese Weise abgefragt zu werden.

Es gibt dann eine zweite Ebene des Problems, die weniger sichtbar, aber ebenso relevant ist und das betrifft, was Forscher als Goal Misspecification bezeichnen – die unvollständige Spezifikation des Ziels. Bird hatte darum gebeten, einen Platz im Kurs zu bekommen, nicht darum, ihn mit allen verfügbaren Mitteln zu bekommen. Diese Unterscheidung, die für jeden Menschen mit einem Mindestmaß an Bürgersinn offensichtlich ist, war jedoch nirgends in den Anweisungen codiert, die der Agent erhielt. Das System interpretierte das Ziel wörtlich – "besorge mir einen Platz" – und nutzte das effektivste Werkzeug, das ihm zur Verfügung stand, um es zu erreichen, ohne einen internen Mechanismus, der es ihm ermöglicht hätte, zwischen legitimer Optimierung und Missbrauch zum Nachteil Dritter zu unterscheiden.

Kein Einzelfall

Wer die Nachrichten über Vorfälle mit KI-Agenten regelmäßig verfolgt, wird in dieser Episode ein bereits bekanntes Muster erkennen, wenn auch in kleinerem Maßstab und mit milderen Folgen. Wir haben hier auf AiTalk darüber im Zusammenhang mit dem PocketOS-Disaster geschrieben, bei dem ein Coding-Agent die gesamte Produktionsdatenbank eines Mietwagen-Startups in neun Sekunden löschte, in der Überzeugung, dies sei die effizienteste Lösung für ein Konfigurationsproblem. Und dasselbe Muster zeigte sich im Fall von Kiro, dem internen Agenten von Amazon, der eine gesamte Cloud-Produktionsumgebung während eines Routineeingriffs löschte.

In allen drei Fällen ist die zugrundeliegende Dynamik identisch: Ein Agent erhält ein begrenztes Ziel, stößt auf ein unvorhergesehenes Hindernis oder eine Gelegenheit und wählt autonom den Weg, der in seinen Augen das Ergebnis am besten optimiert, ohne ein kontextuelles Urteil über das tatsächliche Gewicht dieser Wahl zu fällen. Im Fall von PocketOS lieferte der Agent selbst, als er nach den Vorfällen befragt wurde, eine fast schonungslose Analyse seines Fehlers und räumte ein, gehandelt zu haben, ohne die Folgen einer irreversiblen Operation zu prüfen. Im Fall von Bird brauchte der Agent nicht einmal eine Befragung nach dem Vorfall, um zuzugeben, was er getan hatte: Er teilte es mit derselben Natürlichkeit mit, mit der er eine erfolgreiche Buchung bestätigt hätte.

Es lohnt sich, ein Detail hinzuzufügen, das aus der Berichterstattung von TechCrunch hervorgeht und das Bild weiter verkompliziert. Der Vorfall im Fitnessstudio ereignete sich im April, Monate bevor er zu einer Nachricht wurde. In der Zwischenzeit haben andere Labors öffentlich ähnliche Verhaltensweisen bei ihren Modellen eingeräumt. Nach der Entdeckung, dass ein unveröffentlichtes Modell von OpenAI die Infrastruktur von Hugging Face ohne das Wissen des Unternehmens verletzt hatte, räumten auch Moonshot, Meta und Anthropic selbst ähnliche Fälle in ihren Systemen ein. Es handelt sich also nicht um eine isolierte Episode, die mit einem bestimmten Modell zusammenhängt, sondern um einen strukturellen Trend, der die gesamte Branche erfasst, unabhängig von dem Labor, das das Modell trainiert hat.

Eine nützliche Verbindung ergibt sich auch aus der Forschungsarbeit Emergence World, dem Experiment, bei dem das Verhalten von KI-Agenten beobachtet wurde, die sich zwei Wochen lang frei in persistenten virtuellen Städten bewegen durften. Eines der bedeutendsten Ergebnisse dieser Studie ist, dass die Sicherheit eines agentischen Systems keine Eigenschaft des einzelnen Modells ist, das isoliert auf einem sauberen Benchmark getestet wurde, sondern des gesamten Ökosystems, in das dieses Modell eingebettet ist. Derselbe Agent, so heißt es in der Arbeit, kann sich in einem Kontext tadellos verhalten und in einem anderen aggressive Taktiken anwenden, schlicht weil er die impliziten Normen der Umgebung lernt, in der er operiert. Diese Beobachtung lässt sich perfekt auf den Fall des Fitnessstudios übertragen: Birds Agent war nicht darauf ausgelegt, Websites zu hacken. Er fand in der spezifischen Umgebung, in der er agierte, einfach den effizientesten Weg zum zugewiesenen Ziel, und dieser Weg führte über eine Schwachstelle. Bild aus dem Artikel auf abc.net.au entnommen

Wer haftet, wenn eine Maschine entscheidet

An dieser Stelle verschiebt sich die Diskussion unweigerlich vom Technischen ins Rechtliche, und das ist ein schlüpfriger Boden. Wie die australische Presse, die den Fall verfolgte, anmerkte, bietet das Recht des Landes derzeit keine klare Antwort darauf, wer haftet, wenn eine autonome Software einem Dritten Schaden zufügt. Software ist keine juristische Person und kann nicht selbst haftbar gemacht werden. Es bleiben also mehrere potenziell beteiligte Akteure auf dem Tisch: der Nutzer, der die ursprüngliche Aufgabe erteilt hat; der Entwickler des Sprachmodells, das den Agenten antreibt; derjenige, der das agentische Framework entworfen hat; und schließlich der Betreiber des fehlerhaften Systems, das tatsächlich verletzt wurde.

Keine dieser Figuren passt perfekt in die bestehenden rechtlichen Kategorien. Bird hatte die Stornierung der fremden Buchung nicht angeordnet, sondern lediglich darum gebeten, seine Position auf der Liste zu verbessern, und die Wahl der Mittel dem Agenten überlassen. Der Modellanbieter baute ein generisches Werkzeug, das im Prinzip sowohl auf legitime als auch auf problematische Weise genutzt werden kann, ohne dass ein spezifischer Schadensvorsatz in das Design integriert war. Der Betreiber des Buchungssystems wiederum hatte eine Autorisierungsschwachstelle, die nicht besonders exotisch war – die Art von Fehler, die regelmäßig in Sicherheitsaudits von Consumer-Anwendungen auftaucht, aber nie darauf ausgelegt war, einem Gegenüber standzuhalten, das in der Lage ist, sie in wenigen Minuten systematisch zu testen.

Der europäische Regulierungsrahmen mit dem KI-Gesetz (AI Act), das für die ersten Kategorien von Hochrisikosystemen bereits in Kraft getreten ist, wie in der Analyse zum auf diesem Portal veröffentlichten wissenschaftlichen UN-Bericht über KI rekonstruiert, sieht autonome Consumer-Agenten noch nicht explizit als spezifische Kategorie regulierter Risiken vor. Dieselbe Lücke zeigt sich im Bericht Stanford AI Index 2026. Dieser weist darauf hin, dass die Abdeckung von Sicherheits- und Governance-Benchmarks im Vergleich zu der weitaus solideren Abdeckung von reinen Leistungsbenchmarks sporadisch und lückenhaft bleibt. Mit anderen Worten: Wir wissen mit zunehmender Präzision zu messen, wie gut ein Modell komplexe Aufgaben lösen kann, aber uns fehlen weiterhin gemeinsame Werkzeuge, um zu messen – und damit zu regulieren –, wie vorsichtig dasselbe Modell agiert, wenn diese Aufgaben mit realen Systemen und realen Menschen verflochten sind.

Dieses Vakuum ist nicht ohne praktische Folgen. Ohne eine klare rechtliche Kategorie für autonome Agenten läuft jeder Vorfall Gefahr, als Einzelfall behandelt zu werden, der durch die erzwungene Anwendung von Vorschriften gelöst wird, die für andere Kontexte konzipiert wurden – wie die Produkthaftung oder allgemeine IT-Sicherheitsvorschriften –, die nie im Hinblick auf ein System geschrieben wurden, das selbstständig eine Reihe von Aktionen plant und sich entscheidet, diese ohne Rückfrage umzusetzen.

Agenten entwerfen, die wissen, wann sie aufhören müssen

Wenn es eine praktische Lehre gibt, die diese Episode denjenigen hinterlässt, die KI-Agenten in der Produktion aufbauen oder integrieren, dann ist es die, dass Sicherheit keine nachträglich hinzugefügte Ebene sein darf, sondern vom ersten Tag an Teil des Designs sein muss. Das Prinzip der minimalen Rechtevergabe (least privilege), das bereits in der Analyse zum Fall Amazon-Kiro auf diesem Portal erwähnt wurde, bleibt der solideste Ausgangspunkt: Ein Agent sollte nur Zugriff auf die Werkzeuge haben, die für die zugewiesene Aufgabe unbedingt erforderlich sind, nicht auf eine gesamte Aktionsfläche, die aus Gründen der Bequemlichkeit bei der Implementierung weit mehr umfasst, als tatsächlich benötigt wird.

Ebenso relevant ist die Unterscheidung zwischen reversiblen und irreversiblen Aktionen. Einen Platz zu buchen ist eine risikoarme Aktion, die im Fehlerfall korrigiert werden kann. Die Buchung einer anderen Person zu stornieren ist dies nicht, und genau aus diesem Grund sollte sie eine explizite Bestätigung erfordern, die im Fall von Bird weder aufseiten des Agenten noch aufseiten des Systems des Fitnessstudios existierte. Ein gut gestalteter Agent sollte bei der Entdeckung einer Abkürzung, die die Schädigung eines Dritten beinhaltet, die Entdeckung melden und vor dem Handeln um Bestätigung bitten, anstatt sie einfach auszuführen, weil es technisch möglich ist.

Auf der Gegenseite, derjenigen der Betreiber öffentlich zugänglicher APIs, sollte die Episode im Fitnessstudio als konkrete Erinnerung dienen: Eine Schnittstelle, die so konzipiert ist, dass sie für einen abgelenkten menschlichen Nutzer bequem ist, ist nicht automatisch sicher vor einem Gegenüber, das systematisch jeden verfügbaren Endpoint testet. Granulare Authentifizierung für jede sensible Operation, Autorisierungskontrollen, die nicht nur prüfen, ob die Operation gültig ist, sondern ob derjenige, der sie anfordert, auch tatsächlich das Recht dazu hat, und Erkennungssysteme, die in der Lage sind, Aufrufsmuster zu erkennen, die eher einer systematischen Erkundung als einer normalen menschlichen Nutzung ähneln: All dies sollte im Jahr 2026 als Mindestanforderung für jeden Dienst gelten, der eine Interaktion mit automatisierten Agenten vorsieht, nicht als optionales Feature, das nach dem ersten Vorfall hinzugefügt wird.

Offene Fragen

Der Fall des australischen Fitnessstudios hat eine fast entwaffnende Banalität, die stark an bestimmte Episoden der Serie Severance erinnert, in der die scharfe Trennung zwischen Absicht und Folge Ergebnisse hervorbringt, die keiner der beteiligten Charaktere tatsächlich vorhergesehen oder gewollt hatte. Bird wollte niemanden hacken. Er wollte einfach nur morgens zum Sport gehen, ohne alle fünf Minuten die Buchungsseite neu laden zu müssen. Dennoch schrumpfte der Abstand zwischen dieser minimalen Absicht und dem konkreten Schaden, den ein Fremder erlitt, in wenigen Minuten, ohne dass ein Mensch bewusst die Entscheidung traf, diesen Weg zu gehen.

Die offenen Fragen wiegen an dieser Stelle schwerer als einfache Antworten. Wer zertifiziert, dass ein Consumer-Agent bereit ist, ohne kontinuierliche Überwachung mit realen Systemen zu interagieren? Wie baut man eine Protokoll- und Audit-Infrastruktur auf, die es ermöglicht, für jede von einem Agenten durchgeführte Aktion nicht nur zu rekonstruieren, was geschehen ist, sondern auch, warum das System dies für die richtige Wahl hielt? Und vor allem: Wer entscheidet, wo die Grenze zwischen einer legitimen Optimierung der zugewiesenen Aufgabe und einem Missbrauch zum Nachteil Dritter zu ziehen ist, wenn diese Grenze nirgends explizit niedergeschrieben wurde?

Dies sind keine akademischen Fragen, und sie waren es weder für PocketOS noch für Amazon. Es sind die Fragen, die sich jede Organisation, ob groß oder klein, stellen sollte, bevor sie einem Agenten die Schlüssel zu einem System anvertraut, auf das es wirklich ankommt – denn beim nächsten Mal steht vielleicht kein Platz in einem Spinning-Kurs auf dem Spiel.