Warum Benchmarks für KI-Agenten die realen Fähigkeiten unterschätzen

Jahrelang haben wir die Fähigkeit eines KI-Agenten wie eine feste Zahl behandelt, fast wie die Zeit eines Hundertmeterläufers: Man rennt, man stoppt die Zeit, man schreibt das Ergebnis auf eine Tafel. Aber was, wenn diese Zahl von dem Atem abhängt, den wir dem Läufer zugestehen, bevor wir ihn stoppen? Ein am 2. Juli 2026 vom AI Security Institute veröffentlichter Bericht, dem KI-Sicherheitsinstitut der britischen Regierung, legt nahe, dass genau dies der versteckte Fehler in vielen Agenten-Bewertungen ist: Wir stoppen sie mit einer Pfeife, die zu früh ertönt.

Das AISI geht von einer einfachen, fast trivialen Beobachtung aus. Fast alle Bewertungen von KI-Agenten reduzieren die Fähigkeit auf eine einzige Zahl, eine Punktzahl, ein Pass oder Fail, die Länge der abgeschlossenen Aufgabe. Diese Zahl verbirgt jedoch eine Designentscheidung, die selten klar deklariert wird: Wie viel Rechenleistung, wie viel „Denkzeit“ in Form von Token wird dem Agenten zugestanden, bevor der Versuch abgebrochen wird. Eine Änderung dieser Schwelle, so zeigt der Bericht, verändert die Punktzahl erheblich, insbesondere bei den neuesten Modellen.

Die Zahl, die eine Entscheidung verbirgt

Um den Punkt zu verstehen, muss man drei Konzepte unterscheiden, die in der öffentlichen Debatte oft verwechselt werden. Training Compute ist die Rechenleistung, die für das Training eines Modells aufgewendet wird – Monate von GPUs, die Daten verdauen, noch bevor der Benutzer eine Zeile schreibt. Inference Cost ist das, was es in Geld und Zeit kostet, eine einzelne Antwort zu erhalten, sobald das Modell bereit ist. Test-time Compute, der eigentliche Protagonist der Studie, ist hingegen die Rechenleistung, die der Agent während der Bewertung für eine spezifische Aufgabe aufwenden kann: Wie viele Denkschritte, wie viele Versuche, wie viele Token, bevor jemand oder etwas „Stopp“ sagt.

Die Unterscheidung ist nicht akademisch. Ein Modell kann identisch trainiert werden und sehr unterschiedliche Punktzahlen erreichen, je nachdem, wie viel man es im Moment des Tests „nachdenken“ lässt. Und genau hier macht das AISI das Problem aus: Die verbreitetsten Benchmarks erzwingen feste Token-Budgets, die oft darauf ausgelegt sind, die Rechenkosten von groß angelegten Bewertungen zu begrenzen, und nicht, weil dieses Budget eine natürliche Grenze der Modellfähigkeit darstellt.

Das Team des Instituts, die sogenannte Science of Evaluations, hat etwas konzeptionell Raffiniertes getan: Anstatt ein Budget zuzuweisen und die Endpunktzahl abzulesen, hat es das Budget von niedrig bis hoch variiert und beobachtet, wie sich die Performance entlang des gesamten Weges veränderte. Das Ergebnis ist das, was im Bericht als Capability Curve bezeichnet wird – eine Kurve der Fähigkeit anstelle eines isolierten Punktes. Wenn die Kurve noch ansteigt, wenn die Bewertung endet, ist die erreichte Punktzahl nicht die Obergrenze der Modellfähigkeit, sondern nur der Punkt, an dem jemand aufgehört hat zuzusehen.

Hier ist ein Bild hilfreich, das aus einem Bereich fernab der KI-Sicherheitslabore stammt. In Return of the Obra Dinn, dem Videospiel von Lucas Pope, in dem man das Schicksal der Besatzung eines verschollenen Schiffes rekonstruiert, indem man in der Zeit eingefrorene Momentaufnahmen betrachtet, erzählt jede Szene, die man beobachten kann, nur ein Fragment der Geschichte: Zu früh aufzuhören bedeutet zu glauben, alles verstanden zu haben, wenn man in Wirklichkeit nur ein Einzelbild gesehen hat. Benchmarks mit festem Budget riskieren, genauso zu funktionieren: Sie liefern eine überzeugende, aber unvollständige Momentaufnahme eines Prozesses, der viel mehr offenbaren würde, wenn man ihn fortsetzen ließe.

Kurven statt Punktzahlen: Was die Tests sagen

Die Forscher haben Frontier-Modelle an einer Reihe von Benchmarks getestet, die Cybersicherheit, Software-Engineering, Mathematik, akademische Aufgaben und das Gesundheitswesen abdecken – ein Spektrum, das bewusst gewählt wurde, um zu verstehen, ob das Phänomen domänenspezifisch oder übergreifend ist.

Bei der Cybersicherheits-Suite des AISI, die aus Capture-the-Flag-Aufgaben besteht, stieg die Erfolgsquote stetig an, je größer das pro Aufgabe gewährte Budget wurde. Etwa 8 % der Aufgaben wurden erst gelöst, als das Budget 10 Millionen Token erreichte, einige Fälle erforderten bis zu 50 Millionen. Bei geringeren Budgets wären diese Erfolge einfach unsichtbar geblieben – als Modellfehler klassifiziert, obwohl es in Wirklichkeit Messfehler waren.

Das Muster wiederholt sich bei öffentlich viel zitierten Benchmarks der Branche. Der Übergang von 1 auf 10 Millionen Token insgesamt steigerte die Leistung bei Software-Engineering-Aufgaben wie TerminalBench 2.0 und SWE-Bench Pro um etwa 25 % und bei Mathematik und akademischen Aufgaben, gemessen mit Humanity's Last Exam, um etwa 22 % bis zu einem Budget von 5 Millionen Token. Bei TerminalBench verbessert sich die Leistung überraschenderweise auch dann noch weiter, wenn das Token-Budget auf das Zehnfache dessen erhöht wird, was typischerweise in öffentlichen Bewertungen berichtet wird.

Es gibt jedoch eine Ausnahme, die wie eine Bestätigung wirkt, und hier gewinnt der Bericht an Glaubwürdigkeit in den Augen derer, die einfachem Enthusiasmus misstrauen: Bei HealthBench, einem Gesundheits-Benchmark, flachte jedes Modell innerhalb des üblichen Budgets schnell ab. Mehr Rechenleistung hilft, so erklären die Forscher, vor allem dort, wo der Agent seine eigene Arbeit selbst verifizieren kann, indem er Code ausführt, einen Exploit testet oder einen mathematischen Beweis prüft. Sie hilft viel weniger dort, wo das Feedback schwach, verzögert oder abwesend ist, wie es oft im klinischen Bereich der Fall ist. Dies ist eine Unterscheidung, die man jedes Mal im Hinterkopf behalten sollte, wenn man eine triumphale Ankündigung über „die KI, die Ärzte übertrifft“ liest: Der Kontext der Aufgabe zählt genauso viel wie das Modell. Bild aus dem Bericht von aisi.gov.uk

Die menschliche Zeit als Maßeinheit

Der vielleicht faszinierendste Teil der Studie betrifft die Verbindung zwischen der Dauer einer Aufgabe für einen menschlichen Experten und der Rechenleistung, die ein Agent aufwenden muss, um sie zu lösen. Bei der Analyse sowohl der Cyber-Suite des AISI als auch der von METR gesammelten Software-Engineering-Aufgaben – der Organisation, die das Konzept des „Time Horizon“ von Agenten populär gemacht hat – fanden die Forscher heraus, dass die zur Lösung einer Aufgabe erforderliche Rechenleistung proportional zu der Zeit wächst, die ein qualifizierter Fachmann für deren Erledigung benötigen würde. Dies gilt auch für den kostengünstigsten erfolgreichen Versuch, der für jede Aufgabe registriert wurde, was darauf hindeutet, dass die erforderliche Untergrenze für die Rechenleistung durch die Natur der Aufgabe selbst festgelegt wird und nicht durch eine ineffiziente Ressourcennutzung seitens des Modells.

Die praktische Konsequenz ist, dass einem festen Bewertungsbudget gerade bei den längsten Aufgaben die Token ausgehen, während kurze Aufgaben ohnehin einen vollständigen Versuch erhalten. Ein Scheitern kann in diesem Szenario bedeuten, dass der Agent es nicht geschafft hat, oder schlicht, dass die zur Verfügung stehende Zeit vorher abgelaufen ist. Der im Bericht zitierte Fall ist in seiner Klarheit fast anekdotisch: „The Last Ones“, ein Cyber-Szenario des AISI, von dem geschätzt wird, dass ein menschlicher Experte etwa zwanzig Arbeitsstunden dafür benötigt, wurde von keinem getesteten Modell gelöst, bis das Budget mindestens 30 Millionen Token erreichte.

Wer Ted Chiangs Erzählsammlungen gelesen hat, dem kommt die in seinen Texten wiederkehrende Idee in den Sinn, dass das Verständnis eines Phänomens von der Zeitskala abhängt, auf der man es beobachtet – ein Konzept, das in Exhalation die Form eines Universums annimmt, das seine wahre Natur nur demjenigen offenbart, der die Geduld hat, seine Entropie über sehr lange Zeiträume zu messen. Komplexe Aufgaben für einen Agenten funktionieren nicht viel anders: Sie verlangen Zeit, bevor sie zeigen, was wirklich dahintersteckt.

Wie schnell die Frontier wirklich ist

Hier berührt der Bericht einen wunden Punkt der öffentlichen Debatte über KI: die Geschwindigkeit des Fortschritts. Seit einiger Zeit wird das Konzept des „Time Horizon“ verwendet, das gerade von METR eingeführt wurde, um zu schätzen, wie schnell sich die Länge der Aufgaben verdoppelt, die ein Agent mit einer gewissen Zuverlässigkeit abschließen kann. In früheren Untersuchungen hatte das AISI geschätzt, dass sich der Zeithorizont von Frontier-Modellen bei seinen Cyber-Aufgaben seit Ende 2024 alle 4,7 Monate verdoppelt – gemessen jedoch mit einem festen Budget von 2,5 Millionen Token pro Aufgabe.

Die neue Studie zeigt, dass für die im letzten Jahr veröffentlichten Modelle die geschätzte Wachstumsrate etwa 60 % steiler verläuft, wenn der Horizont mit 50 Millionen Token anstatt mit 2,5 Millionen berechnet wird. Mit anderen Worten: Das Tempo des Frontier-Fortschritts, das wir in Berichten lesen, ist nicht nur eine Eigenschaft der Modelle, sondern teilweise ein Artefakt des Budgets, das zu ihrer Messung verwendet wurde. Auf Ebene des einzelnen Modells ist der Effekt noch deutlicher: Bei einem der getesteten Frontier-Modelle wächst der Horizont von etwa 40 Minuten bei einem Budget von 2,5 Millionen Token auf etwa 4 Stunden bei einem Budget von 50 Millionen.

Dies ist kein Detail nur für Fachleute. Wenn das Tempo, mit dem Agenten fähig werden, immer längere Aufgaben zu bewältigen, von Standard-Benchmarks systematisch unterschätzt wird, dann müssen auch die Prognosen darüber, wann bestimmte Risiko- oder wirtschaftliche Nutzensschwellen erreicht werden, nach oben korrigiert oder zumindest mit größerer Vorsicht betrachtet werden. Nicht umsonst ist das Thema der „Doubling Rates“ bereits Gegenstand heftiger Diskussionen in der Community, die diese Trends untersucht: Einige unabhängige Analysen haben die statistische Robustheit der METR-Schätzungen zur Verdoppelung der Time Horizons in Frage gestellt und argumentiert, dass kleine Änderungen am Scaffolding, mit dem die Agenten ausgestattet werden, die Steigung der Kurve künstlich aufblähen können. Die AISI-Studie löst diese Kontroverse nicht, sondern verkompliziert sie weiter, da sie eine zweite Variable, das Rechenbudget, zu einer Messung hinzufügt, die ohnehin schon stark von methodischen Entscheidungen abhängt, die nicht immer explizit gemacht wurden. Bild aus dem Bericht von aisi.gov.uk

Wer mit falschen Zahlen entscheidet

Der letzte Abschnitt des Berichts betrifft am ehesten diejenigen, die die Modelle nicht bauen, aber entscheiden müssen, was mit ihnen geschehen soll: Unternehmen, die abwägen, ob sie einen Prozess einem Agenten anvertrauen; Regulierungsbehörden, die Risikoschwellen festlegen müssen; Journalisten, die Artikel wie diesen schreiben. Wenn eine mit unzureichendem Budget gemessene Punktzahl ein Modell weniger fähig erscheinen lässt, als es im realen Einsatz wäre – wo das Rechenbudget oft weniger eingeschränkt ist als in einem Bewertungslabor –, dann riskieren Entscheidungen, die auf dieser Grundlage getroffen werden, systematisch hinter der Realität zurückzubleiben.

Dies gilt in beide Richtungen, und es ist wichtig, dies zu sagen, um nicht in Alarmismus zu verfallen. Einerseits könnte ein Unternehmen einen Agenten verwerfen, weil er einen Test nicht bestanden hat, und damit ein Werkzeug ablehnen, das mit mehr Verarbeitungszeit funktioniert hätte. Andererseits könnte jemand, der sich mit Sicherheit befasst und abwägt, ob ein Modell in einem sensiblen Bereich wie der offensiven Cybersicherheit gefährlich sein könnte, auf der Grundlage eines begrenzten Budgets zu dem Schluss kommen, dass das Risiko unter Kontrolle ist – während in Wirklichkeit die Fähigkeit vorhanden ist, man dem Modell nur nicht den Raum gelassen hat, sie zu beweisen. Das AISI schreibt es unmissverständlich: Punktzahlen bei knappem Budget können Vergleiche zwischen Modellen ungerecht machen, Entscheidungsträger dazu verleiten, die Fähigkeiten von Agenten zu unterschätzen, und das reale Ausmaß von Risiken verschleiern.

Die Grenzen und die noch offenen Fragen

Genauso klar muss gesagt werden, dass mehr Rechenleistung kein universeller Zauberstab ist. Der Fall von HealthBench beweist dies, und der Bericht selbst listet drei Fragen auf, auf die er noch keine Antwort hat. Die erste betrifft die Frage, wo genau mehr Rechenleistung zuverlässig mehr Fähigkeiten erzeugt und warum: Die Gewinne scheinen dort am größten zu sein, wo der Agent seine eigene Arbeit selbst kontrollieren kann, und am schwächsten dort, wo Rückmeldungen fehlen oder verrauscht sind. Die zweite fragt, ob Leistungen bei hohem Budget, die teuer zu messen sind, ausgehend von kostengünstigeren Durchläufen geschätzt werden können – eine alles andere als theoretische Frage, da die Bewertung eines Modells mit 50 Millionen Token pro Aufgabe nicht vernachlässigbare Rechenkosten verursacht. Die dritte betrifft die Frage, wie verallgemeinerbar die Beziehung zwischen menschlicher Zeit und erforderlicher Rechenleistung ist, die bisher nur im Cyber-Bereich und im Software-Engineering verifiziert wurde.

Es gibt auch eine Anmerkung, die fast in einer der Fußnoten des Berichts versteckt ist und die es wert ist, erwähnt zu werden, weil sie eine zu lineare Erzählung widerlegt: Bei einer nicht vernachlässigbaren Minderheit von Aufgaben – zwischen 10 und 30 %, je nach Suite – schneiden die neuesten Modelle schlechter ab als ihre Vorgänger. Der Fortschritt ist also keine gerade Linie, die immer nur nach oben führt; er gleicht eher einer jener Karten in einem Indie-Rollenspiel, auf denen einige Räume dunkel bleiben, selbst wenn man den Rest der Etage bereits erkundet hat.

Was sich in der Praxis ändert

Das AISI erklärt, dass diese Ergebnisse bereits die eigene Art der Modellbewertung verändern: Tests mit mehreren Budgets anstatt nur einem, Berichte, die Zuverlässigkeit und Tragweite in Abhängigkeit vom Budget anstelle einer einzelnen Zahl zeigen, der Versuch, „informative Mindestbudgets“ zu definieren, ab denen sich ein Modell wirklich nicht mehr verbessert, und Methoden zur Vorhersage von Hochleistungs-Budgets ausgehend von günstigeren Durchläufen. Das Institut erklärt zudem, diesen Ansatz mit internationalen Partnern zu teilen – ein Zeichen dafür, dass das Thema nicht als internes technisches Detail, sondern als Problem gemeinsamer Standards wahrgenommen wird.

Es bleibt eine Frage, die der Bericht eher aufwirft als löst, und das ist vielleicht der ehrlichste mögliche Abschluss für eine Forschungsarbeit, die sich eher mit Messungen als mit Proklamationen befasst. Wenn die Art und Weise, wie wir KI-Agenten messen, systematisch unterschätzt hat, was sie können, wie viel mehr von der öffentlichen Erzählung über den Fortschritt der künstlichen Intelligenz – ihre Geschwindigkeit, ihre Risiken, die Zeitpunkte, an denen bestimmte Schwellen erreicht werden – basiert dann auf Fotografien, die mit einem zu früh geschlossenen Verschluss aufgenommen wurden? Das ist keine Frage, die ein einzelner Bericht, so fundiert er auch sein mag, vollständig beantworten kann. Aber es ist die richtige Frage, die man sich jedes Mal stellen sollte, wenn man einen Benchmark liest, als wäre er ein endgültiges Urteil und nicht eine vorläufige Messung, die von Entscheidungen abhängt, die selten in der Ergebnistabelle deklariert werden.