Suchen, nicht berechnen: Wie Engram die Architektur der KI umschreibt
Stellen Sie sich vor, Sie bitten ein hochentwickeltes Sprachmodell, den Satz „Vereinigte Staaten von“ zu vervollständigen. Man muss kein Genie sein, um zu verstehen, dass die Antwort „Amerika“ lautet, und doch geschieht hinter den Kulissen etwas Paradoxes: Das Modell aktiviert Milliarden von Parametern, durchläuft Dutzende von Berechnungsschichten, verbraucht echten elektrischen Strom, um zu einem Ergebnis zu gelangen, das jeder, der jemals eine Zeitung gelesen hat, auswendig kennt. Es ist, als würde man einen Mathematikprofessor bitten, das Theorem des Pythagoras jedes Mal von Grund auf neu zu lernen, wenn er es braucht, anstatt es so anzuwenden, wie er es aus der Mittelstufe in Erinnerung hat. Das Paradoxon der modernen künstlichen Intelligenz liegt genau hier: hervorragend darin, über neue Probleme nachzudenken, überraschend ineffizient darin, Fakten abzurufen, die sie während des Trainings bereits Tausende Male gesehen hat.
In den letzten Jahren hat die Industrie auf dieses Problem mit Mixture-of-Experts-Modellen geantwortet, den sogenannten MoEs. Diese ermöglichen es, die Kapazität eines Modells zu erhöhen, indem für jeden Token nur ein Teil seiner Parameter aktiviert wird – ähnlich wie bei einem Unternehmen mit hundert spezialisierten Beratern, von denen aber nur drei oder vier zu jedem Meeting eingeladen werden. Es ist eine hervorragende Lösung zur Verwaltung der Rechenleistung, löst aber das grundlegende Problem nicht: Selbst ein MoE-Modell 'denkt' beim Vervollständigen von „Vereinigte Staaten von“ weiter über die Antwort nach, anstatt sich an sie zu 'erinnern'. Und genau hier setzt der Vorschlag von DeepSeek an, der im Januar 2026 veröffentlicht und im Juli desselben Jahres von einem Team um Xin Cheng zusammen mit Kollegen von DeepSeek-AI und der Peking University aktualisiert wurde: eine neue Spezialisierungsachse, das konditionelle Gedächtnis, das die konditionelle Berechnung der MoEs ergänzt, anstatt sie zu ersetzen.
Engram, das Gedächtnis, das nicht berechnet, sondern gesucht wird
Das Modul heißt Engram – ein Name, der bewusst an die biologische Gedächtnisspur erinnert, die von Neurowissenschaftlern vor einem Jahrhundert theoretisiert wurde, also an die Idee, dass eine Erinnerung eine physikalische, zurückverfolgbare Spur im Gehirn hinterlässt. Im Paper beschreiben die Autoren es als ein Modul, das klassische N-Gramm-Techniken modernisiert, indem es sie in ein Suchsystem mit konstanter Zeit umwandelt, was in der Informatik als O(1) bezeichnet wird: Die Zeit zum Abrufen einer Information bleibt gleich, unabhängig davon, wie groß die Tabelle ist, in der gesucht wird.
Wie funktioniert das in der Praxis, ganz ohne Formeln? Das Modell betrachtet den aktuellen Token und eine Handvoll der unmittelbar vorhergehenden, kombiniert sie über eine Hashing-Funktion, die einen eindeutigen Index erzeugt, und nutzt diesen Index, um direkt aus einer riesigen, während des Trainings vorkompilierten Tabelle zu schöpfen. Es löst keine Gleichung mehr, sondern konsultiert einen analogen Index – ähnlich wie in einer alten Bibliothek, wo man nicht alle Regale durchsucht, sondern direkt zum Zettelkasten geht, der das richtige Regal anzeigt. Der Unterschied zu einem gedruckten Karteikasten besteht darin, dass der „Index“ hier nicht von einem geduldigen Bibliothekar konsultiert wird, sondern von einem Algorithmus, der dies in einer vorhersehbaren und konstant niedrigen Zeit tut, unabhängig von der Menge der archivierten Daten.
Die Zahlen sprechen für sich. Vergleicht man ein Engram-27B-Modell mit einem reinen MoE-Modell bei gleichen Parametern und gleicher Rechenleistung (was Forscher einen Iso-Parameter- und Iso-FLOPs-Vergleich nennen), erzielt Engram eine Verbesserung um 3,4 Punkte bei MMLU, 5,0 Punkte bei BBH und 3,0 Punkte bei HumanEval, neben Zuwächsen bei CMMLU, MATH, GSM8K und DROP. Das interessanteste Ergebnis ist laut Paper nicht einmal der Faktenabruf an sich, sondern die Tatsache, dass die deutlichen Verbesserungen beim allgemeinen Denken sowie bei Code- und Mathematikaufgaben zu beobachten sind: Das Netz von der Last zu befreien, statische Fakten rekonstruieren zu müssen, scheint ihm mehr „geistigen Freiraum“ zu lassen, um über komplexe Probleme nachzudenken – ähnlich wie ein Schüler, der nicht jedes Mal eine einfache Multiplikation ausrechnen muss, sondern auf das auswendig gelernte Einmaleins zurückgreift und sich endlich auf Geometrieaufgabe konzentrieren kann.
Das U-förmige Gesetz: Wie viel Speicher, wie viel Berechnung
Die subtilste Entdeckung des Papers betrifft jedoch ein Problem, das auf den ersten Blick rein buchhalterischer Natur zu sein scheint: Wie viele Parameter sollte man bei einem festen Parameterbudget Engram und wie viele dem traditionellen MoE zuweisen? Die Forscher formulierten das sogenannte Sparsity-Allocation-Problem und testeten verschiedene Kombinationen an Modellen von einigen Milliarden bis hin zu 27 Milliarden Parametern.
Das Ergebnis ist eine U-förmige Kurve. Die ausschließliche Nutzung von MoE ohne dedizierten Speicher führt zu unterdurchschnittlichen Leistungen. Aber auch das gegenteilige Extrem – ein Modell, das fast vollständig auf Speicherabfragen basiert und dem es an Rechenkapazität mangelt – schneidet schlechter ab. Der optimale Punkt liegt in der Mitte und bewegt sich nach den im offiziellen Repository des Projekts beschriebenen Experimenten bei etwa 20–25 % der dünnbesetzten Parameter für Engram, während die restlichen 75–80 % für das MoE bestimmt sind. Was diese Entdeckung besonders nützlich macht, ist ihre Stabilität: Das optimale Verhältnis bleibt nahezu identisch, egal ob man ein Modell mit 5 Milliarden oder mit 27 Milliarden Parametern trainiert, was Ingenieuren ein echtes Entwurfsrezept an die Hand gibt anstatt einer Intuition, die von Fall zu Fall überprüft werden müsste.
Das ist kein Detail für Eingeweihte: Es ist ein Kompass. Und manche sind ihm bereits aufs Wort gefolgt.
Qwen3.8-Flash-Next: Wenn Theorie zu einem herunterladbaren Modell wird
Was diese Geschichte von so vielen anderen akademischen Vorschlägen unterscheidet, die auf dem Papier geblieben sind, ist die Tatsache, dass sie wenige Monate später tatsächlich im industriellen Maßstab umgesetzt wurde. Am 26. August 2026 veröffentlichte das Qwen-Team von Alibaba Qwen3.8-Flash-Next, das offiziell als experimentelle Vorschau auf die Architektur vorgestellt wurde, die Qwen4 zugrunde liegen wird – so sehr, dass die Architektur in den Konfigurationsdateien des Modells intern als „qwen4_exp“ gekennzeichnet ist.
Die Zahlen sind schon beim Lesen schwindelerregend: ein multimodales MoE-Modell mit insgesamt 125 Milliarden Parametern, von denen jedoch nur 6 Milliarden pro Token aktiviert werden, mit einem nativen Kontextfenster von 262.144 Token, das auf bis zu eine Million erweiterbar ist. Der überraschendste Teil ist jedoch derjenige, der uns hier am meisten interessiert: Neben den 125 Milliarden Hauptparametern hat Qwen eine zusätzliche N-Gramm-Embedding-Tabelle mit 51 Milliarden Parametern hinzugefügt und damit das Rezept des von DeepSeek beschriebenen U-förmigen Gesetzes fast wörtlich angewendet. Eine terminologische Klarstellung: Engram ist der Name, den DeepSeek seinem eigenen Modul im ursprünglichen Paper gegeben hat, während Qwen, obwohl von dieser Idee inspiriert, seine Implementierung einfach „N-gram Embedding“ nennt. Aus diesem Grund bezeichnet „Engram“ im Rest des Artikels das von DeepSeek beschriebene Modul und „N-gram“ die in Qwen3.8-Flash-Next integrierte Tabelle. Zur Gesamtsumme kommt noch ein kleines Modul mit 4 Milliarden Parametern hinzu, das der spekulativen Dekodierung gewidmet ist – jener Technik, die es dem Modell ermöglicht, mehrere Token im Voraus zu „erraten“, um die Generierung zu beschleunigen. Es ist ein weniger auffälliger Baustein als die 51 Milliarden der N-Gramm-Tabelle, fällt aber in der Praxis bei der Endleistung stark ins Gewicht.
Was wäre, wenn eine Consumer-GPU ein Modell ausführen könnte, das auf dem Papier ein Rechenzentrum erfordern würde? Genau das verspricht diese Architektur. Die N-Gramm-Tabelle mit 51 Milliarden Parametern muss nicht zwingend auf der GPU liegen: Sie kann im System-RAM oder sogar auf einer NVMe-Festplatte verbleiben und dank eines asynchronen Prefetch-Mechanismus nur bei Bedarf geladen werden. Es ist, als hätte man ein riesiges Lagerhaus außerhalb der Stadt statt im Geschäft im Zentrum, mit einem so effizienten Liefer-System, dass es sich trotzdem wie in unmittelbarer Nähe anfühlt. Das ist keine Theorie: Die bereits in SGLang integrierten Pull Requests und die offiziellen vLLM-Rezepte zeigen, dass das NVMe-Offloading von den gängigsten Inferenz-Frameworks bereits unterstützt wird und kein Laborexperiment ist.
An der Kompressionsfront hat sich die Open-Source-Community extrem schnell bewegt: Die N-Gramm-Tabelle, die im BF16-Format rund 95 Gigabyte belegt, kann im NVFP4-Format auf 28,8 Gigabyte oder in INT4 auf 32 Gigabyte quantisiert werden, was ein Offloading selbst auf Systemen mit nur 64 Gigabyte verfügbarem RAM ermöglicht, wie in mehreren auf Hugging Face veröffentlichten quantisierten Checkpoints dokumentiert ist. Auf gut Deutsch gesagt: Was auf dem Papier wie ein Modell für Rechenzentren aussieht, kann mit den richtigen Anpassungen auf einem leistungsstarken Enthusiasten-PC laufen, statt auf einem Hunderttausend-Euro-Server.
Die Geschwindigkeit der Suche gegen die Langsamkeit der Berechnung
Hier kommt die zweite Zutat der Architektur ins Spiel, die Qwen Sparse Attention, die ein komplementäres Problem anpackt: wie man extrem lange Kontexte bewältigt, ohne dass die Rechenzeiten explodieren. Die Idee besteht darin, den Kontext in Mikroblöcke zu gruppieren, anstatt jeden einzelnen Token zu analysieren – ein Ansatz, der laut den offiziellen Benchmarks von Alibaba die Attention in Kontexten von einer Million Token in der Prefill-Phase um das Bis zu 7,6-fache und in der Dekodierungsphase um das 4,9-fache beschleunigt, wobei anzumerken ist, dass verschiedene Quellen wie die SGLang-Cookbooks und vLLM-Rezepte leicht abweichende Zahlen nennen (bis zu 10,2x und 6,6x), was bestätigt, dass diese Zahlen stets als Herstellerangaben gelesen werden sollten, bis unabhängige Messungen vorliegen.
Die Gesamtarchitektur wechselt alle vier Schichten drei Durchgänge von Gated DeltaNet – einer Technik, die den Kontextverlauf in einen Zustand fester Größe komprimiert – mit einem Durchgang dünnbesetzter Attention für das präzise Abrufen über den gesamten Kontext ab, bei insgesamt 48 Schichten, die in 12er-Blöcken organisiert sind. Vervollständigt wird das Bild durch das Gated Residual, einen Mechanismus, der vier parallele „Spuren“ im Residualstrom des Netzwerks anstelle von nur einer öffnet, was Engpässe während des Trainings verringert, ähnlich wie eine mehrspurige Autobahn Staus im Vergleich zu einer zweispurigen Landstraße vermeidet.
Das praktische Ergebnis all dieser Ingenieurskunst? Nach Angaben im technischen Blog von NVIDIA erreicht das Modell auf DGX-Hardware Durchsätze von über 16.000 Token pro Sekunde pro GPU in hochgradig parallelen Agenten-Szenarien, während die von der Community bereitgestellten quantisierten Versionen es Qwen3.8-Flash-Next ermöglichen, mit Offloading auf Systemen mit einer einzigen Consumer-GPU wie einer RTX 4090 mit 24 Gigabyte Videospeicher zu laufen, sofern diese von rund einhundert Gigabyte System-RAM flankiert wird, um die N-Gramm-Tabelle zu beherbergen. Man braucht keinen Supercomputer, um sich diese Technologie aus der Nähe anzusehen; ein guter Gaming-PC und etwas Geduld bei der Konfiguration reichen aus.
Warum es sich lohnt, von „kleineren“ Modellen mehr zu erwarten
Der auffälligste Vergleich ist laut Aussagen des Qwen-Teams auf GitHub der mit dem Vorgänger Qwen3.7-Plus, einem Modell mit 397 Milliarden Parametern: Qwen3.8-Flash-Next erreicht vergleichbare oder überlegene Leistungen, obwohl es mit etwa einem Neuntel des Rechenaufwands trainiert wurde, mit besonders deutlichen Verbesserungen gerade bei Programmieraufgaben und Büroproduktivitätsszenarien. Es ist ein Signal, das man ernst nehmen sollte: Jahrelang hat die Industrie der Logik „je größer, desto besser“ nachgejagt und Parameter angehäuft, als wären sie der einzige verfügbare Hebel zur Verbesserung eines Modells. Diese Geschichte deutet darauf hin, dass architektonische Effizienz mit der reinen rohen Gewalt des Skalierens konkurrieren und sie manchmal sogar schlagen kann.
Doch nicht alles ist eitel Sonnenschein. Es lohnt sich zu fragen: Wer gewinnt wirklich und wer droht zu verlieren? Unternehmen, die heute Rechenkapazität im großen Stil verkaufen, die großen Cloud-Anbieter, die gewohnt sind, nach den von Trainingsläufen verbrauchten Gigawattstunden abzurechnen, sehen in Architekturen wie dieser eine direkte Bedrohung für ihr Geschäftsmodell, denn ein neunmal günstigeres Training bedeutet auch neunmal weniger Marge beim Verkauf von Rechenleistung. Umgekehrt gewinnen diejenigen, die Anwendungen mit begrenztem Budget entwickeln – von unabhängigen Entwicklern bis hin zu Start-ups, die sich heute keinen professionellen GPU-Cluster leisten können – konkreten Zugang zu Fähigkeiten, die zuvor nur sehr wenigen Akteuren vorbehalten waren. Zudem gibt es ein weniger diskutiertes, aber relevantes Thema: Speicher-Tabellen dieser Größe – einundfünfzig Milliarden durch das Training festgelegte Parameter – werfen Fragen bezüglich ihrer Aktualisierbarkeit auf. Wenn sich eine Tatsache ändert, wie aktualisiert man dann das Gedächtnis des Modells, ohne das gesamte Training zu wiederholen? Es ist eine offene Frage, die das Paper von DeepSeek nur oberflächlich anreißt und ein dynamisches, in Echtzeit aktualisierbares Gedächtnis als eine der vielversprechendsten zukünftigen Forschungsrichtungen bezeichnet.
Die Zukunft der Agenten führt hierher
Es gibt ein letztes Puzzlestück, das diese Architektur zu mehr als einer bloßen akademischen Übung macht: den Aufstieg von KI-Agenten – Systemen, die in der Lage sind, extrem lange Kontexte zu verwalten, externe Werkzeuge aufzurufen und komplexe Aufgaben autonom auszuführen. Für einen Agenten, der den Überblick über Hunderte von Tausenden von Token aus Konversationen, technischer Dokumentation und Werkzeug-Ausgaben behalten muss, ist ein schnelles Gedächtnis mit geringen Rechenkosten kein Luxus, sondern eine strukturelle Notwendigkeit. Es überrascht nicht, dass Qwen die native Unterstützung von Claude Code, Codex und anderen Agenten-Entwicklungsumgebungen bereits zu den Höhepunkten des Releases zählt.
Wer mit Nischen-Science-Fiction vertraut ist, wird in dieser Idee ein fernes Echo dessen wiedererkennen, was in Ghost in the Shell: Stand Alone Complex erzählt wird, wo das Gedächtnis kein monolithischer Block ist, sondern ein verteiltes Gewebe, das sich aktualisiert und konsultiert wird, ohne jemals den Fluss des bewussten Denkens zu stoppen. Und wer sich stattdessen mit Softwareentwicklung auskennt, könnte an ein viel bodenständigeres, aber ebenso zentrales Muster denken: den Cache. Engram ist im Grunde konzeptionell ein riesiger Cache für linguistisches Wissen, der nicht dafür gebaut wurde, zur Laufzeit ungültig gemacht zu werden, sondern um zu (fast) null Kosten abgefragt zu werden.
Dass DeepSeek und Qwen sich dafür entschieden haben, sowohl die theoretische Forschung als auch die Modellgewichte offen zu teilen, anstatt sie in einem proprietären Produkt verschlossen zu halten, beschleunigt unweigerlich die Übernahme dieser Techniken durch die gesamte Open-Source-Community – von kleinen Universitätslaboren bis hin zu Indie-Entwicklern, die den Code heute direkt auf GitHub herunterladen, studieren und verändern können. Es bleibt abzuwarten, ob dieser Weg – der des Gedächtnisses, das sucht statt berechnet – zum Standard für die nächste Modellgeneration wird oder ob er eine von vielen brillanten Intuitionen bleibt, die dazu bestimmt sind, von der nächsten Idee überholt zu werden. Vorerst ist das Versprechen jedoch konkret und überprüfbar: eine künstliche Intelligenz, die aufhört, das Rad jedes Mal neu zu erfinden, wenn man sie nach den „Vereinigten Staaten von“ fragt, und endlich Raum hat, um über etwas Interessanteres 'nachzudenken'.