Offene Gewichte, reale Abrechnung

Ein Token ist ein Wortfragment, die Einheit, mit der die Arbeit eines Sprachmodells gemessen und abgerechnet wird. In den September-Messungen des AI Gateway von Vercel wurden mehr als sieben von zehn Tokens von Modellen mit offenen Gewichten verarbeitet, das heißt von Modellen, die herunterladbar, überprüfbar und für jeden mit entsprechenden Mitteln hostbar sind. Die Ausgaben erzählen eine andere Geschichte: Diese Modelle erfassen 23 % der Dollars, etwas weniger als einen von vier. Im Juni war es noch einer von zwanzig, weshalb das Wachstum unbestreitbar ist, aber die Einnahmen hinken dem Volumen hinterher.

Es handelt sich nicht um einen ideologischen Sieg, und genau das ist der Punkt, der mich interessiert. Es ist eine Preisentscheidung, getroffen von denjenigen, die die Tokens mit der Kälte des Händlers Lawrence aus Spice and Wolf, der Romanserie von Isuna Hasekura, bezahlen, wenn er Margen und Risiken abwägt, bevor er ein Geschäftsangebot annimmt, das zu großzügig erscheint. Wenn sie so wenig kosten, kann man sich fragen, warum viele sie nicht auf ihrer eigenen Infrastruktur ausführen. Das Gateway sieht jedoch nicht, was auf den PCs passiert, weshalb die Frage, wie viele dies tun, offen bleibt. Was wir jedoch versuchen können, ist zu verstehen, was passiert, wenn man diesen Schritt wagt.

Der Ablauf ist wie folgt: die Zahlen des Gateways, drei Modelle, die Offenheit auf unterschiedliche Weise interpretieren, der Test auf einer 16-GB-Karte und schließlich die reale Abrechnung mit ihren einzeln aufgeschlüsselten Schwachstellen.

Was Vercel wirklich misst

Das Material stammt aus dem Produktionsverkehr, nicht aus einer Umfrage. Jeden Monat, so Vercel, fließen Dutzende Billionen (Trillionen im englischen Sprachgebrauch/Trillions) Tokens durch seine Systeme zwischen realen Anwendungen und Laborumgebungen. Die Berechnung umfasst Eingabe-, Ausgabe- und Reasoning-Tokens, die aus dem Zwischenspeicher (Cache) gelesen und in diesen geschrieben werden. Die Ausgaben werden zu offiziellen Listenpreisen berechnet, mit dem Vorbehalt, dass reale Rechnungen aufgrund spezifischer Vereinbarungen abweichen können. Die Klassifizierung offener Modelle folgt der aktuellen Liste des Gateways, einer breiteren Definition als in früheren Berichten, wie die methodische Anmerkung erklärt.

Es gibt drei Einschränkungen, die sofort genannt werden sollten. Die Kunden von Vercel repräsentieren ein spezifisches Marktsegment, und wie weit sie das Gesamtbild widerspiegeln, bleibt zu überprüfen. Offizielle Tarife ignorieren Mengenrabatte und Unternehmensverträge. Sehr heterogene Arbeitslasten landen im selben Aggregat. Trotz allem stellt dies einen der wenigen öffentlichen Datensätze dar, der Tokens und Dollars unter demselben Rahmen vereint, was ihm einen großen Wert verleiht.

Der versteckte Preis hinter den Zahlen

Teilt man den Ausgabenanteil durch den Token-Anteil, erhält man einen impliziten Durchschnittspreis. Für offene Modelle ergibt 0,23 geteilt durch 0,715 etwa 0,32. Für proprietäre Modelle ergibt 0,77 geteilt durch 0,285 etwa 2,70. Der erste Wert entspricht 12 % des zweiten. Es ist eine eigene Berechnung, nicht die von Vercel, die verschiedene Modelle und Aufgaben mischt, weshalb sie als Größenordnung und nicht als exakter Wechselkurs verstanden werden muss. Dennoch erklärt sie das Paradoxon: Ein offenes Token kostet im Durchschnitt etwa ein Achtel.

Das Wachstum ist asymmetrisch. Seit dem vergangenen Dezember haben sich die Ausgaben für geschlossene Frontier-Modelle verzehnfacht, während sie bei offenen Modellen um mehr als das Siebzigfache gestiegen sind. Proprietäre Modelle nehmen mehr ein, aber über einen immer kleineren Anteil am Gesamtvolumen jedes Kunden.

Die Zahl, die das vereinfachte Narrativ von „offen entspricht günstig“ verkompliziert, ist Kimi K3. Laut Vercel erzeugten Modelle mit Preisen, die mindestens das Vierfache des Durchschnitts der offenen Modelle betrugen, fast zwei Drittel des Ausgabenwachstums, und K3 allein fast die Hälfte, obwohl es deutlich weniger Tokens verarbeitete als DeepSeek. Moonshot, das entwickelnde Labor, macht 3,6 % der Tokens und 13,2 % der Ausgaben aus. Teilt man diese Werte, kostet sein Token etwa das 3,7-fache des Gateway-Durchschnitts, während DeepSeek mit 58 % der Tokens und 6,6 % der Ausgaben etwa ein Neuntel kostet (eigene Berechnungen). K3 bietet seine Gewichte öffentlich auf Hugging Face an, mit 2,8 Billionen Gesamtparametern, von denen 104 Milliarden pro Token aktiv sind. Laut den veröffentlichten Tarifen kostet die API 3 Dollar pro Million Eingabe-Tokens und 15 Dollar pro Million Ausgabe-Tokens. Bei einer Mischung von neun Teilen Eingabe auf einen Teil Ausgabe entspricht dies 4,20 Dollar, verglichen mit 2,80 Dollar für Claude Sonnet 5.5. Ein offenes Modell, das teurer ist als ein geschlossenes: Vielleicht ist der entscheidende Faktor nicht die Offenheit der Gewichte, sondern die reine Leistungsfähigkeit.

Es gibt zudem eine geografische Komponente. Fast 70 % der Ausgaben für chinesische Modelle fließen über Anbieter mit Sitz in den USA, und neun von zehn Tokens von Moonshot werden über eine US-Infrastruktur bereitgestellt. Wer das Modell trainiert und wer die Einnahmen kassiert, können unterschiedliche Akteure sein; man kann sich daher fragen, wer wirklich von der Offenheit profitiert: wer sie veröffentlicht oder wer sie hostet?

Schließlich Jev von TypeSafe AI. Es erreichte innerhalb von zwei Wochen 35,3 % der zahlenden Teams — ein Rekord für das Gateway —, machte jedoch in diesem Zeitraum nur 0,27 % der Ausgaben aus, und im September 1 % der Tokens und 0,15 % der Ausgaben. Es handelt sich um ein Entscheidungsmodell, erklärt Vercel, das nur einen kleinen Bruchteil der Tokens verbraucht, die für eine herkömmliche sprachliche Anfrage erforderlich sind. Die Verbreitung entspricht nicht automatisch dem finanziellen Volumen.

Drei Strategien und eine Ausnahme

DeepSeek V4.1 Flash verfügt über Gewichte unter MIT-Lizenz und eine Experten-Architektur: Die Modellkarte beschreibt ein Basisnetzwerk von 552 Milliarden Parametern mit 8 Milliarden aktiven Parametern beim Lesen und 16 Milliarden beim Schreiben sowie ein Kontextfenster von einer Million Tokens. Das Repository gibt etwa 763 Milliarden Gesamtparameter an, sodass keine Consumer-Karte mit 16 GB es lokal ausführen kann. Der offizielle Preis ist der bereits erwähnte: 0,15 und 0,60 Dollar außerhalb der Spitzenzeiten und 0,003 für Cache-Eingaben. Vercel misst die September-Version, während die API derzeit die Revision 1017 bereitstellt. In diesem Fall sorgt der Preis für mehr Schlagzeilen als die Testergebnisse.

Mercury 3 von Inception generiert Text parallel anstatt Token für Token und kündigt Geschwindigkeiten von über tausend Tokens pro Sekunde an. Laut der Mitteilung vom 19. Oktober beträgt der offizielle Tarif 0,20 und 0,70 Dollar, der während der Markteinführung halbiert wurde. Die Seite macht keine Angaben zur Lizenz, und die Vergleiche mit Luna und Haiku stammen vom Hersteller selbst. Dies zeigt, dass höhere Geschwindigkeit nicht zwangsläufig geringere Kosten bedeutet.

MiniMax M3.1 Flash, am selben Tag auf den Markt gebracht, kostet 0,15 bei der Eingabe und 0,60 bei der Ausgabe, mit 0,015 für den Cache. Das Unternehmen erklärt, dass die Gewichte zu einem späteren Zeitpunkt verfügbar sein werden, ohne ein Datum oder eine Lizenz festzulegen. Es ist ein Versprechen von Offenheit mit unbestimmtem Zeitplan: Man kann sich fragen, ob das Label „offen“ auch als Werbeargument genutzt wird.

Die Ausnahme bilden entscheidungsorientierte Modelle wie Jev. Cloudflare hat gerade eine ähnliche Alternative vorgestellt: Clairic, ein Extraktionsmodell, das in einem einzigen Schritt antwortet, ohne Tokens zu generieren, und nur die Eingabe berechnet. Cloudflare behauptet, dass eine auf Clairic basierende Kette 49 % weniger kostet und mehr als dreimal schneller arbeitet als eine Kette, die auf traditionellen Sprachmodellen basiert (unternehmenseigener Test). Die Veröffentlichung der Gewichte wird „bald“ versprochen. Wenn sich die Arbeitslast zu Modellen verlagert, die wenige Tokens emittieren, wie nützlich wird es dann noch sein, den Markt in Tokens zu messen?

Vielleicht haben offene Gewichte vor allem dort an Boden gewonnen, wo die Aufgabe strukturiert, wiederholbar und überprüfbar ist: extrahieren, klassifizieren, routen. Ein Ansatz, der einer weiteren Überprüfung bedarf.

Der Teststand

Das verwendete System ist mit einem Ryzen 7 7700 Prozessor, 32 GB DDR5-Arbeitsspeicher und einer Radeon RX 9060 XT Grafikkarte mit 16 GB ausgestattet. Das evaluierte Modell ist LFM2.5-24B-A2B von Liquid in der 15,4 GB großen Quantisierung UD-Q4KXL, ausgeführt über LM Studio. Es verfügt über 24 Milliarden Gesamtparameter und etwa 2,45 Milliarden aktive Parameter pro Token und erzeugt stets eine Überlegung vor der Antwort. Von zehn Tests waren acht gültig mit einer Durchschnittsnote von 4,3 von 5. Die verbleibenden zwei erforderten eine multimodale Eingabe (die von diesem reinen Textmodell nicht unterstützt wird) und wurden als nicht anwendbar ausgeschlossen. Die Punktzahl zeigt die praktische Leistungsfähigkeit, geht aber nicht in die wirtschaftliche Berechnung ein.

Ich habe eine einzige Geschwindigkeit direkt gemessen: 44,7 Tokens pro Sekunde bei der Ausgabegenerierung. Drei weitere Variablen sind Schätzungen, die ausdrücklich als solche deklariert werden.

Die Verarbeitungsgeschwindigkeit des Eingabetextes (Prefill) ist erheblich schneller als die der Generierung und wiegt bei der Abrechnung entscheidend, da neun von zehn Tokens in realen Umgebungen auf die Eingabe entfallen. Ich habe sie nicht direkt gemessen. Stattdessen habe ich drei unabhängige Referenzen analysiert, um ein Verhältnis zwischen Lesen und Schreiben abzuleiten. Auf einer RTX 4060 Ti mit 16 GB und demselben Modell gibt llamabench 4.073 Tokens pro Sekunde beim Lesen gegenüber 131 beim Schreiben an (16. Oktober), was einem Verhältnis von etwa 31:1 entspricht. Für meine spezifische Karte zitiert ein Leitfaden Benchmarks aus der llama.cpp-Community mit 1.420 und 68 t/s bei einem 7B-Modell (Verhältnis ~21:1). Ein Modell Qwen3.8 mit 27B auf einer RX 9070 XT mit LM Studio erreicht ~638 gegenüber 33 t/s (Verhältnis ~19:1). Angewendet auf meine 44,7 t/s bei der Generierung legen diese Daten eine geschätzte Prefill-Geschwindigkeit von 860 bis 1.390 Tokens/Sek. nahe. Ich übernehme 1.100 t/s als zentrale Referenzschätzung (Bereich 900–1.400).

Der Stromverbrauch stellt die zweite Schätzung dar. AMD gibt einen typischen Verbrauch von 160 Watt für die Karte allein an. Da ich keinen Steckdosen-Messer besitze, stelle ich zwei Szenarien auf: 160 Watt (nur Karte) und 250 Watt (Schätzung für das gesamte System). Die Stromkosten werden mit 0,3163 Euro pro kWh berechnet, was dem Referenztarif der ARERA für geschützte Kunden in Italien inklusive Steuern entspricht.

Das Verhältnis zwischen Eingabe- und Ausgabe-Tokens ist die dritte Schätzung. Es stammt nicht aus diesem punktuellen Test, sondern aus Analysen des Produktionsverkehrs. Eine Studie über 6,1 Milliarden Anfragen beobachtet ein Verhältnis von 14,2 zu 1, die Analyse von Requesty gibt 19 zu 1 an, und eine Untersuchung von OpenRouter-Daten verzeichnet 93,4 % Eingaben bei Programmieraufgaben. Um die Nutzung in der Entwicklung und mit Agenten widerzuspiegeln, übernehme ich eine konservative Verteilung von 90 % Eingabe und 10 % Ausgabe (Verhältnis 9:1), wobei berücksichtigt wird, dass Reasoning-Modelle ein höheres Ausgabevolumen erzeugen.

Die Buchhaltung, Zeile für Zeile

Betrachten wir einen Arbeitsblock von einer Million Tokens: 900.000 Eingabe-Tokens und 100.000 Ausgabe-Tokens. Die lokale Umgebung benötigt ~818 Sekunden für die Lesephase (Prefill) und 2.237 Sekunden für die Ausgabegenerierung, was insgesamt 51 Minuten aktiver Arbeit entspricht. Der Gesamtenergieverbrauch liegt zwischen 0,136 und 0,212 kWh, was zwischen 4,3 und 6,7 Euro-Cent entspricht. Unter Berücksichtigung der Variationen bei Prefill, Verbrauch und Stromtarif liegt die gesamte Kostenspanne zwischen 4 und 8 Cent pro Million Tokens. Die Preise in der Cloud spiegeln die offiziellen Standardtarife für kurze Kontexte wider, umgerechnet zu einem Kurs von 0,8917 Euro pro Dollar (Referenzkurs der EZB vom 20. Oktober).

Die API-Tarife stammen aus den offiziellen Listen von Anthropic, OpenAI, DeepInfra und Liquid. Anfragen, die 100.000 Tokens bei Claude Haiku überschreiten, wenden höhere Staffeln an, weshalb von einem kurzen Kontext ausgegangen wird.

Der strengste Vergleich stellt die lokale Ausführung Cloud-Modellen vergleichbarer Größe gegenüber: Die lokale Umgebung erweist sich als 2- bis 3-mal günstiger als das verwaltete Hosting bei ähnlicher Parameterzahl, eine Spanne, die sich bei höherem Stromverbrauch des Systems verengt. Die Vergleiche mit Frontier-Modellen (die Unterschiede von 10x bis 100x zeigen) halten nur auf dem Papier stand. Ein Modell mit 2,45B aktiven Parametern mit Spitzensystemen zu vergleichen, stellt ganz unterschiedliche funktionale Kategorien gegenüber, und unsere Qualitätstests ordnen sie nicht auf demselben Niveau ein.

Euro pro Million Tokens, Verteilung 90:10 Eingabe/Ausgabe, 0,3163 €/kWh. Bei 0,3557 €/kWh steigen die lokalen Kosten um 12 %. Bei einer Verteilung von 95:5 und einer Leseleistung von 1.100 t/s sinken sie auf ~0,028 € und 0,044 €.

Die Berechnungen kehren sich um, wenn alle Tokens mit der Schreibgeschwindigkeit ohne Prefill-Beschleunigung verarbeitet würden: Die Ausführung würde 6,2 Stunden dauern, mit Kosten von 31 bis 49 Cent, womit sie DeepSeek in der Cloud übertreffen würde. Dies stellt die aufschlussreichste Erkenntnis des Tests dar: Die Beschleunigung der Eingabeverarbeitung (Prefill) verändert die Kostengleichung grundlegend.

Schließlich verändert der Kontext-Cache das Gleichgewicht. Die vorherigen Cloud-Zahlen gehen von null Cache-Treffern aus, während in wiederkehrenden Arbeitsabläufen ein großer Teil der Eingabe mit erheblichen Rabatten gelesen werden kann: 0,003 Dollar für DeepSeek, 0,10 für Sonnet 5.5. Geht man von einer Cache-Trefferquote von 80 % aus (ohne Cache-Schreibkosten), sinken die effektiven Kosten auf ~0,08 Euro für DeepSeek, 1,30 Euro für Sonnet und 6,20 Euro für Fable. Unter diesen Bedingungen erreichen das lokale Hosting bei 250 W und DeepSeek in der Cloud eine nahezu absolute wirtschaftliche Parité. Die tatsächliche Häufigkeit der Cache-Nutzung in Produktionsumgebungen bleibt eine offene Frage.

Versteckte Kosten jenseits des Tokens

Die obige Buchhaltung spiegelt nur den Stromverbrauch wider. Die Hardware-Investition (Grafikkarte und System) beläuft sich auf ~1.300 Euro: Auf drei Jahre amortisiert, entspricht die Wertminderung ~36 Euro pro Monat. Bei kontinuierlichem Betrieb unter 100 % Auslastung kann das System ~860 Millionen Tokens pro Monat verarbeiten, was 0,04 Euro Wertminderung pro Million Tokens hinzufügt. Bei einer Auslastung von 10 % fügt die Amortisation 0,42 Euro pro Million Tokens hinzu. Bei 1 % Auslastung übersteigt sie 4,00 Euro pro Million. Die tatsächlichen Kosten des lokalen Hostings hängen entscheidend von der Auslastungsrate ab.

Hinzu kommt die Zeit, nicht der direkten Arbeit des Bedieners, sondern der Verfügbarkeit der Maschine: 51 Minuten pro Million Tokens bedeutet, das System besetzt zu halten, die Latenz pro einzelner Anfrage erfordert Dutzende Sekunden und menschliche Aufsicht bleibt weiterhin erforderlich. Hinzu kommen Wartungskosten: Aktualisieren von Treibern und Software, Suchen nach neuen Quantisierungen und Verwalten der Veralterung des Modells.

Offene Lizenzen enthalten ebenfalls Bedingungen. Liquid gewährt die kostenlose kommerzielle Nutzung nur Einheiten mit einem Jahresumsatz von weniger als 10 Millionen Dollar. Die Lizenz von Kimi K3 erfordert spezifische kommerzielle Vereinbarungen für Hosting-Anbieter, die 20 Millionen überschreiten, laut veröffentlichten Analysen, mit vollständigen Bedingungen in seinem Repository. DeepSeek arbeitet unter MIT-Lizenz. Das Label „offen“ umfasst vielfältige Realitäten; es empfiehlt sich, die Lizenz vor dem Tarif zu prüfen.

Hundert Milliarden Parameter im Smartphone

Cristiano Amon, CEO von Qualcomm, erklärte in einem von The Next Web berichteten Interview, dass mehrere führende KI-Unternehmen planen, Modelle mit mindestens 100B Parametern bis 2028 lokal auf Smartphones auszuführen. Er nannte keine Namen, und wie weit die Industrie in diese Richtung voranschreiten wird, bleibt zu überprüfen. Eine grobe Berechnung zeigt, dass bei 4 Bit pro Parameter ein 100B-Modell ~50 GB Speicherplatz allein für die Gewichte benötigt. Arbeitsspeicher, Bandbreite, Wärmeableitung und Akku stellen reale physische Einschränkungen auf Mobilgeräten dar.

Sollte ein solches Szenario eintreten, würde sich die Grenzkosten pro Token für den Nutzer null nähern und die Rechnung auf den Anschaffungspreis der Hardware verlagern. Der limitierende Faktor wäre dann die Ökonomie des Geräts und nicht die Größe des Modells.

Offene Fragen

Diese Analyse stellt eher einen veranschaulichenden Ansatz als ein endgültiges Urteil dar. Das Gateway von Vercel spiegelt einen Bruchteil des Marktes wider, nicht den gesamten Sektor. Ein Extraktions-Token und ein Reasoning-Token bieten nicht denselben Wert. Ich habe ein einziges Modell auf einer einzigen GPU in acht gültigen Tests evaluiert; es handelt sich nicht um ein allgemeines Ranking. Öffentliche API-Tarife lassen rabattierte Volumina, individuelle Vereinbarungen und Cache-Auswirkungen außer Acht. Die Prefill-Geschwindigkeiten und der Stromverbrauch sind modellierte Schätzungen. Schließlich erwies sich meine Generierungsgeschwindigkeit von 44,7 t/s als geringer als die 131 t/s, die aus anderen Quellen für ähnliche 16-GB-Hardware gemeldet wurden, eine Abweichung, die möglicherweise mit der Kontextlänge oder dem VRAM-Management zusammenhängt.

Schlüsselfragen bleiben bestehen: Wird der Preis pro Token weiterhin die entscheidende Metrik sein, oder werden sich die Kosten pro erfolgreich abgeschlossener Aufgabe durchsetzen? Wer erfasst den tatsächlichen Wert der offenen Gewichte: wer sie veröffentlicht, wer sie hostet oder wer sie nutzt? Und wenn 100B-Modelle auf die Geräte der Nutzer wandern, wer übernimmt dann die Energiekosten und die Rechenzeit?

In der Geschichte von Ursula K. Le Guin über Omelas hängt der Wohlstand einer Stadt von versteckten Kosten ab, die niemand untersuchen möchte. Bei Modellen mit offenen Gewichten ist das Dilemma weniger düster, aber die grundlegende Frage bleibt: Wer bezahlt die Rechnung und wo ist sie ausgestellt?