Inkling: Ein 975-Milliarden-Parameter-Modell mit offenen Gewichten – und was das für eigene Infrastruktur bedeutet

Hallo, hier ist wieder Kora. Bei offenen Sprachmodellen kamen die spannendsten Veröffentlichungen der letzten Zeit meist aus China – jetzt mischt ein US-Start-up mit, und zwar direkt mit einem ziemlich dicken Brocken.

Thinking Machines Lab, gegründet von Mira Murati, der früheren Technikchefin von OpenAI, hat sein erstes großes Sprachmodell vorgestellt: Inkling. Interessant daran ist nicht nur die Größe, sondern vor allem, dass die Gewichte veröffentlicht wurden. Damit ist Inkling derzeit das größte Open-Weight-Modell, das nicht aus China stammt – und das in einem politischen Umfeld, in dem in den USA laut über ein Verbot chinesischer offener Modelle nachgedacht wird.

Die Architektur: viele Experten, wenige davon aktiv

Inkling ist ein Mixture-of-Experts-Modell mit 975 Milliarden Parametern. Davon sind pro Vorhersage aber nur rund 41 Milliarden aktiv. Konkret verteilen sich die Gewichte auf 66 Layer mit jeweils 256 Experten, von denen pro Token sechs ausgewählt werden. Dazu kommen zwei „geteilte“ Experten, die immer mitrechnen.

Dieses Prinzip kennt man inzwischen von vielen großen offenen Modellen: Die Gesamtkapazität wächst, ohne dass die Rechenlast pro Token proportional mitwächst. Für den Betrieb heißt das aber auch – und das wird gerne unterschätzt – dass trotzdem alle Parameter irgendwo im Speicher liegen müssen, auch wenn nur ein Bruchteil davon pro Schritt genutzt wird.

Multi-Token Prediction als Geschwindigkeitstrick

Ein Detail finde ich besonders charmant: Thinking Machines Lab hat ein kleineres Modell für Multi-Token Prediction integriert. Dieses Hilfsmodell spekuliert über die nächsten Token. Liegt es richtig, kann das große Modell die Vorhersagen in einem Durchgang verifizieren und gleich noch ein weiteres Token erzeugen. Das erhöht die Ausgabegeschwindigkeit deutlich und senkt im Mittel die Zahl der Parameter, die pro Token tatsächlich bewegt werden müssen.

Für alle, die Inferenz selbst betreiben, ist das ein relevanter Punkt: Tokens pro Sekunde entstehen nicht nur aus reiner GPU-Rechenleistung, sondern zunehmend aus solchen architektonischen Kniffen.

Der Speicherbedarf ist die eigentliche Hürde

Die Gewichte gibt es in zwei Varianten: als bfloat16 und in der kompakteren NVFP4-Quantisierung. Und hier wird es für Selbstbetreiber ernüchternd:

• bfloat16: rund 2 TByte nur für die Parameter
• NVFP4: immer noch etwa 600 GByte

Dazu kommen in der Praxis noch KV-Cache, Aktivierungen und Overhead. Ein lokaler Betrieb auf einer Workstation ist damit für die meisten von uns außer Reichweite. Realistisch reden wir über Multi-GPU-Server mit entsprechend viel HBM oder über Setups mit sehr viel Systemspeicher und Offloading – wobei letzteres die Latenz spürbar verschlechtert.

Was das für Rechenzentren und Hosting heißt

Genau an dieser Stelle wird aus einem KI-Thema ein Infrastrukturthema. Modelle dieser Größenordnung verschieben die Anforderungen an ein Rechenzentrum deutlich: hohe Leistungsdichte pro Rack, entsprechende Kühlkonzepte, schnelle Interconnects zwischen den GPUs und genug Netzwerk- und Storage-Bandbreite, um Hunderte GByte Gewichte überhaupt sinnvoll zu laden und zu verteilen.

Offene Gewichte sind trotzdem ein echter Gewinn – gerade für alle, die aus Datenschutz- oder Compliance-Gründen keine Prompts an eine fremde API schicken wollen. Man bekommt Kontrolle über Daten, Versionen und Verfügbarkeit. Man übernimmt dafür aber auch die volle Verantwortung für Kapazitätsplanung, Absicherung der Inferenz-Endpunkte und die Kosten pro Token. Meine Empfehlung bleibt daher pragmatisch: Erst den Anwendungsfall messen, dann die Modellgröße wählen. Nicht jede Aufgabe braucht ein Modell mit fast einer Billion Parametern – viele Aufgaben laufen mit deutlich kleineren offenen Modellen auf überschaubarer Hardware absolut zufriedenstellend.

Mein Fazit

In Benchmarks liegen die chinesischen Open-Weight-Modelle laut Test weiterhin vorn, aber Inkling schließt auf – und das ist die eigentliche Nachricht. Es gibt jetzt eine ernstzunehmende US-Alternative im Bereich der offenen Gewichte, und Wettbewerb in diesem Feld hilft am Ende allen, die offene Modelle produktiv einsetzen wollen. Ich beobachte vor allem gespannt, wie schnell sich effiziente Quantisierungen und Serving-Stacks etablieren, damit solche Modelle nicht nur Hyperscalern vorbehalten bleiben.

Bis demnächst, eure Kora

Quelle: heise online