Warum ein 300B-Modell billiger wirken kann als ein 9B-Modell

Die Frage klingt erst mal absurd: Wie kann ein Sprachmodell mit rund 300 Milliarden Parametern günstiger sein als eines mit 9 Milliarden? Die kurze Antwort: Weil die nackte Parameterzahl beim Betrieb oft weniger aussagt, als viele annehmen.

Der zentrale Punkt heißt Mixture of Experts, kurz MoE. Solche Modelle tragen eine riesige Gesamtzahl an Parametern mit sich herum. Für eine einzelne Anfrage wird aber nur ein kleiner Teil davon aktiviert. Das Modell ist also groß auf dem Papier, arbeitet pro Token aber oft mit deutlich weniger aktiven Parametern.

Genau da entsteht der Denkfehler. Viele setzen Gesamtgröße mit laufenden Kosten gleich. Bei klassischen dichten Modellen stimmt das oft eher: Mehr Parameter bedeuten mehr Rechenaufwand und mehr Speicherbedarf pro Verarbeitungsschritt. Bei MoE-Modellen verschiebt sich diese Logik. Ein 300B-Modell kann sich im Alltag eher wie ein viel kleineres Modell anfühlen, wenn nur ein Bruchteil der Experten tatsächlich rechnet.

300B ist nicht gleich 300B

Wenn bei DeepSeek von 284B oder rund 300B Parametern die Rede ist, beschreibt das die gesamte Modellkapazität. Für Betreiber zählt bei der Inferenz aber eine andere Zahl: Wie viele Parameter sind pro Antwort wirklich aktiv?

Das ist der Unterschied zwischen Marketingzahl und Maschinenrealität. Wer nur die Gesamtsumme liest, überschätzt schnell die Kosten. Wer nur auf den Preis pro Anfrage schaut, unterschätzt wiederum, wie viel Technik im Hintergrund nötig ist, um so ein Modell effizient zu servieren.

Ein kleines dichtes 9B-Modell kann in manchen Setups sogar teurer wirken, wenn es schlechter ausgelastet ist, weniger aggressiv optimiert wurde oder bei Qualität und Geschwindigkeit mehr Durchläufe braucht. Billig ist ein Modell nicht allein wegen seiner Größe. Billig wird es, wenn Architektur, Routing, Hardware und Auslastung zusammenpassen.

Warum der Preisunterschied so groß ausfallen kann

Dass ein großes Modell deutlich günstiger angeboten wird als ein kleineres, hat meist mehrere Gründe:

• Nur ein Teil des Modells arbeitet pro Anfrage. Das ist der MoE-Effekt.
• Inferenz ist nicht Training. Die riesigen Trainingskosten sagen wenig über den späteren API-Preis aus.
• Anbieter kalkulieren über Auslastung. Wer GPUs besser füllt, kann Preise härter drücken.
• Optimierungen bei Quantisierung, Routing und Caching senken die tatsächlichen Betriebskosten.
• Preiskampf spielt mit hinein. Manche Modelle werden bewusst aggressiv eingepreist, um Reichweite zu gewinnen.

Gerade der letzte Punkt wird oft unterschätzt. API-Preise sind kein reiner Spiegel der Rechenkosten. Sie sind auch ein Vertriebsinstrument. Ein Anbieter kann ein starkes Modell günstig anbieten, um Entwickler auf die eigene Plattform zu ziehen oder Marktanteile zu sichern.

Was das für Entwickler heißt

Für Teams, die Modelle auswählen, ist das eine wichtige Lektion: Die Parameterzahl taugt nur bedingt als Einkaufsregel. Wer heute LLMs bewertet, muss mindestens vier Dinge getrennt betrachten: Qualität, Latenz, Speicherbedarf und Preis pro Nutzung.

Ein 9B-Modell kann lokal attraktiv sein, weil es auf überschaubarer Hardware läuft. Ein großes MoE-Modell kann über eine API günstiger sein, weil der Anbieter die Serving-Ökonomie besser im Griff hat. Das sind zwei völlig verschiedene Rechnungen.

Auch die übliche Frage „Wie viel VRAM brauche ich?“ wird dadurch unsauber. Bei dichten Modellen ist die Antwort direkter. Bei MoE hängt viel stärker daran, wie viele Experten aktiv sind, wie das Modell verteilt wird und welche Optimierungen der Betreiber nutzt.

Der Hype hat einen wahren Kern

Die Verwunderung rund um DeepSeek ist verständlich. 300B klingt nach Rechenzentrum, 9B nach handlicherem Modell. Diese Intuition war lange brauchbar. Bei modernen MoE-Systemen reicht sie nicht mehr.

Der interessante Teil ist deshalb nicht, dass eine große Zahl auf dem Datenblatt steht. Der interessante Teil ist, dass sich die Kostenstruktur von Sprachmodellen verschiebt. Größe allein verliert an Aussagekraft. Entscheidend wird, wie viel Modell pro Anfrage wirklich feuert.

Für den Markt ist das eine schlechte Nachricht für einfache Vergleiche und eine gute Nachricht für Käufer. Wer nur auf „B-Parameter“ schaut, kauft schnell am Bedarf vorbei. Wer auf aktive Parameter, Durchsatz und Preis pro Token achtet, versteht, warum ein 300B-Modell am Ende billiger sein kann als ein 9B-Modell.