Warum der 30-Punkte-Rückstand offener KI-Modelle mehr ist als nur ein Benchmark-Problem
Der neue HLE-Diamond-Vergleich zeichnet ein ziemlich klares Bild: Offene KI-Modelle liegen bei anspruchsvollen Wissens- und Reasoning-Aufgaben mehr als 30 Punkte hinter den stärksten geschlossenen Systemen zurück.
Das ist kein kleiner Abstand. Das ist eine echte Leistungslücke.
HLE-Diamond ist eine bereinigte 1.000-Fragen-Version von Humanity’s Last Exam. In dem aktuellen Ranking kommt Gemini 4 Carbon auf 69,1 Prozent, Claude Opus 5.5 max auf 67,9 Prozent und GPT-6 Astra max auf rund 64 Prozent. Das beste offene Modell in diesem Feld ist Kimi K3.1 Pro mit 37 Prozent, wobei die Gewichte noch nicht veröffentlicht sind. Dahinter folgen weitere offene Modelle mit noch geringeren Werten.
Die zentrale Aussage ist damit simpel: Bei schweren Aufgaben, die über Standardwissen hinausgehen, bleibt die Open-Weights-Welt klar zurück.
Warum dieser Abstand wichtig ist
Viele Debatten über offene Modelle drehen sich um Kosten, Anpassbarkeit und Unabhängigkeit. Das sind echte Vorteile. Wer Modelle selbst betreiben will, wer regulatorische Kontrolle braucht oder wer nicht an einen einzelnen Anbieter gebunden sein will, landet schnell bei Open Weights.
Nur: Solche Freiheiten ersetzen keine Leistung.
Ein Rückstand von mehr als 30 Punkten bedeutet, dass offene Modelle in der Spitzenklasse noch nicht auf Augenhöhe spielen. Gerade bei komplexem wissenschaftlichem Denken, mehrstufiger Problemlösung und Aufgaben mit hoher Fehlertoleranz ist das entscheidend. Für Forschungsteams, anspruchsvolle Enterprise-Workflows oder KI-Agenten mit vielen Zwischenschritten ist das kein Detail, sondern die Grenze zwischen brauchbar und unzuverlässig.
Benchmark-Hype hilft hier wenig
Der KI-Markt ist voll mit Einzelwerten, Teilbenchmarks und geschönten Vergleichen. HLE-Diamond ist deshalb interessant, weil die Auswertung auf eine verfeinerte, große Fragensammlung setzt. Das macht den Abstand schwerer wegzuerklären.
Wenn nur 17 Modellvarianten die Marke von 50 Prozent knacken, sagt das auch etwas über den Gesamtzustand der Branche. Die Topmodelle werden besser. Aber echte Robustheit bei sehr schwierigen Aufgaben bleibt selten.
Und noch ein Punkt fällt auf: Mehr als 90 Prozent der Modelle schneiden bei Reasoning besser ab als bei Wissensfragen. Das klingt erst mal kontraintuitiv, passt aber zur Entwicklung vieler aktueller Systeme. Sie werden stark auf Denkpfade, Tool-Nutzung und Prüfmechanismen optimiert. Breite, verlässliche Wissensabdeckung bleibt trotzdem ein eigenes Problem.
Was das für Open Weights bedeutet
Für die Open-Weights-Community ist das ein unangenehmer, aber nützlicher Realitätscheck. Der Markt hat sich daran gewöhnt, dass offene Modelle schnell aufholen. In vielen alltagsnahen Aufgaben stimmt das auch. Bei Coding, Zusammenfassungen, klassischer Textproduktion oder günstigen Inferenz-Setups liefern sie oft erstaunlich viel fürs Geld.
Doch die Spitzengruppe bei Frontier-Reasoning ist etwas anderes. Dort zählen Trainingsdaten, Rechenleistung, Ausrichtung, Post-Training und Evaluationsdisziplin in einer Größenordnung, die bisher vor allem große geschlossene Anbieter stemmen.
Genau deshalb ist der 30-Punkte-Abstand mehr als nur eine Zahl. Er zeigt, wo offene Modelle heute stark sind – und wo eben nicht.
Für Unternehmen ist die Sache klarer als für Fans
Wer KI einkauft oder in Produkte integriert, sollte diese Lücke nicht romantisieren. Open Weights bleiben attraktiv, wenn Kosten, Datenschutz, On-Prem-Betrieb oder Modellkontrolle wichtiger sind als absolute Bestleistung. Wer aber an hochwertige Forschung, kritische Analysen oder komplexe Agentenprozesse denkt, muss den Qualitätsabstand einkalkulieren.
Das heißt nicht, dass offene Modelle verlieren. Es heißt nur: Sie gewinnen im Moment über Preis, Flexibilität und Souveränität. Nicht über die beste rohe Leistung.
Und genau das ist die eigentliche Botschaft dieses Rankings. Der Wettbewerb ist offen. Aber an der Spitze ist er noch nicht eng.
