GPT-6 Astra knackt als einziges getestetes Modell den FrontierMath-Erdős-Benchmark

3 Prozent klingen erst mal nach fast nichts. Auf dem neuen FrontierMath-Erdős-Benchmark ist dieser Wert trotzdem ein Ausrufezeichen. GPT-6 Astra war das einzige getestete Modell, das überhaupt Punkte holte. Alle anderen kamen auf 0 Prozent.

Das liegt vor allem daran, was hier getestet wird. FrontierMath Erdős besteht aus 68 bedeutenden Erdős-Problemen, die bis August 2026 offen waren, von Thomas Bloom kuratiert und in Lean formalisiert wurden. Eine Aufgabe gilt nur dann als gelöst, wenn das Modell einen Lean-Beweis oder eine Widerlegung produziert, die maschinell verifiziert wird. Es reicht also nicht, plausibel zu klingen. Es muss formal stimmen.

Genau das macht den Benchmark hart. Viele KI-Modelle sehen bei Mathe stark aus, solange sie mit bekannten Aufgabentypen, Multiple-Choice-Formaten oder informellen Lösungswegen arbeiten. Hier fällt dieser Spielraum weg. Der Test verlangt belastbare, formale Resultate unter festem Budget. In den ausgewerteten Läufen lag das Budget bei 300 Dollar pro Problem.

Dass GPT-6 Astra auf 3 Prozent kommt und der Rest auf 0 Prozent, ist deshalb mehr als ein knapper Vorsprung. Es ist ein Hinweis darauf, dass sich bei formaler mathematischer Problemlösung etwas verschiebt. Noch nicht in eine Richtung, die Forschung umkrempelt. Aber genug, um eine Schwelle sichtbar zu machen: Ein Frontier-Modell kann auf echten offenen Problemen vereinzelt verwertbare Ergebnisse liefern.

Man sollte den Wert trotzdem nicht aufblasen. 3 Prozent auf 68 Problemen sind kein Durchbruch, der Mathematiker ersetzt. Es ist eher der erste Kratzer in einer sehr dicken Wand. Wer daraus schon autonome Forschungs-KI ableiten will, geht zu weit. Dafür ist die Trefferquote viel zu niedrig, und der Abstand zu verlässlicher Forschungspraxis riesig.

Interessant ist der Befund an anderer Stelle. Benchmarks für KI-Reasoning driften immer stärker auseinander. Ein Modell kann bei manchen Tests spektakulär aussehen und bei anderen fast wirkungslos. Der Erdős-Benchmark ist deshalb ein gutes Gegengewicht zu weicheren Evaluierungen. Er belohnt keine schönen Zwischenschritte und keine rhetorisch saubere Herleitung. Entweder der formale Beweis hält, oder er hält nicht.

Für Labs ist das unangenehm und nützlich zugleich. Unangenehm, weil solche Benchmarks Marketing-Scores entzaubern können. Nützlich, weil sie genauer zeigen, wo Modelle wirklich robust sind. Gerade bei Mathematik, Verifikation und automatisierter Forschung zählt am Ende nicht Stil, sondern Korrektheit.

Für Entwickler und Unternehmen ist die Nachricht ebenfalls klarer, als es die nackte 3-Prozent-Zahl vermuten lässt. Wer auf KI für hochpräzise Beweisführung, Verifikation oder anspruchsvolle Forschungsassistenz hofft, sieht hier einen frühen Fortschritt. Wer schon produktionsreife mathematische Autonomie erwartet, bekommt einen Dämpfer. GPT-6 Astra hat sich abgesetzt. Der Abstand zur echten Zuverlässigkeit bleibt aber gewaltig.

Der Benchmark setzt damit einen wichtigen Marker. Nicht weil 3 Prozent groß wären. Sondern weil auf diesem Niveau schon ein einziger verifizierter Treffer mehr zählt als viele beeindruckende Demos. In formaler Mathematik ist ein kleiner echter Vorsprung mehr wert als zehn gut klingende Scheinlösungen.