Warum ARC-AGI an Zugkraft verliert

ARC-AGI war eine Zeit lang der Stoff, aus dem in KI-Foren die großen AGI-Erzählungen gebaut wurden. Hohe Scores galten als Signal: Jetzt passiert etwas Grundsätzliches. Inzwischen ist die Aufregung deutlich kleiner. Das hat einen einfachen Grund: Der Benchmark ist noch da, aber die Aussagekraft wirkt weniger sauber als früher.

Der zentrale Reiz von ARC-AGI war immer derselbe. Wenn ein Modell dort stark abschneidet, dann sieht das nach echter Generalisierung aus. Also nach mehr als bloßem Wiederkäuen von Trainingsmustern. Genau deshalb bekam jedes neue Ergebnis so viel Aufmerksamkeit. Wer bei ARC punktet, wirkt schnell wie ein Kandidat für den nächsten großen Sprung.

Nur: Dieses Narrativ trägt nicht mehr so leicht. In der Szene wächst die Skepsis, ob hohe Werte auf ARC-AGI wirklich zeigen, dass Modelle offener, robuster und allgemeiner denken. Die Diskussion um offene Prompts und mögliche Benchmark-Verunreinigung hat daran ihren Anteil. Wenn ein Test als beeinflussbar gilt, verliert er sofort Prestige. Dann wird aus einem Symbol für Fortschritt ein Streitfall über Messmethoden.

Dazu kommt ein zweiter Punkt. Die Modelle sind in vielen Alltagsaufgaben besser geworden, aber das Bild bleibt widersprüchlich. Selbst stark vermarktete Systeme zeigen Aussetzer bei Aufgaben, die nach echter Zustandsverfolgung oder präziser Regelanwendung verlangen. Das sieht man nicht nur bei Spezialfällen wie Schach, sondern generell an der Lücke zwischen plausibler Sprache und verlässlichem Handeln. Genau diese Lücke macht AGI-Behauptungen angreifbar.

Auch deshalb hat sich der Ton verändert. Vor einiger Zeit reichte ein Benchmark-Sprung, um sofort wieder die AGI-Debatte anzuheizen. Heute sind viele vorsichtiger. Wenn ein neues Modell bei ARC-AGI-2 schlechter abschneidet als erwartet oder wenn Konkurrenzsysteme in einzelnen Messungen vorbeiziehen, dann zerfällt die schöne lineare Fortschrittserzählung. Aus „immer näher an AGI“ wird dann eher: Wir sehen schnelle Optimierung auf bestimmte Aufgaben, aber kein sauberes Gesamtbild.

Das ist kein Zeichen dafür, dass ARC-AGI unwichtig geworden ist. Der Benchmark bleibt ein nützliches Werkzeug, gerade weil er nicht dieselben glatten Produktaufgaben misst wie Chatbots im Alltag. Aber er hat seine Unschuld verloren. Wer heute mit ARC-AGI argumentiert, muss viel genauer erklären, was dort eigentlich gemessen wurde und wie belastbar das Ergebnis ist.

Für die breitere AGI-Debatte ist das sogar gesund. Ein einzelner Test sollte nie die Rolle eines endgültigen Wahrheitsmeters bekommen. Die Ernüchterung rund um ARC-AGI zeigt, wie stark sich die KI-Diskussion verschoben hat: weg von einer Zahl als Heilsversprechen, hin zu der härteren Frage, ob Modelle neue Probleme wirklich verlässlich lösen oder nur immer überzeugender so wirken.

Genau deshalb wird weniger darüber gesprochen. Nicht weil ARC-AGI plötzlich egal wäre. Sondern weil der Benchmark heute weniger als Durchbruch und mehr als Prüfstein gesehen wird. Das ist nüchterner. Und ehrlicher.