Intelligence Index v5: Neue Tests verändern den KI-Vergleich

Artificial Analysis hat am 28. Oktober 2026 den Intelligence Index v5 veröffentlicht. Die neue Version basiert zu 60 Prozent auf privaten Testdaten. Der Abstand zwischen dem besten proprietären und dem besten Open-Weight-Modell wächst von drei auf zwölf Punkte. Das ist ein deutlicher Unterschied. Er beschreibt aber zunächst das Abschneiden unter einer neuen Messmethode, keinen plötzlichen Leistungseinbruch offener Modelle.

Wer die Rangliste zur Modellauswahl nutzt, muss deshalb die Version mitlesen. Ein Punktwert ohne Angabe des Testverfahrens ist wenig brauchbar. Gerade beim Wechsel auf v5 kann sonst aus einem veränderten Maßstab eine vermeintliche Veränderung der Modelle werden.

So setzt sich der neue Index zusammen

Der Intelligence Index v5 bündelt neun Evaluationen. Dazu gehören die neuen Tests FrontierCode 2.0 und Terminal-Bench-Science. Die Ergebnisse fließen in vier Kategorien ein: Wissensarbeit, Kodierung, Wissenschaft und Allgemeines. Jede Kategorie erhält ein Gewicht von 25 Prozent.

Diese Aufteilung ist wichtig für die Interpretation. Der Gesamtwert bildet eine festgelegte Mischung verschiedener Fähigkeiten ab. Ein Viertel entfällt auf Kodierung, unabhängig davon, ob ein Anwender sein Modell tatsächlich zum Programmieren einsetzt. Für eine wissenschaftliche Aufgabe oder einen Arbeitsablauf mit Schwerpunkt Wissensarbeit kann wiederum ein anderer Ausschnitt entscheidend sein.

Der Index verdichtet also mehrere Prüfungen zu einer Zahl. Das macht Modelle leichter vergleichbar, verdeckt aber Unterschiede zwischen den Aufgabenbereichen. Aus einem höheren Gesamtwert folgt nicht, dass ein Modell jede einzelne Aufgabe besser löst. Für eine konkrete Anwendung bleibt die Zusammensetzung des Ergebnisses wichtiger als ein isolierter Rangplatz.

Was private Testdaten verändern

Mit dem Anteil von 60 Prozent privaten Testdaten will Artificial Analysis verhindern, dass Modelle auf bekannte Prüfungen hin optimiert werden. Technisch geht es dabei um die Aussagekraft der Aufgaben: Ein Test soll Fähigkeiten prüfen, statt vor allem den Umgang mit bereits bekannten Prüfungsinhalten zu belohnen.

Wenn Testaufgaben öffentlich zugänglich sind, besteht das Risiko, dass sie in Entwicklungsprozesse einfließen. Ein gutes Ergebnis lässt sich dann schwerer von einer gezielten Anpassung an genau diese Aufgaben trennen. Private Aufgaben sollen diese Möglichkeit begrenzen. Sie sind deshalb ein Instrument gegen eine zu starke Ausrichtung auf bekannte Prüfungen, aber kein automatischer Beweis für einen fehlerfreien Benchmark.

Der Ansatz hat eine Grenze: Je weniger Testmaterial öffentlich einsehbar ist, desto schwieriger wird die unabhängige Prüfung der Aufgaben. Außenstehende können schlechter beurteilen, welche Details ein Ergebnis beeinflussen. Schutz vor bekannten Prüfungsinhalten und Nachvollziehbarkeit stehen hier in einem Spannungsverhältnis. Für die Einordnung eines Punktwerts zählt beides.

Zwölf Punkte Abstand sind keine Verlaufskurve

Die führenden proprietären Modelle behalten laut Index in v5 ihre Spitzenpositionen. Zugleich vergrößert sich der Abstand zwischen dem jeweils besten proprietären und offenen Modell von drei auf zwölf Punkte. Daraus lässt sich ablesen, dass die Spitzengruppe unter dem neuen Verfahren weiter auseinanderliegt.

Die Zahl erklärt jedoch nicht die Ursache. Sie belegt für sich genommen weder, dass offene Modelle zuvor mit bekannten Aufgaben optimiert wurden, noch, dass private Tests sie systematisch benachteiligen. Dafür müsste man die einzelnen Ergebnisse und die Bedingungen der Prüfungen genauer auseinandernehmen.

Ebenso wenig lässt sich der größere Abstand als zeitlicher Leistungsverlust lesen. Eine Rangliste nach einem Methodenwechsel ist keine saubere Verlaufskurve. Soll die Entwicklung eines Modells gemessen werden, braucht es einen möglichst konstanten Maßstab. Ändert sich die Prüfung, können sich Modellunterschiede anders darstellen, ohne dass sich die Modelle selbst verändert haben.

Wie sich v5 für die Modellauswahl nutzen lässt

Für Unternehmen und Entwickler ist v5 damit zunächst eine neue Vergleichsbasis. Wer Ergebnisse dokumentiert, sollte Modellbezeichnung und Indexversion zusammen festhalten. Frühere und neue Werte einfach in dieselbe Fortschrittskurve einzutragen, kann eine Genauigkeit vortäuschen, die der Vergleich nicht hergibt.

Danach lohnt der Blick auf den Einsatzzweck. Wer Code bearbeiten lassen will, braucht eine andere Entscheidungsgrundlage als jemand, der wissenschaftliche Fragen untersucht. Der gleich gewichtete Gesamtindex kann eine Vorauswahl erleichtern. Ein Test mit eigenen, typischen Aufgaben muss klären, ob die Reihenfolge auch im vorgesehenen Arbeitsablauf trägt.

Die wichtigste Leseregel für v5 ist deshalb schlicht: Die zwölf Punkte Abstand gelten für diesen Index mit dieser Testzusammensetzung. Sie sind ein Befund über das Abschneiden in der neuen Prüfung. Als pauschales Qualitätsurteil über sämtliche offenen und proprietären Modelle reichen sie nicht aus.