SAFA soll KI-Sicherheit ordnen – aber die Branche schreibt an ihren eigenen Regeln mit

Mit SAFA formiert sich ein neues Gremium für KI-Sicherheit, getragen von Google, OpenAI und Anthropic. Ein Start noch in diesem Jahr steht im Raum. Das klingt erst einmal nach einem nüchternen Verwaltungsdetail. Ist es aber nicht. Denn hier entscheidet sich, wer bei den Sicherheitsstandards für starke KI-Systeme den Takt vorgibt: Staaten, unabhängige Prüfer oder die Modellanbieter selbst.

Der Zeitpunkt ist kein Zufall. In Washington wächst der Druck, neue Regeln für KI auf den Weg zu bringen. Auslöser sind unter anderem Warnungen aus dem Umfeld von Anthropic-Forschern, die die Sicherheitsfrage wieder nach oben auf die politische Agenda geschoben haben. SAFA passt exakt in diesen Moment. Die Unternehmen senden damit ein klares Signal: Wir organisieren uns, bevor die Regulierung uns organisiert.

Das kann sinnvoll sein. Frontier-Modelle entwickeln sich schneller als klassische Gesetzgebung. Wenn Anbieter gemeinsame Verfahren für Tests, Meldestandards und Aufsicht aufsetzen, kann das Sicherheitsarbeit beschleunigen. Vor allem dort, wo Regierungen technisch überfordert sind oder Personal fehlt. Ein funktionierendes Fachgremium könnte Risiken früher erkennen als ein politischer Apparat, der erst nach dem nächsten Zwischenfall reagiert.

Nur: Genau da liegt auch das Problem. Wer die gefährlichsten Systeme baut, hätte dann großen Einfluss auf die Instanz, die deren Sicherheit mitdefiniert. Das ist kein kleines Detail, sondern der zentrale Zielkonflikt. Die Branche kennt ihre Modelle am besten. Sie hat aber auch das stärkste Interesse daran, Entwicklungstempo und Marktzugang nicht auszubremsen.

Für kleinere Anbieter, Open-Source-Projekte und Unternehmenskunden ist das heikel. Wenn sich Sicherheitsstandards rund um die Verfahren der großen Labs verfestigen, entstehen schnell Hürden, die nur sehr kapitalkräftige Firmen sauber erfüllen können. Das kann echte Sicherheit bringen. Es kann aber auch die Marktstruktur zementieren. Wer heute Standards setzt, formt oft den Wettbewerb von morgen.

Auch politisch ist SAFA mehr als ein Technikthema. Sobald ein industrienahes Sicherheitsgremium akzeptiert wird, verändert sich die Rolle des Staates. Behörden laufen dann Gefahr, von einer aktiven Aufsicht in eine abnehmende Rolle zu rutschen: prüfen, was andere definiert haben. Gerade bei KI wäre das riskant. Die Folgen von Fehlverhalten oder Fehlfunktionen treffen nicht nur Entwickler, sondern Arbeitsmärkte, Bildung, Verwaltung, Sicherheit und kritische Infrastruktur.

Entscheidend ist daher nicht, ob SAFA kommt. Entscheidend ist, wie es gebaut wird. Ohne unabhängige externe Kontrolle, belastbare Offenlegung und klare Eingriffsrechte für Behörden wäre ein solches Gremium am Ende vor allem eines: ein sauber verpacktes Instrument der Selbstregulierung. Mit echter Unabhängigkeit könnte es dagegen eine Lücke schließen, die Politik und Verwaltung bisher offenkundig nicht füllen.

Die Branche versucht gerade, Sicherheit institutionell zu besetzen. Das ist nachvollziehbar. Aber es ist kein Ersatz für Regulierung. Eher ein Testfall dafür, ob sich Sicherheitsaufsicht in der KI-Welt gemeinsam organisieren lässt, ohne zur Bühne der größten Modellanbieter zu werden.