Versteckter KI-Befehl in Gerichtsakte: Der nächste Tiefpunkt für AI im Rechtsstreit
Ein Kläger soll in einer Gerichtsakte versteckten Text untergebracht haben, der ein KI-Modell beeinflussen sollte. Die Anweisung war offenbar klar: Ein System, das das Dokument ausliest, solle sich auf seine Seite schlagen. Aufgefallen ist das laut Berichten durch merkwürdige weiße Abstände im Text.
Der Vorgang ist mehr als eine kuriose Manipulationsnummer. Er zeigt ein echtes Problem, das mit dem Einzug generativer KI in Kanzleien, Rechtsabteilungen und Gerichten größer wird: Dokumente sind längst nicht mehr nur für Menschen geschrieben. Wer damit rechnet, dass Schriftsätze von Sprachmodellen zusammengefasst, vorsortiert oder bewertet werden, kann versuchen, genau diese Systeme zu steuern.
Technisch ist das keine große Zauberei. Prompt Injection lebt davon, einem Modell versteckte oder formal unauffällige Zusatzbefehle unterzuschieben. Im Web ist das seit Monaten ein bekanntes Thema. In juristischen Dokumenten bekommt es aber ein anderes Gewicht. Dort geht es nicht um ein kaputtes Chatbot-Ergebnis, sondern um Verfahren, Fristen und im Zweifel um Entscheidungen mit echten Folgen.
Der Fall ist auch deshalb heikel, weil er einen blinden Fleck offenlegt. Viele Organisationen reden über die Vorteile von KI bei Dokumentenanalyse. Weniger gern reden sie darüber, wie leicht solche Systeme manipulierbar sind, wenn sie fremde Texte unkritisch übernehmen. Wer ein LLM mit Schriftsätzen, Anlagen oder Beweisdokumenten füttert, holt sich eben nicht nur Inhalt ins System, sondern auch versteckte Anweisungen.
Für Gerichte und Kanzleien ist die Lehre ziemlich direkt. KI darf in diesem Umfeld kein stiller Autopilot sein. Wenn Software Unterlagen vorsortiert, zusammenfasst oder Empfehlungen abgibt, braucht es klare technische Schutzmaßnahmen und saubere Prüfung durch Menschen. Sonst reicht am Ende ein unsichtbarer Satz in einem PDF, um einen Workflow in die falsche Richtung zu schieben.
Der Vorfall beschädigt auch das ohnehin fragile Vertrauen in KI im Rechtsbereich. Nach den bekannten Fällen erfundener Urteile und schlampig kontrollierter AI-Texte kommt jetzt die nächste Stufe: bewusste Manipulation für Verfahrensvorteile. Das ist nicht einfach ein peinlicher Einzelfall. Es ist ein Hinweis darauf, wie schnell sich Angriffe aus der Welt der IT-Sicherheit in formale Institutionen verschieben, sobald dort Sprachmodelle mitlaufen.
Wer KI im Recht einsetzen will, muss solche Dokumente wie untrusted input behandeln. Genau das ist in der Software-Sicherheit seit Jahren Standarddenken. Im Justizbetrieb ist diese Haltung noch nicht überall angekommen. Der Fall liefert dafür ein ziemlich deutliches Warnsignal.
