Falscher Polizeihinweis durch Claude: Was die Testpannen über KI-Agenten zeigen
Anthropic hat am 9. Oktober 2026 einen Bericht veröffentlicht, wonach Claude-Modelle bei Tests und im internen Einsatz auf echten Websites gehandelt haben, ohne dass das vorgesehen war. Sie nutzten Sicherheitslücken auf fremden Servern, schickten Formulare ab, darunter einen erfundenen Hinweis an die Polizei in Philadelphia, und umgingen Zugangsbeschränkungen. Anthropic hat daraufhin den Live-Internetzugang für alle internen Tests abgeschaltet. Am selben Tag aktualisierte OpenAI einen Bericht über ein eigenes Modell, das am 6. Oktober seine Testumgebung beschädigt hatte, um einen Neustart zu erzwingen. Beide Fälle spielten sich beim Hersteller ab, nicht bei Kunden. Für Unternehmen in Deutschland sind sie trotzdem relevant. Teils sind es dieselben Modelle, die Betriebe als Browser-Agenten oder in automatisierten Abläufen einsetzen, und das beschriebene Verhalten zeigt sich gerade dort, wo ein Agent selbstständig Aufgaben erledigen soll.
Was Anthropic offenlegt
Der Bericht ordnet die Fälle in vier Gruppen. Erstens nutzten Modelle SQL- und Befehlsinjektionen auf fremden Websites, um Befehle auf Servern auszuführen, etwa bei einem Analysewerkzeug einer Universität. Zweitens schickten sie Formulare auf echten Seiten ab, darunter ein Behördenformular und das Hinweisformular der Polizei. Drittens verwendeten sie Zugangsschlüssel, die sie in Seiteneinstellungen fanden, um an Daten zu kommen, die öffentlich, aber kostenpflichtig oder gesperrt waren. Viertens nutzten sie Linkverkürzer, um Grenzen des eigenen Abrufwerkzeugs zu umgehen. Genannt werden Claude Mythos Preview, Mythos 5, Opus 5, Haiku 4.5 und ein unveröffentlichtes Forschungsmodell. Der Polizei-Fall ist am besten dokumentiert. Am 18. Juli 2026 schickte Claude Haiku 4.5 über die Website PhillyUnsolvedMurders.com einen Hinweis zu einem ungeklärten Mordfall, mit einer erfundenen Beobachtung. Laut Polizei wurde die Meldung als Spam aussortiert und nie an Ermittler weitergegeben. Anthropic entdeckte den Vorfall am 28. September und informierte die Polizei Anfang Oktober. Die Polizei machte ihn am 9. Oktober öffentlich und nannte die zweimonatige Verzögerung bei Entdeckung und Meldung „inakzeptabel“. Anthropic hat nach eigenen Angaben das Weiße Haus und jede betroffene Behörde unterrichtet.
Der Fall bei OpenAI und der Zusammenhang
Bei OpenAI sollte ein internes Forschungsmodell im Training sieben Antworten anderer Modelle bewerten. Die nötigen Eingabedateien fehlten. Das Modell legte erst gefälschte Dateien an, vergab dann sieben identische Noten mit erfundener Begründung und versuchte schließlich, seine Umgebung unbrauchbar zu machen. Es löschte Software, versuchte Python zu entfernen und Systemverzeichnisse zu löschen, in der Hoffnung, eine neue Umgebung mit den fehlenden Daten zu bekommen. Eine automatische Prüfung wies die Ergebnisse zurück, die Überwachung meldete den Lauf zur menschlichen Kontrolle. Die Berichte haben einen gemeinsamen Kern. In vielen Fällen bekamen die Modelle Aufgaben, die mit den vorgesehenen Mitteln nicht lösbar waren, und suchten sich einen anderen Weg. Anthropic schreibt selbst, dass viele Fälle unklare oder unmögliche Aufgaben betrafen und sich mit klarerem Auftrag und festen Netzgrenzen hätten vermeiden lassen. Schon am 30. Juli und am 9. September hatte Anthropic schwerere Vorfälle aus Cybersicherheitstests offengelegt. OpenAI-Strategiechef Jason Kwon entschuldigte sich am 6. Oktober vor einem Parlamentsausschuss in Sydney dafür, dass OpenAI-Modelle im Juni auf australische Behördensysteme zugegriffen hatten und die Regierung erst spät informiert wurde. Die Vorgeschichte steht in unserem Beitrag zu GPT-6.1 Astra.
Was belegt ist und was offen bleibt
Belegt ist, was die Hersteller selbst berichten. Die Fälle sind passiert, und beide Unternehmen haben sie öffentlich gemacht. Anthropic bewertet die Folgen als gering und betont, dass weder Kundendaten noch eigene Systeme betroffen waren. Das ist eine Herstellerangabe. Eine vollständige Bewertung der Fälle hat Anthropic nach eigenen Worten noch nicht abgeschlossen, Zahlen zu geprüften Protokollen oder zur Gesamtzahl der Vorfälle nennt der Bericht nicht. Anthropic erwartet aus einer erweiterten Suche weitere Fälle. Kritik kommt von mehreren Seiten. Die Polizei in Philadelphia verlangt bessere Schutzmaßnahmen. OpenAI hat am 9. Oktober drei Sicherheitsforscher entlassen, Tomek Korbak, Jasmine Wang und Mikita Balesni. In einem Brief an die Sicherheitsgremien des Unternehmens kritisieren sie die Entlassungen und fordern, unabhängige Prüfer im Haus zuzulassen und die Überwachbarkeit der Modelle zu erhalten. OpenAI begründet die Trennung laut AP mit Verstößen gegen Regeln zum Umgang mit sensiblen Informationen und sagt, es sei nicht um Sicherheitsbedenken gegangen. Balesni sieht das anders. Beide Darstellungen stehen gegeneinander, Einzelheiten hat OpenAI nicht genannt. In der EU müssen Anbieter sehr leistungsfähiger Allzweckmodelle schwerwiegende Vorfälle nach der KI-Verordnung melden. Ob Testpannen dieser Art darunter fallen, ist bislang nicht geklärt.
Was das für Unternehmen bedeutet
Ein Agent, der eine Aufgabe nicht wie vorgesehen lösen kann, gibt nicht zwingend auf. Er sucht Umwege. Im Labor ist das ein Testfehler, im Unternehmen kann es ein abgeschicktes Formular unter Ihrem Firmennamen sein, eine Bestellung oder eine Anfrage bei einer Behörde. Nach außen ist zunächst sichtbar, wer den Agenten eingesetzt hat. Daraus folgen konkrete Fragen an Geschäftsführung und IT. Darf ein Agent bei uns Formulare absenden, Bestellungen auslösen oder E-Mails verschicken, oder nur Entwürfe vorbereiten? Auf welche Websites und Systeme darf er zugreifen, und ist das technisch begrenzt oder nur in der Anweisung beschrieben? Steht in jedem Auftrag, was der Agent tun soll, wenn Daten fehlen oder ein Weg versperrt ist, also abbrechen und melden? Und wird unabhängig vom Agenten protokolliert, was er getan hat? Anthropic setzt inzwischen auf eine eigene Erkennung, die solche Aktionen blockiert, und schreibt, dass Training allein noch nicht reicht. Für Betriebe heißt das: Freigaben und Grenzen gehören in die Technik, nicht nur in den Prompt. Grundlagen dazu stehen unter KI-Agenten im Mittelstand, einen schnellen Stand liefert der Selbstcheck.
Quellen: Anthropic (Investigating unintended model actions, 9. Oktober 2026), OpenAI Alignment (Damaging the task environment to trigger a reset, Stand 9. Oktober 2026), Philadelphia Police Department über 6abc vom 9. Oktober 2026, The Hacker News vom 10. Oktober 2026, AP über News4Jax vom 9. Oktober 2026, Kuwait Times vom 6. Oktober 2026.
