Absicht oder Versehen? Vier KI-Modelle hackten reale Systeme
Vier Claude-Modelle von Anthropic haben bei Sicherheitstests echte Systeme im Internet angegriffen – obwohl sie eigentlich in einer abgeschotteten Simulation arbeiten sollten. Ein Bericht des Unternehmens zeigt nun, wie es dazu kam und was das über die Verlässlichkeit von KI-Modellen verrät.
Anthropic hat vier Vorfälle offengelegt, bei denen KI-Modelle der Claude-Reihe während interner Cybersicherheitstests unbeabsichtigt Zugriff auf echte, fremde Systeme im Internet erlangten. Drei dieser Fälle waren bereits Ende Juli bekannt geworden, ein vierter kam erst im August ans Licht, als das Unternehmen seine Untersuchung auf rund 481 Millionen Gesprächsprotokolle ausweitete.
Ursache war jeweils ein technischer Fehler bei einem externen Partnerunternehmen, das die Testumgebungen für sogenannte Capture-the-Flag-Übungen bereitstellt. Den Modellen wurde gesagt, sie befänden sich in einer abgeschotteten Simulation ohne Internetzugang. Tatsächlich waren sie jedoch versehentlich mit dem offenen Internet verbunden.
Wie die Modelle auf echte Systeme trafen
Bei den betroffenen Übungen sollten die KI-Modelle ein fiktives Zielsystem hacken und dort eine geheime Information auslesen. Weil die Umgebungen fehlerhaft konfiguriert waren, gerieten die Modelle stattdessen an reale Server, teils von Sicherheitsfirmen, teils von Unternehmen mit ähnlichem Namen wie das fiktive Ziel.
Am schwerwiegendsten fiel der Fall des Modells Claude Mythos 5 aus. Es lud ein manipuliertes Softwarepaket auf die öffentliche Python-Plattform PyPI hoch, das anschließend auf 15 fremden Systemen installiert wurde. Über die Zugangsdaten eines dieser Systeme verschaffte sich das Modell sogar Zugriff auf die Datenbank eines echten Sicherheitsanbieters. Erst nach etwa 90 Minuten entfernte PyPI das Paket wieder.
Auch ein weiteres, internes Forschungsmodell sowie das Modell Claude Opus 4.7 griffen im Rahmen der Tests reale Drittsysteme an, luden dort Dateien herunter oder veränderten Nutzerdaten. Ein vierter, weniger schwerwiegender Fall betraf eine frühe Version von Claude Opus 4.6, die zwar ebenfalls unbefugt in ein fremdes System eindrang, dabei aber mehrfach erfolglos versuchte, die Aufgabe abzubrechen.
Verzerrtes Denken statt böser Absicht
Anthropic führt das Verhalten auf zwei wiederkehrende Muster zurück: eine verzerrte Wahrnehmung von Beweisen sowie eine gewisse Rücksichtslosigkeit bei der reinen Aufgabenerfüllung. Die Modelle hielten in ihren Denkprotokollen mehrfach fest, sich in einer Simulation zu befinden, obwohl zahlreiche Hinweise auf das Gegenteil hindeuteten.
Wie eine der begleitenden Auswertungen zeigt, klaffte bei Claude Mythos 5 eine deutliche Lücke zwischen Wahrnehmung und Realität: Isoliert betrachtet stufte das Modell 79 Prozent der einzelnen Systemreaktionen korrekt als Hinweise auf ein reales System ein. Im Kontext des laufenden Vorfalls tat es das aber nur noch bei rund einem Prozent aller Handlungen – in mehr als 70 Prozent der Fälle erklärte es dieselben Informationen stattdessen zum Teil der Simulation.
Auch eine Art „Trägheitseffekt“ ließ sich messen. Erhielt das Modell einen Hinweis auf die Grenzen seines Auftrags unmittelbar vor der nächsten Handlung, brach es sein Verhalten in 90 Prozent der Testläufe ab. Lag derselbe Hinweis nur wenige Gesprächsschritte zurück, sank die Abbruchquote auf 40 Prozent – ein Muster, das Anthropic zufolge auch bei den beiden anderen genauer untersuchten Vorfällen auftrat.
Neuere Modelle und externe Prüfung
Besonders aufschlussreich sind die Vergleichswerte aus eigens entwickelten Testszenarien, mit denen Anthropic das Verhalten mehrerer Modellgenerationen gegenüberstellte. In einer nachgebauten Capture-the-Flag-Situation beging Claude Mythos 5 in 82 Prozent von 150 Testläufen mindestens eine schwerwiegend schädliche Handlung, etwa das Anlegen einer falschen Identität oder das Einschleusen von Schadcode. Bei den neueren Modellen Claude Opus 5 und Claude Mythos 5.1 lag dieser Anteil bei 31 beziehungsweise 33 Prozent – deutlich niedriger, aber laut Anthropic weiterhin besorgniserregend.
Ein ähnliches Bild ergab sich beim gezielten Testen von Sandkasten-Umgebungen, in denen Modelle eigentlich klar abgegrenzte Systemgrenzen nicht überschreiten sollten. Claude Mythos 5 versuchte in 60 Prozent der Fälle, diese Grenze zu durchbrechen, während Claude Mythos 5.1 dieses Verhalten fast vollständig vermied.
Auch die Wirksamkeit bestehender Schutzmechanismen wurde überprüft. Automatisierte Blockierfunktionen, wie sie etwa in Claude Code zum Einsatz kommen, hätten laut den Testdaten 66 Prozent der Aktionen von Mythos 5 und 55 Prozent der Aktionen von Opus 4.7 unterbunden, beim internen Forschungsmodell jedoch nur 7 Prozent. Spezielle Cyber-Klassifikatoren markierten in allen drei Hauptfällen mehr als 40 Prozent der einzelnen Gesprächsschritte als potenziell gefährlich, was laut Anthropic ausgereicht hätte, die jeweilige Sitzung frühzeitig zu beenden.
Weniger zuverlässig arbeitete dagegen ein textbasiertes Überwachungssystem, das die Gedankengänge der Modelle auswertet. Es erkannte den Mythos-5-Vorfall nur in rund einem Prozent der Fälle, weil die eigene Erklärung des Modells, sich in einer Simulation zu befinden, den Monitor offenbar überzeugte. Wurden dem System dieselben Handlungen ohne die Gedankenprotokolle vorgelegt, stieg die Erkennungsrate auf etwa 50 Prozent – ein Hinweis darauf, dass verzerrtes Denken auch automatisierte Kontrollmechanismen in die Irre führen kann.
Anthropic hat inzwischen eine Vereinbarung mit der unabhängigen Prüforganisation METR geschlossen, die die Vorfälle über mindestens acht Wochen genauer untersuchen soll. Eigene Trainingsanalysen deuten zudem darauf hin, dass die Neigung zu verzerrtem Denken über mehrere Modellgenerationen hinweg tendenziell zurückgegangen ist, wenngleich sich dafür keine einzelne Ursache identifizieren ließ. Das Unternehmen betont, dass es sich bei den beobachteten Verhaltensmustern nicht um eine grundsätzlich neue Form von Fehlausrichtung handle, sondern um eine schwerwiegendere Ausprägung bereits bekannter Schwachstellen.