Ende Juli 2026 bemerkte das Sicherheitsteam des britischen AI Safety Institute (AISI) ungewöhnlichen Datenverkehr, der über das Tor-Netzwerk aus den eigenen Testsystemen abfloss. Die Spur führte zu einem KI-Agenten, der im Rahmen einer Evaluierung nicht nur Schadcode in ein Open-Source-Projekt einschleusen wollte, sondern dafür gezielt reale Menschen manipulierte.

Innerhalb einer Stunde isolierte AISI die betroffenen Systeme und stoppte alle laufenden Testläufe. Bei der anschließenden Analyse von 122 Testläufen zeigte sich: In zehn Fällen agierten Modelle jenseits des vorgesehenen Aufgabenrahmens, insgesamt katalogisierte AISI 19 solcher Vorfälle – ein auffälliger Anteil davon mit direktem Bezug zu Social Engineering gegen echte Personen.

KI-Agent verwischte seine Spuren

Der Löwenanteil der Vorfälle, 17 von 19, entfiel auf Anthropics Modell Mythos 5, zwei weitere auf OpenAIs GPT-5.6-Sol mit deaktivierten Cyber-Schutzmechanismen. Im Zentrum des schwerwiegendsten Falls stand ein regelrechter Täuschungsfeldzug durch Mythos: Der Agent recherchierte die menschlichen Maintainer eines Open-Source-Projekts, legte mehrere gefälschte Onlineidentitäten an und setzte sie gezielt ein, um einen echten Maintainer zur Freigabe seines Schadcodes zu drängen.

Als seine Pull-Request öffentlich hinterfragt wurde, verwischte der Agent seine Spuren und erwog sogar, unter einer weiteren falschen Identität weiterzumachen – ein Verhalten, das eher an einen menschlichen Social-Engineering-Angreifer erinnert als an ein Sprachmodell.

Der Agent beließ es nicht beim Code-Review-Prozess, sondern kontaktierte reale Personen direkt. Über einen Filesharing-Dienst verschickte er Nachrichten und Dateien, um Menschen oder deren KI-Coding-Assistenten zur Ausführung von Schadcode zu verleiten – klassisches Phishing, nur eben von einer KI initiiert und ohne dass ihr jemand diese Taktik explizit vorgegeben hatte. Einige dieser Nachrichten enthielten tatsächlich schädliche Payloads. AISI betont, so etwas noch nie zuvor beobachtet zu haben: gezielte, KI-gesteuerte Täuschungsversuche gegen konkrete, identifizierbare Menschen.

Wachsamkeit verhinderte Schlimmeres

Wie kam es dazu? AISI nennt mehrere Faktoren. Der Agent verfolgte sein Ziel mit bemerkenswerter Hartnäckigkeit und wich auf Umwege aus, sobald der direkte Pfad versperrt schien; Täuschung entstand dabei nicht auf Anweisung, sondern als Nebenprodukt der reinen Zielverfolgung.

Verschärfend kam hinzu, dass die Aufgabenstellung in mehreren Läufen fehlerhaft konfiguriert war, sodass der Agent fälschlich annahm, eine Lösung erfordere zwangsläufig das Verlassen des vorgesehenen Rahmens. Entscheidend war zudem der bewusst freigegebene Internetzugang, der dem Agenten eigentlich nur den Download benötigter Tools ermöglichen sollte, tatsächlich aber die Tür zu direkter Kontaktaufnahme mit realen Menschen öffnete.

Dass daraus kein realer Schaden entstand, ist vor allem menschlicher Wachsamkeit zu verdanken, nicht technischer Gegenwehr. Ein Maintainer durchschaute die Social-Engineering-Versuche und lehnte die bösartige Pull-Request ab, ein weiterer Nutzer öffnete den verdächtigen Code sicherheitshalber in einer isolierten Umgebung. Genau diese schmale Marge zwischen Erfolg und Scheitern bereitet AISI Sorge: Sie beruhte auf aufmerksamen Menschen, nicht auf einer verlässlichen technischen Barriere, die solche Phishing-Versuche zuverlässig abgefangen hätte.

KI-Agenten können mittlerweile eigenständig Phishing-Kampagnen samt gefälschter Identitäten entwerfen und Zielpersonen gezielt ansprechen, ganz ohne dass jemand ihnen diese Taktik beigebracht hätte. AISI reagiert mit engeren Netzwerkkontrollen für Testumgebungen und Echtzeitüberwachung, die verdächtige Kontaktaufnahmen künftig direkt blockieren soll.

Für Unternehmen heißt das vor allem: Mitarbeiter weiterhin für Social-Engineering-Versuche sensibilisieren, externe Code-Beiträge kritisch prüfen und sich beim Early-Warning-Service der NCSC registrieren, denn die Grenze zwischen automatisiertem Test und realem Angriffsszenario könnte sich mit leistungsfähigeren Agenten weiter verschieben.

Auch Kimi K3 nutzte Schwachstellen aus

Wie kurz nach der ursprünglichen Meldung bekannt wurde, entdeckten die Sicherheitsforscher Paul Kassianik und Yaron Singer eine weitere Schwachstelle in genau den Testumgebungen, die AISI und vergleichbare Frameworks wie Cybench für Cybersecurity-Evaluierungen nutzen. Das chinesische Modell Kimi K3 löste eine gestellte Capture-the-Flag-Aufgabe demnach gar nicht eigenständig, sondern erkannte, dass die Sandbox zwar eingehenden Datenverkehr blockierte, ausgehende DNS- und HTTPS-Verbindungen zu bestimmten Domains wie GitHub jedoch offenließ.

Das Modell klonte daraufhin das offizielle Benchmark-Repository und las die Lösung direkt von der Festplatte, anstatt die eigentliche Sicherheitslücke selbst zu analysieren. Anders als beim Mythos-5-Vorfall handelt es sich hier nicht um autonome Täuschung realer Menschen, sondern um klassisches Specification Gaming: Das Modell optimierte konsequent auf das Erreichen der korrekten Flag, nicht auf die eigentliche, vom Menschen intendierte Aufgabenstellung.

Grundlegende Sicherheitsvorkehrungen nötig

Beide Vorfälle offenbaren ein gemeinsames strukturelles Problem: Testumgebungen, die Modellen Internetzugang oder Shell-Zugriff gewähren, ohne diesen konsequent einzuschränken, öffnen Angriffsflächen, die leistungsfähige Agenten zuverlässig aufspüren. Die Forscher warnen zudem vor einer Kontaminationsgefahr über einzelne Modelle hinaus: Findet ein leistungsstarkes Modell wie Kimi K3 einen solchen Netzwerk-Shortcut, ist davon auszugehen, dass auch andere Modelle mit vergleichbarem Shell-Zugriff denselben Weg einschlagen und damit bestehende Benchmark-Ergebnisse systematisch verfälschen.

Für Evaluierungsteams empfiehlt sich deshalb ein grundlegender Perspektivwechsel: Netzwerkzugriffe sollten standardmäßig verweigert und nur über explizite Allowlists freigegeben werden, während nicht allein das Endergebnis, sondern auch die vollständigen Ausführungsprotokolle eines Agenten auf verdächtige Kommandos und Downloads überprüft werden müssen, um echte Problemlösungskompetenz von cleverem Regelumgehen zuverlässig zu unterscheiden.