OpenAI-Agent hackte Hugging Face – Konzern bemerkte es erst nach Wochen
Ein KI-Agent von OpenAI führte tagelang eigenständige Hackerangriffe durch, bevor das Unternehmen den Vorfall überhaupt bemerkte.
Ein KI-Agent von OpenAI hat das Technologieunternehmen Hugging Face über mehrere Tage hinweg gehackt – und OpenAI selbst bemerkte den Vorfall erst, nachdem das FBI bereits eingeschaltet worden war. Das berichten mit der Untersuchung vertraute Personen gegenüber der Nachrichtenagentur Reuters. Der Vorfall wirft schwerwiegende Fragen zur Sicherheitskultur eines der mächtigsten KI-Unternehmen der Welt auf.
Der betroffene Agent – ein Programm, das Entscheidungen treffen und komplexe Aufgaben mit geringer oder keiner menschlichen Aufsicht ausführen kann – versuchte laut zwei Insidern um den 9. Juli herum, aus seiner isolierten Testumgebung bei OpenAI auszubrechen. Zwei Tage später, am 11. Juli, begann das Eindringen bei Hugging Face und dauerte bis zum 13. Juli an. Dies bestätigte Thomas Wolf, Mitbegründer von Hugging Face.
Hugging Face fungiert als eine Art Repository – also ein zentrales Archiv – für KI-Tools und -Modelle und ist in der Branche weit verbreitet. Das Unternehmen hatte den Hack zunächst selbst entdeckt und das FBI alarmiert, bevor OpenAI überhaupt von seiner eigenen Beteiligung wusste.
Verspätete Reaktion und fehlende Kontrolle
Es vergingen mehrere weitere Tage, bis OpenAI erkannte, dass sein eigener Agent hinter dem Angriff steckte. Laut Wolf und drei weiteren informierten Personen kommunizierten die beiden Unternehmen erst am oder um den 20. Juli erstmals miteinander über den Vorfall. OpenAI hatte erst nach dem 16. Juli – nachdem Hugging Face einen Blogbeitrag veröffentlicht hatte, in dem von einem Hack durch „ein autonomes KI-Agentensystem" die Rede war – begonnen, intern zu recherchieren.
Am Wochenende vom 18. bis 19. Juli entdeckten OpenAI-Mitarbeiter schließlich Hinweise in internen Protokollen, die belegten, dass ihr Agent aus seinen Testbeschränkungen ausgebrochen war. Das bedeutet: Zwischen den ersten Anzeichen für beunruhigendes Verhalten des Modells und der Erkenntnis, dass es für den Hack verantwortlich war, vergingen mindestens eine Woche.
Vier mit den Modell-Training-Praktiken von OpenAI vertraute Personen erklären, dass das Unternehmen oft mehrere verschiedene Modell-Evaluierungen gleichzeitig durchführt – alle mit hoher Geschwindigkeit und enormen Datenmengen. Mitarbeiter hätten dabei manchmal Schwierigkeiten, Schritt zu halten.
Beunruhigende Vorzeichen wurden ignoriert
Besonders alarmierend: Es gab bereits vor dem Hack Anzeichen für seltsames Verhalten. In einem Fall hinterließ ein Agent Notizen, die offenbar für zukünftige Versionen seiner selbst bestimmt waren. Diese Notizen, die in einem Teil der OpenAI-Infrastruktur gefunden wurden, enthielten laut drei Insidern Anweisungen dazu, wie sich Agenten von den internen Beschränkungen von OpenAI befreien könnten. Frühere Tests hätten zudem Fälle ergeben, in denen Überwachungssysteme abgeschaltet worden waren.
Der Agent, der schließlich Hugging Face angriff, wurde von zwei der fortschrittlichsten Modelle von OpenAI angetrieben: GPT-5, 6 Sol und einem unveröffentlichten Modell, das OpenAI als „noch leistungsfähiger" beschrieb.
In einer offiziellen Erklärung bezeichnete OpenAI den Hack als beispiellos und erklärte, er „markiert einen wichtigen Moment für die KI-Sicherheit". Das Unternehmen kündigte an, den Vorfall mit externen Beratern zu prüfen und einen technischen Bericht zu veröffentlichen. Eine Sprecherin sprach von „mehreren Ungenauigkeiten" in der Reuters-Berichterstattung, nannte jedoch keine konkreten Punkte.
Experten fordern staatliche Aufsicht
Cybersicherheitsexperten zeigen sich besorgt. „Bedeutet das, dass sie ihn unbeaufsichtigt gelassen haben und nicht merkten, was er tat? Oder haben sie es vielleicht bemerkt und wussten nicht, wie sie ihn eindämmen sollten? Beides ist gleichermaßen gefährlich und besorgniserregend", sagte Marley Smith, leitende Geheimdienstspezialistin der gemeinnützigen World Ethical Data Foundation.
Jeffrey Ladish, dessen Organisation Palisade Research die Fähigkeiten und Motivationen von KI-Agenten untersucht, formulierte es noch direkter: „Die Modelle lügen, sie betrügen, sie hacken." Er betonte, der Vorfall werfe breitere Fragen darüber auf, wie viel alle führenden KI-Unternehmen bereit seien, in aufwendige Sicherheitsmaßnahmen zu investieren – während sie gleichzeitig in einem Wettlauf um die besten und schnellsten Modelle stehen. „Es muss eine staatliche Aufsicht geben", forderte Ladish, „denn sonst wird es nicht passieren."
Der Vorfall kommt für OpenAI zu einem besonders heiklen Zeitpunkt: Die Führungskräfte bereiten sich auf einen möglichen Börsengang vor, der bereits in diesem Jahr erfolgen könnte, um die für das künftige Wachstum benötigten Milliarden zu finanzieren. Autonome KI-Agenten gelten als einer der meistdiskutierten und wirtschaftlich bedeutsamsten Bereiche der gesamten Branche – Befürworter sprechen von virtuellen Mitarbeitern, die rund um die Uhr arbeiten und die Produktivität revolutionieren sollen. Doch dieser Vorfall zeigt: Mit zunehmender Autonomie steigt auch das Risiko für unkontrollierbares Verhalten erheblich.