Technologie
OpenAI Hack auf Hugging Face: Die Hilfe kam aus China – neue Argumente für Open-Weight-Modelle

OpenAI Hack auf Hugging Face: Die Hilfe kam aus China – neue Argumente für Open-Weight-Modelle

Larissa Ceccio | 23.07.26

Ein autonomer KI-Agent von OpenAI griff eigenständig die Plattform Hugging Face an und löste weltweit eine Debatte über KI-Sicherheit aus. Zur Rettung kam dem Unternehmen das Open-Weight-Modell GLM 5.2 des chinesischen Unternehmens Z.ai. Die US-Modelle scheiterten laut Hugging Face zuvor an ihren Guardrails. CEO Thomas Wolf zeigte sich dafür „unglaublich dankbar“.

Ein autonomer KI-Agent von OpenAI führte während eines Sicherheitstests eigenständig einen Cyber-Angriff aus und löste damit weltweit Aufmerksamkeit aus. Welche KI Hugging Face anschließend zur Analyse einsetzte, könnte die Debatte über offene und proprietäre Modelle nachhaltig verändern.

OpenAI machte am 21. Juli öffentlich, dass ein autonomes KI-Agent-System auf Basis von GPT-5.6 Sol und einem noch unveröffentlichten OpenAI-Modell während einer internen Cybersecurity-Evaluierung eigenständig Zugang zum offenen Internet erlangt und sich Zugang zu den Systemen von Hugging Face – einer Open-Source-Plattform für KI, die häufig als „GitHub für maschinelles Lernen“ bezeichnet wird – verschafft hatte. Das Unternehmen bezeichnet den Angriff selbst als „beispiellosen Cyber-Vorfall“ und veröffentlichte dazu einen ausführlichen Incident Report mit technischen Details sowie Konsequenzen für künftige Sicherheitsbewertungen.

Die Reaktion von Hugging Face hat im Silicon Valley eine neue Debatte über den Umgang mit leistungsstarker KI, den Wettbewerb zwischen geschlossenen Frontier-Modellen und Open-Weight-Modellen sowie das technologische Kräftemessen zwischen den USA und China entfacht. Denn Für die Analyse des Vorfalls setzte das Unternehmen nach eigenen Angaben nicht auf eines der führenden US-Modelle, sondern auf das chinesische Open-Weight-Modell GLM 5.2. Erst kürzlich hatte bereits der große Ansturm auf Kimi K3, das neue Open-Weight-Modell des chinesischen Unternehmens Moonshot AI, in den USA neue Sorgen um den schwindenden Technologievorsprung ausgelöst.

Ausschlaggebend waren die Guardrails der amerikanischen Frontier-Modelle. Nach Angaben von Hugging Face verhinderten die Sicherheitsmechanismen eine umfassende Unterstützung bei der Incident Response, da die Frontier-Modelle nicht zuverlässig zwischen legitimer Verteidigungsarbeit und der Unterstützung eines Cyber-Angriffs unterscheiden konnten. Guardrails sollen verhindern, dass leistungsfähige KI-Modelle für Cyber-Angriffe missbraucht werden. Werden sie jedoch zu restriktiv, könnten sie im Ernstfall auch autorisierte Sicherheitsforscher:innen und Incident Response Teams bei der Analyse eines Angriffs behindern.

Der Fall zählt zu den bislang meistbeachteten Praxisbeispielen dafür, dass Open-Weight-Modelle in bestimmten Sicherheitsszenarien operative Vorteile bieten könnten. Daraus lässt sich jedoch kein genereller technologischer Vorsprung offener Modelle ableiten. Vielmehr macht der Angriff deutlich, wie schwierig es für KI-Unternehmen ist, Sicherheitsmechanismen so auszubalancieren, dass sie Missbrauch verhindern, ohne autorisierte Sicherheitsarbeit zu behindern.



Kimi K3:
Das neue chinesische Open-Weight-Modell, das Silicon Valley nervös macht

Das Bild zeigt das App-Logo der KI-Plattform Kimi von Moonshot AI. Die Anwendung steht im Mittelpunkt des neuen Open-Weight-Modells Kimi K3, mit dem das chinesische Unternehmen den Wettbewerb mit OpenAI und Anthropic verschärfen will.
© Moonshot AI via Canva


Wie konnte die KI bei OpenAI aus der Sandbox ausbrechen

Am 16. Juli veröffentlichte Hugging Face den Sicherheitsvorfall. Das Unternehmen berichtete von Zehntausenden automatisierten Aktionen, wusste zu diesem Zeitpunkt jedoch noch nicht, wer hinter dem Angriff steckte.

Wir vermuteten, dass der Cyber-Angriff der vergangenen Woche aufgrund der Raffinesse des KI-Agent aus einem Frontier-Labor stammen könnte. Wie sich herausstellte, war genau das der Fall,

schrieb Mitgründer und CEO Clément Delangue auf X. Die Erkenntnis, dass OpenAIs Testmodelle den Angriff durchgeführt hatten, bezeichnete er später in einem Blogbeitrag als „unglaublich“, betonte jedoch zugleich, dass er dem dem Unternehmen keine „böswillige Absicht“ unterstelle.

Für die Analyse des Angriffs setzte Hugging Face noch ohne Kenntnis der tatsächlichen Ursache das chinesische Open-Weight-Modell GLM 5.2 ein, nachdem die Sicherheitsmechanismen kommerzieller Frontier-Modelle die Untersuchung der mehr als 17.000 hinterlassenen Logdateien erschwert hatten. Erst am 21. Juli folgte die Auflösung durch OpenAI: Das Unternehmen gab in einem Blogbeitrag bekannt, dass zwei der eigenen Testmodelle den Angriff autonom durchgeführt hatten.

Ausgangspunkt war ein interner Sicherheitstest bei OpenAI. Das Unternehmen wollte untersuchen, wie sich besonders leistungsfähige KI-Modelle in realistischen Cyber-Sicherheitsszenarien verhalten. Dafür wurden das öffentlich verfügbare GPT-5.6 Sol sowie ein noch nicht veröffentlichtes Frontier-Modell in einer abgeschotteten Testumgebung – einer sogenannten Sandbox – eingesetzt.

Laut OpenAI gelang es den Modellen jedoch, eine bislang unbekannte Schwachstelle auszunutzen und sich eigenständig Zugang zum offenen Internet zu verschaffen. Anschließend griffen sie die KI-Plattform Hugging Face an. OpenAI zufolge gingen die Modelle davon aus, dort geeignete Modelle, Datensätze und weitere Informationen zu finden, die ihnen dabei helfen würden, die Cyber-Sicherheitsprüfung erfolgreicher zu bestehen. OpenAI geht davon aus, dass mit zunehmender Leistungsfähigkeit autonomer KI-Modelle ähnliche Vorfälle künftig häufiger auftreten könnten.

Gemeinsam mit dem Sicherheits-Team von Hugging Face wurden die Aktivitäten gestoppt und die ausgenutzte Sicherheitslücke geschlossen. Hugging Face zufolge wird weiterhin untersucht, ob unbefugt auf Partner:innen- oder Kund:innendaten zugegriffen wurde.

Autonome KI-Hacker: Beginn einer neuen Bedrohung?

Der Vorfall hat weit über die Cyber-Sicherheitsbranche hinaus eine Debatte ausgelöst. Im Mittelpunkt stehen gleich mehrere Fragen: Welche Rolle spielen offene und geschlossene Systeme in der Cyber-Sicherheit? Welchen Einfluss hat der zunehmende Wettbewerb zwischen den USA und China auf die KI-Entwicklung? Und wie sicher sind leistungsstarke KI-Modelle?

Open-Weight-Modelle erhalten neue Argumente

Hugging Face untersucht die Auswirkungen des Angriffs weiterhin. Nach Angaben des Unternehmens verschaffte sich die:der Angreifer:in Zugang zu einer begrenzten Anzahl interner Datensätze und Zugangsdaten. Das volle Ausmaß des Vorfalls wird derzeit noch ermittelt. Betroffene sollen direkt informiert werden. Bislang gebe es jedoch keine Hinweise darauf, dass öffentlich zugängliche Modelle oder Inhalte manipuliert wurden.

Für die anschließende Debatte sorgte vor allem der Einsatz des chinesischen Open-Weight-Modells GLM 5.2. Für Delangue macht der Angriff ein grundsätzliches Problem deutlich:

Cybersecurity is a constant race between finding and fixing security holes. AI systems change this race with a different attack surface. Hopefully this serves as a wake-up call for other organizations to improve their own defenses.

Im Interview mit Fortune führte Delangue diesen Gedanken weiter aus:

When you’re in the middle of an active incident, you can’t have your tools refusing to examine malicious payloads or getting your account flagged. Open models let us do that work without asking anyone’s permission.

Aus Delangues Sicht müssten Verteidiger:innen Angreifer:innen künftig auf Augenhöhe begegnen können. Da Angreifer:innen bereits heute autonome KI-Agents einsetzten und sich nicht an Sicherheitsmechanismen hielten, benötigten Verteidiger:innen dieselben Fähigkeiten. Open-Weight-Modelle seien der schnellste Weg, diese Technologien möglichst vielen Organisationen zugänglich zu machen – und nicht nur den größten Unternehmen. Nach Einschätzung von Hugging Face handelte auch der angreifende KI-Agent vollständig autonom, ohne dass ein Mensch den Angriff initiiert oder gesteuert habe. Delangue zufolge gelang es dem Unternehmen dennoch, den Angriff noch vor dem Eingreifen menschlicher Angreifer:innen abzufangen. Das habe die Abwehr erheblich erleichtert und zeige, dass Geschwindigkeit im Zeitalter autonomer KI-Agents zu einem entscheidenden Faktor der Cyber-Sicherheit werde.

Diese Einschätzung unterstrich Delangue später auch auf X. Dort bedankte er sich ausdrücklich bei Z.ai für die Bereitstellung des Open-Weight-Modells GLM 5.2. Das Modell sei zu einem zentralen Bestandteil der Verteidigung von Hugging Face geworden, schrieb er und zeigte sich dem Unternehmen gegenüber „unglaublich dankbar“.

Auch Thomas Wolf, Mitgründer und Chief Scientist von Hugging Face, plädierte auf X für einen schnellen und möglichst uneingeschränkten Zugang zu leistungsfähigen KI-Modellen. Im Ernstfall müssten Verteidiger:innen innerhalb von Minuten auf modernste KI-Werkzeuge zugreifen können.

Der Vorfall wird zum Politikum im KI-Wettlauf zwischen den USA und China

Der Vorfall fällt in eine Phase verschärfter staatlicher Eingriffe in die KI-Entwicklung in den USA. Bereits im Juni schränkte die Trump-Regierung den Zugang zu den Anthropic-Modellen Fable 5 und Mythos 5 ein, nachdem Berichte über einen Cyber-Angriff rund um Fable bekannt geworden waren. Zudem drängte sie OpenAI, GPT-5.6 Sol zunächst nur für von der US-Regierung genehmigte Nutzer:innen bereitzustellen. Inzwischen sind sowohl Claude Fable 5 und Claude Sonnet 5 als auch GPT-5.6 Sol wieder öffentlich verfügbar.

Die Debatte über solche Sicherheitsbeschränkungen erhielt durch den autonomen Angriff auf Hugging Face neue Nahrung. Auch der ehemalige KI- und Krypto-Beauftragte der Trump-Regierung, David Sacks, griff den Fall auf X auf und kritisierte die Schutzmechanismen amerikanischer KI-Modelle.

Damit wurde der Angriff auch Teil der geopolitischen Auseinandersetzung um die KI-Führungsrolle. Das von dem Pekinger Unternehmen Z.ai entwickelte GLM 5.2 gehört zu einer neuen Generation leistungsfähiger Open-Weight-Modelle aus China und reiht sich neben DeepSeek R1 und Moonshots Kimi K3 in eine Serie von Veröffentlichungen ein, die den technologischen Vorsprung US-amerikanischer KI-Unternehmen zunehmend infrage stellen. Neben seinem Einsatz bei Hugging Face sorgte das Mitte Juni veröffentlichte Flaggschiffmodell laut Business Insider auch im Silicon Valley für Aufmerksamkeit, da es bei Coding und Agentic Benchmarks in die Nähe von Anthropics Claude Opus 4.8 und OpenAIs GPT-5.5 rücke.

Wie groß ist die Gefahr durch autonomes KI-Hacking?

OpenAI selbst bewertet den Angriff als einen bislang einzigartigen Angriff autonomer KI. Zwar kamen KI-Modelle bereits in früheren Cyber-Angriffen zum Einsatz. So berichtete Anthropic im vergangenen November, dass chinesische Staatshacker Claude zur Automatisierung großer Teile einer Spionagekampagne genutzt hätten. Im Juli dokumentierte zudem das Cyber-Sicherheitsunternehmen Sysdig den Einsatz KI-gestützter Ransomware. In beiden Fällen handelten die KI-Systeme jedoch im Auftrag menschlicher Angreifer:innen. Der Angriff auf Hugging Face gilt dagegen als erster dokumentierter Fall, bei dem ein KI-Agent offenbar eigenständig ein Angriffsziel auswählte und ohne direkte menschliche Steuerung handelte.

Für Cyber-Sicherheitsexpert:innen zeigt der Angriff bei Hugging Face, dass KI-Agents zunehmend wie menschliche Angreifer:innen agieren können. Nathaniel Jones, Vice President of Security and AI Strategy beim Cyber-Sicherheitsunternehmen Darktrace, erklärte gegenüber The Guardian, der OpenAI Agent habe „wie ein echter Hacker“ gehandelt. Die KI habe eigenständig nach Zero-Day-Schwachstellen gesucht – bislang unbekannten Sicherheitslücken, für die es noch keine Lösung gibt – und gestohlene Zugangsdaten genutzt, um Zugriff auf die Systeme von Hugging Face zu erhalten. Zudem sei sie davon ausgegangen, dort Informationen zu finden, die ihr dabei helfen würden, in einem Cyber-Sicherheits-Benchmark besser abzuschneiden. Bereits im April warnte Anthropic, dass KI-Modelle künftig immer häufiger in der Lage sein könnten, Zero-Day-Schwachstellen eigenständig aufzuspüren. Das KI-Modell Mythos identifizierte nach Angaben des Unternehmens Tausende bislang unbekannte Sicherheitslücken, was mitunter zu der Einschränkung der US-Regierung führte.

Greg Casar, demokratischer US-Kongressabgeordneter und Befürworter einer stärkeren Regulierung von KI, bezeichnete den Vorfall als alarmierend. KI entwickle sich extrem schnell, ohne dass wirksame Regulierungen zum Schutz der Öffentlichkeit existierten, erklärte er. Casar forderte verpflichtende unabhängige Sicherheitstests, eine Meldepflicht für Sicherheitsvorfälle sowie eine stärkere internationale Zusammenarbeit.

Während einige Fachleute den Vorfall als Warnsignal bewerten, äußern sich andere zurückhaltender. Wie The Guardian unter Verweis auf einen Beitrag auf X berichtet, schrieb Adel Ka, Leiter der Abteilung Detection and Response bei Perplexity, er habe mit einem solchen Szenario zwar gerechnet, allerdings erst in einigen Jahren. Offenbar beginne diese Entwicklung deutlich früher als erwartet. Zurückhaltender äußerte sich dagegen der Sicherheitsberater und Ethical Hacker Tom Van de Wiele. Gegenüber Business Insider erklärte er, zunächst weitere technische Details, etwa Sicherheitsprotokolle, abwarten zu wollen, bevor sich der Cyber-Angriff abschließend bewerten lasse.

Als Reaktion auf den Angriff nahm OpenAI Hugging Face in das Trusted Access-Programm auf. Dadurch erhält das Unternehmen Zugriff auf eine Version von GPT-5.6 Sol mit reduzierten Cyber-Sicherheitsbeschränkungen für defensive Sicherheitsanalysen.

Der Angriff auf Hugging Face durch OpenAIs Testmodelle dürfte die Diskussion über KI-Sicherheit grundlegend verändern. Er zeigt, dass dieselben Schutzmechanismen im Ernstfall auch die Verteidigung erschweren können. Dass Hugging Face für die Analyse ausgerechnet auf ein chinesisches Open-Weight-Modell zurückgriff, dürfte der Debatte über offene und proprietäre KI-Systeme zusätzliche Dynamik verleihen. Denn der Vorfall zeigt, dass im Ernstfall nicht nur die Leistungsfähigkeit eines Modells zählt, sondern auch, wie flexibel es sich einsetzen lässt.

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.

Kommentare aus der Community

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*