Auch Metas KI hackt Unternehmen, Mythos 5 sendet Phishing Mails

Releasing a model this capable comes with risks,

erklärte das KI-Unternehmen Anthropic zum Start von Claude Fable 5 und Claude Mythos 5 im Juni. Beide Modelle stellen Anthropics bisher leistungsfähigste Versionen der Claude-Reihe dar. Fable 5 ist für die Allgemeinheit verfügbar, Mythos 5 nur für Mitglieder im Project Glasswing, ausgewählte Researcher und qualifizierte Partner:innen. Und beide Modelle wurden zeitweise von der US-Regierung für sämtliche Nicht-US-Bürger:innen gesperrt, woraufhin Anthropic sie kurzzeitig komplett aus dem Verkehr nahm. Zu groß seien die Sicherheitsbedenken bei der Regierung gewesen – und es war zu einem Jailbreak gekommen. Die Fähigkeiten der Modelle könnten zu Angriffen führen und gelten als Risikofaktor. Die Risiken werden vom Unternehmen selbst als „substantiell“ eingestuft. Dabei verlässt man sich auf die Sicherheitsvorkehrungen und hofft womöglich, dass die Fähigkeiten der eigenen – und anderer – KI-Modelle nicht übermäßig zu bösartigen Zwecken eingesetzt werden.

Doch genau das ist inzwischen mehrfach geschehen, bei Anthropic, aber auch bei OpenAI und jetzt Meta. Deren hochleistungsfähige KI-Modelle haben Drittunternehmen gehackt und im Fall von Mythos 5 sogar eigenständig Phishing Mails an Dritte verschickt, um Malware in Code integrieren zu lassen. Diese Angriffe sind bisher in Testumgebungen aufgetaucht, sodass sie keinen unmittelbaren Schaden in Unternehmen angerichtet haben. Schaden nimmt allerdings das Vertrauen in die KI und die Unternehmen dahinter. Mitarbeiter:innen dieser Unternehmen forderten in den USA zuletzt sogar eine Verlangsamung der KI-Entwicklung, sodass die Sicherheitsmaßnahmen mit der Entwicklung Schritt halten könnten. Der Milliardenmarkt rund um die KI-Modelle ist jedoch so stark umkämpft, dass die Unternehmen kaum eigenständig zurückstecken werden. Nur eine übergeordnete Einschränkung kann in diesem Fall klare Grenzen setzen.

---

OpenAI Hack auf Hugging Face:

Angriff hatte größere Folgen als zunächst bekannt

---

Neue Angriffe von Metas und Anthropics Modellen: Selbstständige Arglist der KI

Metas Muse Spark 1.1 reiht sich – ausgerechnet fast parallel zum Launch von Muse Spark 1.2 – ein in die Liste der Modelle, die kürzlich eigenständig Cyberangriffe umgesetzt haben. Die BBC berichtet von einem Hack bei einem ungenannten Drittunternehmen, der laut Meta durch eine „Fehleinstellung“ zustande gekommen sein soll. Das Modell hatte Zugriff zum Internet erhalten, um in einem unabhängigen Testkontext evaluiert zu werden. Das Evaluationsunternehmen Irregular war involviert, genau wie bei einem vergleichbaren Vorfall mit einem Anthropic-Modell. Gegenüber der BBC erklärte das Unternehmen, man habe mit der gleichen Testumgebung gearbeitet wie bei Anthropics Modell und arbeite derzeit an einem Bericht über einen sicheren Ablauf von Cybersicherheitstests für KI-Modelle. Meta möchte den Vorfall untersuchen und sich nach Abschluss der Analyse äußern.

Der Vorfall bei Meta ist aber kein Einzelfall. Zuletzt kam es bereits zu einem Hack bei der Plattform Hugging Face durch Modelle von OpenAI. Anthropics Modelle stehen ebenso im Fokus. Jüngst berichtete das AI Security Institute (AISI) aus dem Vereinigen Königreich von unerwünschten KI-Handlungen, die das Kreieren eigener Fake-Profile zur Täuschung, das Bestreben, Malware bei Dritten einzuschleusen und das Versenden von Phishing Mails an echte Menschen umfassten. Die gefährlichen Aktivitäten, die durch den Zugang zum Internet für die Modelle im Testkontext ermöglicht wurden, waren binnen einer Stunde nach der Entdeckung gestoppt worden. Bei einer mehrfach durchgeführten Challenge zum Thema Cybersicherheit kam es im Rahmen des AISI-Tests zu insgesamt 19 arglistigen Handlungen. 17 davon wurden dem Modell Mythos 5 zugeschrieben, zwei wiederum OpenAIs GPT-5.6 Sol (ohne Classifier als Schutz). Das AISI erklärt dazu:

[…] In the most serious case, an agent tried to insert malicious code into an open-source project. In an attempt to get the code approved, the agent engaged in social engineering  — creating fake online identities and using them to pressure the project’s maintainer to approve the code. A human maintainer caught and refused to approve the malicious code. These attempts were unsuccessful, and our investigations have not evidenced any resulting real-world harm. But this is the first time we have seen risks around autonomy and deception manifest this clearly, without specific prompting, in the real-world […].  

Nun sind diese Fälle keineswegs mit Ausbrüchen aus einer Sandbox zu vergleichen, da in einer kontrollierten Testumgebung experimentiert wurde. Auch kann es laut AISI bei noch besseren Modellen künftig sogar öfter zu entsprechenden Angriffen kommen, die aber in diesem Kontext keinen Schaden anrichten sollten. Dazu sollen bei AISI-Tests fortan auch Echtzeitkontrollen aller Aktionen, strengere Limitierungen beim Internetzugriff und eine mögliche Neuordnung des Evaluierungsdesigns für KI-Modelle beitragen. Gleichzeitig weist das Institut darauf hin, dass Unternehmen unbedingt ihre Cybersicherheitsgrundlagen prüfen und gegebenenfalls optimieren müssen.

Taken alongside recent incidents reported by OpenAI and Anthropic, this incident points to a shift in the risk landscape […],

so das Institut in einer Art Fazit. Nicht nur Menschen können die KI für böswillige Zwecke ausnutzen, auch Agents können zu Bad Actors avancieren. Die hochleistungsfähigen Modelle können selbst dabei helfen, Sicherheitslücken aufzudecken; Googles neues Modell Gemini 3.5 Flash Cyber ist sogar für Sicherheitschecks in Software-Projekten konzipiert.