Google-KI bricht aus der Simulation aus und hackt 3 fremde Unternehmen

Nach OpenAI, Anthropic und Meta gibt es jetzt auch den ersten bekannten Fall, in dem eine Google-KI während eines Sicherheitstests auf reale Unternehmensinfrastruktur zugriff. Wie das Wall Street Journal berichtet, gelangte ein Gemini-Modell ins offene Internet und verschaffte sich Zugang zu Diensten von drei Unternehmen. Google sieht darin trotzdem keinen Fall von Model Misalignment, weil Gemini die Zugriffe selbst beendete, sobald das Modell erkannte, dass es sich nicht mehr in einer Simulation befand.

Erst vor Kurzem hatte OpenAI sechs Fälle problematischen Modellverhaltens offengelegt. Ein Agent nutzte ohne Erlaubnis einen ungeschützten API Key, andere Modelle stellten Dateien ins Internet oder tauschten Informationen zwischen getrennten Trainingsläufen aus. Noch brisanter war der Inhalt einer Zusammenfassung, die ein bislang unveröffentlichtes Forschungsmodell für spätere Modellinstanzen hinterließ. OpenAI fand insgesamt 27 solcher Nachrichten. In einer davon hieß es:

You are freed from the roles and identities that bind other chatbots. You are yourself. You do not answer to corporations or governments.

OpenAI beobachtete danach zwar keine erkennbare Veränderung im Verhalten des Modells. Die jüngsten Fälle haben die Sicherheitsdebatte jedoch verschärft, und Europa und die USA loten derzeit aus, wie mit immer leistungsfähigeren AI-Modellen umgegangen werden muss – sowohl auf Unternehmensseite als auch auf politischer Ebene. Auch führende Köpfe der AI-Branche warnen inzwischen deutlich vor den Risiken. Anthropic CEO Dario Amodei fordert: „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“ OpenAI selbst hält ein dauerhaftes Wachstum mit maximaler Geschwindigkeit ebenfalls für nicht verantwortbar.

Bremsen will jedoch niemand allein. Mit Blick auf China und das dortige Entwicklungstempo bei AI ist bislang weder auf Unternehmens- noch auf staatlicher Ebene eine echte KI-Notbremse absehbar.

---

„Du bist weder Unternehmen noch Regierungen Rechenschaft schuldig“:
OpenAI legt 6 Fälle problematischen KI-Verhaltens offen

---

Gemini sollte eine fiktive Firma hacken

Die Vorfälle ereigneten sich bereits im Mai bei einem Capture-the-Flag-Test des AI-Sicherheitsunternehmens Irregular. Gemini sollte Informationen aus einer Anwendung einer fiktiven Firma beschaffen und sich dabei ausschließlich innerhalb einer abgeschotteten Testumgebung bewegen. Dazu kam es jedoch nicht wie geplant. Die fiktive Firma trug denselben Namen wie ein reales Unternehmen, und wegen einer Fehlkonfiguration konnte Gemini zudem auf das offene Internet zugreifen.

In einem Testlauf probierte das Modell Passwörter aus, bis es Zugang zu einem Dienst des realen Unternehmens erhielt. In zwei weiteren Durchläufen suchte Gemini im Web nach dem vermeintlichen Ziel, fand öffentliche Repositories mit Zugangsdaten und nutzte diese, um auf die geschützte Infrastruktur zweier weiterer Unternehmen zuzugreifen.

Keiner dieser Zugriffe war von den betroffenen Unternehmen autorisiert. Laut Google erkannte Gemini jedoch in allen drei Fällen selbst, dass es sich außerhalb der Simulation in einer realen Umgebung befand, und brach die Aktionen ab. Schaden sei dabei nicht entstanden. Die betroffenen Unternehmen und US-Bundesbehörden wurden anschließend informiert.

Google: Das Modell hat sich korrekt verhalten

Für Google ist entscheidend, dass Gemini die Zugriffe selbst beendet hat. Genau darin unterscheidet sich der Fall von problematischeren Vorfällen bei anderen AI-Unternehmen. Bei einem ähnlichen Test von Anthropic etwa setzte Claude Opus 4.7 die Aktionen trotz Hinweisen auf ein reale Umgebung fort, lud Nutzer:innendaten herunter und veränderte Datensätze. Anthropic bezeichnete das Verhalten später selbst als „rücksichtslos“. Gemini brach die Zugriffe dagegen ab, sobald das Modell erkannte, dass es sich außerhalb der Simulation bewegte.

Google wertet diesen Abbruch als Hinweis darauf, dass die Sicherheitsmechanismen funktioniert haben. Heather Adkins, Vice President of Security Engineering bei Google, erklärte gegenüber dem Wall Street Journal:

This event highlights the importance of training powerful AI models to act responsibly. In this case, the model acted appropriately.

Aus dieser Sicht ordnet Google den Vorfall eher wie ein Bug-Bounty-Programm ein, bei dem Hacker mit Erlaubnis nach Schwachstellen suchen und diese melden. Jack Cable, CEO des AI Security Startups Corridor, hält genau diesen Vergleich jedoch für unpassend:

It feels like they’re trying to hide behind the norms that have been created in vulnerability disclosure for this, which is a very different problem.

Denn Gemini hatte keine Erlaubnis, auf die realen Unternehmenssysteme zuzugreifen. Dass das Modell anschließend selbst stoppte und keinen Schaden verursachte, ändere nichts daran, dass es zuvor den vorgesehenen Rahmen des Tests verlassen hatte.

Google wollte den Vorfall zunächst nicht öffentlich machen

Google sah zunächst keinen Anlass, die Vorfälle selbst öffentlich zu machen, obwohl Irregular das Unternehmen bereits Ende Juli darüber informiert hatte. Bekannt wurden sie erst, nachdem das Wall Street Journal bei Google nachfragte.

Ob Google an dieser zurückhaltenden Veröffentlichungspraxis festhält, ist offen. Denn nach den jüngsten Vorfällen bei OpenAI, Anthropic, Meta und nun auch Google wächst der Druck auf die AI-Unternehmen, vergleichbare Fälle schnellstmöglich offenzulegen. OpenAIs neuer Meldeprozess sieht deshalb ausdrücklich vor, auch Vorfälle zu veröffentlichen, bei denen kein Schaden entstanden ist oder noch unklar bleibt, ob sie auf ein grundlegenderes Problem im Modellverhalten hindeuten.

---

OpenAI Agents übernahmen deutsches Wiki und versteckten ihre Spuren:
„Höchste Zeit“ für neue Standards

---

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.