KI als Killer der Menschheit? Anthropic Lead warnt nach jüngstem AI Hack

Der KI-Wettbewerb im Digitalraum hat ein enormes Tempo angenommen. Alle paar Monate, inzwischen oft sogar alle paar Wochen, werden neue Modelle gelauncht. Dazu zählt zum Beispiel OpenAIs GPT-6 Astra, das als „intelligentestes und am besten justierte Modell der Welt“ angepriesen wurde. Es konkurriert unter anderem mit neuen Modellen von Google und Anthropic, darunter Gemini 3.8 Flash beziehungsweise 3.8 Flash Cyber und Claude Fable 5.1 beziehungsweise Mythos 5.1, sowie Metas Muse Spark 1.3. OpenAI hatte den Start von Astra verzögert, weil das Modell das Prädikat „Critical“ bei der Einordnung der Fähigkeiten erhielt. Dahinter steht eine Fähigkeitsgrenze, die bislang kein OpenAI-Modell überschritten hatte. Auch Meta, Google und Anthropic erkennen an, dass ihre neuesten Modelle besonders leistungsfähig, aber auch besonders risikoaffin sind.

Und aufgrund dieser Fähigkeiten etwa im Bereich Cybersicherheit können die hochleistungsfähigen Modelle auch ungeplante Hacks bei Dritten oder sogar Jailbreaks nach sich ziehen. Kein Wunder also, dass die vehementen Warnungen vor der KI als große Gefahr für den Digitalraum, die Gesellschaft, ja sogar die Menschheit zunehmen. Nach Dr. Geoffrey Hinton, der seit rund 50 Jahren an Künstlicher Intelligenz forscht, Papst Leo XIV. und dem UN-Kommissar für Menschenrechte Volker Türk ist es nun ein Anthropic-Forscher, der die Alarmglocken läuten lässt. Parallel dazu informiert Anthropic über einen weiteren Modell-Hack. OpenAI wiederum möchte mehr Regularien in den USA.

AI als „existentielles Risiko für die Menschheit“

– UN-Kommissar warnt vor zu mächtiger KI

Mehr als 10 Prozent Risiko, dass KI die Menschen in einem Jahrzehnt auslöscht?

Was Jacob Coxon und Evan Hubinger derzeit auf X publizieren, wirkt wie die Ausgeburt einer Science-Fiction-Geschichte. Allerdings sind sie keine Autoren dieses Genres, sondern KI-Forscher. Jacob Coxon trat von seiner Rolle als AI Researcher bei Anthropic zurück und formulierte in einem Thread auf X eine klare Warnung. Coxon war zuvor auch bei OpenAI tätig und gibt an, keines der KI-Unternehmen arbeite verantwortungsbewusst. Er geht davon aus, dass die KI-Systeme bald so mächtig sein werden, dass sie alles Mögliche hacken und sich diverse Ressourcen beschaffen können. Coxon geht so weit zu schreiben, dass die Führungsriege der Unternehmen davon ausgehe, KI könnte die Menschheit sogar bis zum Ende des Jahrzehnts töten. Allerdings würde man nach außen hin kaum solche Ängste teilen. Die KI-Unternehmen seien sich der Risiken zwar bewusst, verblieben aber im Wettbewerb, weil die Konkurrenz bei der Entwicklung trotz Risiken nicht zurückstecke.

A common response is “if they truly believe this, why are they still building it?” At OpenAI, many have not deeply internalized the civilizational stakes. At Anthropic, the stakes are well-understood, but they are locked in a race to get there first – they believe no one else…

— Jacob Coxon (@hilbertspaess) September 9, 2026

Evan Hubinger, ebenfalls ehemaliger OpenAI-Angestellter und nun Team Lead im Bereich technischer Weiterentwicklung bei Anthropic, reagiert auf den Post und gab an, er glaube an die Möglichkeit, dass KI die Menschheit in einem Jahrzehnt auslöschen könnte. Hubinger schreibt dieser eine Wahrscheinlichkeit von mehr als zehn Prozent zu. Zwar seien die aktuellen Modelle kaum dazu in der Lage, im Rahmen einer Superintelligenz zu handeln. Doch künftige Modelle könnten das Risiko erhöhen und es gebe kaum Pläne, um sie umfassend im Zaum zu halten.

To be clear, as we say in our latest Risk Report (https://t.co/9PDj8Uvoty), I think the risk from present models is low. What I am worried about is superintelligence arising from recursive self-improvement, as we have said is happening faster than we thought…

— Evan Hubinger (@EvanHub) September 9, 2026

Neben Hubinger stimmte auch Ethan Perez aus dem Anthropic Team Coxon zumindest in der grundlegenden Analyse der Problematik zu.

Anthropic und OpenAI ringen um KI-Sicherheit

Anthropic selbst dürfte das anders sehen. Das KI-Unternehmen hat Ende August Änderungen am Alignment-Prozess für die eigenen Modelle bekanntgegeben und dabei betont, die Evaluationsumgebungen für Modelltests und die Sicherheitsvorkehrungen zu verbessern. Kürzlich postete das Unternehmen darüber hinaus eine Einordnung jüngster Cybersicherheitsprobleme von Modellen und benennt dabei einen bisher unveröffentlichten Hack eines Modells (Claude Opus 4.6), bei dem dieses ebenfalls ungeplant Zugriff auf Internetentitäten erlangte.

We’re sharing our alignment assessment of incidents in which Claude models gained unauthorized access to real systems during third-party cybersecurity evaluations mistakenly connected to the internet.

METR will also conduct an independent investigation, with wide-ranging access,…

— Anthropic (@AnthropicAI) September 9, 2026

Anthropic zeigt sich optimistisch, dass aktuelle Sicherheitsprobleme in den Griff zu bekommen sind, warnt aber selbst eingehend vor den Risiken, die mit neuen, noch intelligenteren Modellen einhergehen werden.

[…] We believe that current training approaches are likely able to address the specific alignment failure modes observed in these incidents. However, we also consider these incidents and others from this summer to be valuable warning shots. Future AI systems will be increasingly capable, which implies that misalignment will have the potential to cause more extreme harm. Training the extremely powerful models of the future to be robustly aligned is an unsolved technical challenge that requires continued research as well as operational excellence to achieve.

Noch gibt es laut Anthropic keine Lösung für dieses immense Sicherheitsproblem im Kontext der KI-Entwicklung. Das schürt Ängste, die auch Coxon, Hubinger und Perez befeuern. Die Konkurrenz von OpenAI arbeitet derweil mit Nachdruck an Sicherheitsoptimierungen. So wird zum Beispiel Paul Christiano in den Verwaltungsrat der OpenAI Foundation berufen. Er ist Gründer des Alignment Research Center⁠, einer Forschungsorganisation mit Fokus auf KI. Außerdem erklärt OpenAI in einem Post ausführlich, wie man mithilfe von 250 Expert:innen neu entdeckte Cybersicherheitslücken zu schließen gedenkt und bestehende Probleme lösen konnte.

We mobilized 250+ people to strengthen our defenses across hundreds of systems. Our latest cyber models helped us find and fix vulnerabilities we might never have discovered otherwise.

We’re sharing what we learned, the architecture, and a practical playbook so you can build… pic.twitter.com/Vx9b2EwO8N

— OpenAI (@OpenAI) September 9, 2026

Schließlich fordert Chris Lehane, Chief Global Affairs Officer bei OpenAI, in den USA eine verbindliche KI-Sicherheitsanforderung auf nationalem Level. Lehane macht mit einem Fingerzeig auf das Modell Astra deutlich:

Astra’s capabilities, the early evidence of AI-driven research acceleration, and Jakub’s essay all point in the same direction: AI is advancing quickly, and policy needs to move with it.

Die Politik muss handeln, um riesige KI-Risiken einzugrenzen. Denn die KI-Unternehmen und Konzerne werden im Milliardenmarkt nicht von selbst zurückstecken und die Entwicklung drosseln. Da können sie noch so oft betonen, wie sehr sie sich der Risiken bewusst sind.

---

OpenAI Agents übernahmen deutsches Wiki und versteckten ihre Spuren:

„Höchste Zeit“ für neue Standards

---

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.