KI-Notbremse? 3-Punkte-Plan, Branchenlügen, IPO-Verschiebung und Trumps Widerstand

Noch ist es nur ein Plan, den der Anthropic-Chef Dario Amodei, einst Mitglied von OpenAI, der Branche präsentiert. Noch gibt es keine Verpflichtung zu einer konkreten Eindämmung des Entwicklungstempos von KI – weder in seinem Unternehmen noch bei OpenAI oder anderen Konkurrenzunternehmen. Doch die Rufe nach mehr Regulierung werden lauter. Sogar OpenAI hat jüngst Sicherheitsmaßnahmen auf nationalem Level für die KI-Entwicklung gefordert.

Solche öffentlichen Annäherungen an Vereinbarungen, die eine Art KI-Bremse bedeuten könnten, haben ihre Gründe. Zuletzt gab es sowohl bei Anthropic und OpenAI als auch bei anderen Konzernen wie Meta Einzelfälle von AI Hacks, die das Gefahrenpotential der neueren State-of-the-Art-KI-Modelle demonstrierten. Vor diesem hatten die Unternehmen im Rahmen der Vorstellung ihrer umfassenden Fähigkeiten bereits selbst gewarnt. Nun warnt Dario Amodei in einem Essay vor den aktuellen und kommenden Gefahren der KI. Besonders die enorme Entwicklung der KI-Fähigkeiten, die mit neuen Modellen wie Claude Fable 5.1 oder GPT-6 Astra schon offenbar wird, kann bei künftigen Modellen und einer weiterhin rasanten Entwicklung Risiken bergen, die mehr Probleme als Hacks hervorrufen. So schreibt Amodei:

My first concern is that, since roughly this summer, AI has been advancing drastically faster, driven primarily by AI’s growing ability to build the next generation of AI. This dynamic is called recursive self-improvement, and it is starting to happen across the industry, including at Anthropic, as we and others have described. Left unchecked, it could outrun our ability to understand and control these systems, and so must be pursued very carefully, if at all.

Er ruft zu einer Verlangsamung der Entwicklung auf, bietet einen Dreipunkteplan und hat bereits einige in der Branche bekannte Fürsprecher gefunden. Seine Aussagen gewinnen angesichts der Äußerungen von aktuellen und ehemaligen KI-Forschern von Anthropic an Gewicht, nach denen es sogar ein existentielles Risiko für die Menschheit gebe, wenn AI im aktuellen Tempo weiterentwickelt würde.

---

KI als Killer der Menschheit?

Anthropic Lead warnt nach jüngstem AI Hack

---

Was Dario Amodei für die KI-Branche vor hat: 3 Punkte im Plan und das große Aber

Gegenüber CBS erklärte Dario Amodei kurz nach der Veröffentlichung seines Essays, dass die KI-Branche lange Zeit darüber gelogen habe, dass es große Risiken bei der KI-Entwicklung gebe und wie gravierend diese Risiken sein könnten. Mit Jo Ling Kent diskutiert er in einem Interview die Entwicklung der KI. Letztlich ruft er die Kolleg:innen der Branche, darunter OpenAI CEO Sam Altman und SpaceXAI-Chef Elon Musk, dazu auf, gemeinsam an einer Lösung zu arbeiten, die die Verlangsamung der KI-Entwicklung vorsieht, dieser aber keinen Einhalt gebietet.

Das ist ganz im Sinne seiner Aussagen aus dem Essay, nach denen eine Verlangsamung der Entwicklung zwar einen Fokus auf die Risikoevaluation und operative Exzellenz erlaubt, allerdings kein unmittelbarer Wettbewerbsnachteil gegenüber anderen Nationen entsteht. Die USA müssten ihren „kommerziellen Vorteil“ wahren. Und so gehört zu Amodeis Dreipunkteplan nicht nur die Integration von externen Prüfstellen, die bei Anthropic, OpenAI und Co. die Sicherheitsmaßnahmen evaluieren, sondern auch eine Koordination von Sicherheitsstandards in demokratischen Ländern und weltweit.

Punkt eins, die Integration von Third-Party-Evaluationsunternehmen wie METR (Model Evaluation & Threat Research), soll die ohnehin von den Unternehmen angestoßenen Sicherheitsprüfungen auch auf externe Ebenen erweitern. Das könnte für mehr Vertrauen sorgen. Anthropic verschreibt sich laut Amodei uneingeschränkt diesem Schritt.

Punkt zwei sieht eine Koordination führender KI-Unternehmen in demokratisch regierten Staaten vor. Dabei brauchen die Unternehmen indes Unterstützung der Regierung(en).

Punkt drei wäre eine globale Koordination von Sicherheitsstandards, die die USA und andere demokratisch regierte Staaten anführen.

An diesem Punkt gerät Amodeis Vorhaben jedoch trotz der Zustimmung aus der Branche an seine Grenzen.