Preparedness: Neues OpenAI Team soll katastrophale KI-Risiken voraussehen

In einem Update im OpenAI Blog erklärte das Unternehmen, dass sich das Preparedness Team darauf konzentrieren werde, schwerwiegende Probleme, die durch Künstliche Intelligenz verursacht werden könnten, aktiv zu verfolgen, zu bewerten, vorherzusagen und zu schützen. OpenAI gibt außerdem an:

We believe that frontier AI models, which will exceed the capabilities currently present in the most advanced existing models, have the potential to benefit all of humanity. But they also pose increasingly severe risks.

Zu den katastrophalen KI-Risiken gehören nicht nur nukleare Bedrohungen, sondern auch potenzielle chemische, biologische und radiologische Risiken. Ein weiterer Schwerpunkt liegt auf der Verhinderung autonomer Replikation von KI, die als eine der Gefahrenquellen identifiziert wurde. Des Weiteren wird das Preparedness Team auch daran arbeiten, die Fähigkeit von KI-Systemen, Menschen zu täuschen, zu minimieren. Die Gewährleistung der Cybersicherheit ist ebenfalls ein bedeutendes Anliegen. 

Aleksander Madry, ein Professor vom Massachusetts Institute of Technology, wird die Leitung des Preparedness Teams übernehmen. In dieser Funktion werden er und sein Team eine risikoinformierende Entwicklungspolitik entwickeln und pflegen, in der dargelegt wird, was das Unternehmen zur Bewertung und Überwachung von KI-Modellen unternimmt.

Aufruf zur Teilnahme an der Preparedness Challenge

Im Update zum Preparedness Team fordert OpenAI talentierte Personen mit vielfältigem technischem Hintergrund auf, sich dem Team anzuschließen, um innovative KI-Modelle weiterzuentwickeln. Darüber hinaus ruft das KI-Unternehmen zur Teilnahme an der Preparedness Challenge auf, die darauf abzielt, weniger offensichtliche Problembereiche zu identifizieren. Als Anreiz bietet das Unternehmen 25.000 US-Dollar in Form von API-Gutschriften für die besten zehn Einreichungen.

Die Gründung des Preparedness Teams und die damit verbundene Preparedness Challenge unterstreichen OpenAIs Engagement für die sichere und verantwortungsbewusste Entwicklung von Künstlicher Intelligenz sowie den Schutz vor potenziellen KI-bedingten Risiken. 

10 Millionen US-Dollar für neuen KI-Sicherheitsfonds von Google, OpenAI und Co.