OpenAI launcht Tool zur Erkennung von KI-Texten – und könnte mit ChatGPT bald Software-Entwickler:innen ersetzen

Was kann der AI Classifier von OpenAI – und was nicht?

Eine Identifikation von KI-generierten Texten kann in verschiedenen Szenarien relevant sein. So werden Lehrende derlei Texte von solchen unterscheiden wollen, die tatsächlich von Menschen geschrieben wurden, um Schüler:innen oder Studierende besser bewerten zu können. Doch auch bei automatisierten Desinformationskampagnen kann es von Vorteil sein, zu erkennen, ob eine KI Texte – möglicherweise sogar im Rahmen ihrer Limitierungen – mit entsprechenden Desinformationen erstellt hat. Insbesondere dann, wenn Texte von KI-Tools als von Menschen gemacht ausgegeben werden, kann sich eine Prüfung lohnen. In dem Blogpost zum neuen Tool heißt es vonseiten OpenAIs:

We’ve trained a classifier to distinguish between text written by a human and text written by AIs from a variety of providers. While it is impossible to reliably detect all AI-written text, we believe good classifiers can inform mitigations for false claims that AI-generated text was written by a human: for example, running automated misinformation campaigns, using AI tools for academic dishonesty, and positioning an AI chatbot as a human.

Jedoch zeigte sich das Tool im Belastungstest noch als nicht besonders ausgereift. Nur 26 Prozent der KI-Texte wurden vom Classifier als solche erkannt. Und in neun Prozent der Fälle, in denen von Menschen geschriebene Texte vorgelegt wurden, gab das Tool als Einschätzung ebenfalls „likely AI-written“ an. Dabei gibt das Unternehmen an, dass sich die Belastbarkeit des Tools verbessern wird, je mehr es trainiert wird.

We’re making this classifier publicly available to get feedback on whether imperfect tools like this one are useful. Our work on the detection of AI-generated text will continue, and we hope to share improved methods in the future.

Dementsprechend können User den AI Classifier bereits testen. Allerdings gibt es noch einige Limitierungen bei der Klassifikation. So ist die Erkennung bei Texten mit weniger als 1.000 Zeichen sehr unverlässlich und Texte in anderen Sprachen als Englisch können weitaus weniger gut den verschiedenen Kategorien zugeordnet werden. Eine Identifikation von sehr vorhersagbaren Texten – zum Beispiel Listen oder Rezepten – ist ebenfalls kaum verlässlich.

Erste Testszenarien mit gemischten Ergebnissen

Nutzer:innen können sich Beispiele für KI-Texte und von Menschen geschriebene Texte ansehen oder ihre eigenen Beispieltexte einfügen. Einen OnlineMarketing.de-Artikel erkannte das Tool richtig als „very unlikely AI-generated“.

Allerdings ordnet das Tool mitunter auch Texte, die ChatGPT verfasst hat, in diese Kategorie ein. SEO-Experte Barry Schwartz zeigt auf Twitter ein Beispiel einer erfolgreichen Klassifizierung; doch in den Kommentaren gibt es ebenso Beispiele für Fehleinschätzungen.

It said that this is "Very unlikely AI-generated" 🤷‍♂️ pic.twitter.com/Bazw0hTmPV

— Patrick Mahinge (@Demagnify) February 1, 2023

Der Tool-Experte Jens Polomski hat sich ebenso mit dem Tool beschäftigt und schreibt auf LinkedIn:

In meinen ersten Tests wurden alle KI-Texte von mir erkannt und selbst Texte bei denen diverse Dinge geändert wurden, hatten noch einen Bruchteil von AI-Erkennung. Mal schauen ob hier eine vernünftige Lösung entsteht oder dies ein ständiges Katz und Maus Spiel bleiben wird.

KI-Content in der Diskussion: Hilfe für Lehrkräfte und Konkurrenz für Software-Entwickler:innen

OpenAI weiß um die Problematik, die Tools wie ChatGPT befeuern, sofern sie KI-generierte Inhalte zur Verfügung stellen. Einerseits kann das im Kontext der Lehre gelesen werden.

We recognize that identifying AI-written text has been an important point of discussion among educators, and equally important is recognizing the limits and impacts of AI generated text classifiers in the classroom.

Deshalb bietet das Unternehmen ein Dokument mit Informationen rund um ChatGPT für Menschen in der Lehre. Darin erläutert OpenAI auch, wie wichtig es für Studierende ist, sich reflektiert mit KI-Technologie zu befassen. In den USA kooperiert das Unternehmen bereits mit Lehrkräften, um über die Effekte, Limitierungen und Entwicklungen der Technologie zu sprechen.

Andererseits kann die Problematik auch im Rahmen von Sorgen um den Arbeitsplatz gelesen werden. Denn inzwischen fürchten einige Menschen, sowohl im Marketing-Bereich als auch im Journalismus, über kurz oder lang von einer KI ersetzt oder teilersetzt zu werden. Nach einer aktuellen Untersuchung von Sortlist haben immerhin 23 Prozent der bei 500 Unternehmen befragten Personen im Tech- und Software-Bereich Angst vor einer Entlassung. Möglicherweise aus gutem Grund: 26 Prozent der Arbeitgeber:innen geben Personalabbau als potentielle Konsequenz der umfassenderen Integrierung der KI an. 51 Prozent derjenigen Arbeitgeber:innen, die einen Stellenabbau planen, erwägen dies im Marketing-Bereich.

Ersetzt ChatGPT bald Code-Ersteller:innen?

Doch auch im Bereich Software-Entwicklung könnte es zum Stellenabbau kommen, wenn KI-Technologien mehr und mehr Aufgaben übernehmen sollten. Einem Bericht von WatcherGuru zufolge, der sich auf Insights von Semafor stützt, arbeitet OpenAI bereits daran, grundlegende Coding-Aufgabe und erste Jobs im Software-Bereich obsolet zu machen, da ChatGPT für derlei Aufgaben trainiert wird.

https://t.co/LGmQdiYIwX

— Watcher.Guru (@WatcherGuru) January 31, 2023

Mithilfe von OpenAIs Tool Codex lässt sich schon jetzt natürliche Sprache in Code umwandeln.

Zwar haben diverse Tools wie ChatGPT, Codex, der AI Classifier, aber auch Midjourney AI, DALL-E 2 und Co. derzeit noch viele Limitierungen und sogar Gefahrenpotentiale, derer sich die Nutzer:innen unbedingt bewusst sein sollten. Dabei ist ebenfalls nicht außer Acht zu lassen, dass OpenAI zur Optimierung von ChatGPT schlecht bezahlte Kräfte eines Subunternehmens, das Arbeiter:innen in Kenia, Indien und Uganda beschäftigt, eingesetzt und mit teils traumatischem Content konfrontiert hat. Trotzdem wird OpenAI in den kommenden Monaten und Jahren für viel Veränderung sorgen. Und die Digitallandschaft wird sich angesichts der rasanten KI-Entwicklungen maßgeblich verändern.

---

Erfahre mehr über die Auswirkungen von ChatGPT auf die Digitalbranche, wenn unsere Expert:innen beim Digital Bash – Marketing Automation im Panel darüber diskutieren, ob Texter:innen bald obsolet werden und welche Potentiale in KI-Tools stecken.