Fortschrittlich oder pseudowissenschaftlich: Meta launcht KI-Forschungstool Galactica

Zuletzt hatten wir darüber berichtet, dass Meta an einem universellen Übersetzungs-Tool arbeitet. Das KI-Modell soll direkt 200 Sprachen übersetzen können – und als Open Source verfügbar sein. Doch Übersetzungen sind nicht das einzige Gebiet, das das Unternehmen mithilfe von KI revolutionieren möchte.

Kürzlich veröffentlichte Meta das Galactica-Sprachmodell, welches bei der Erstellung wissenschaftlicher Arbeiten unterstützen kann. Mithilfe dieses KI-gestützten Tools können Anwender:innen beispielsweise akademische Literatur zusammenfassen, mathematische Probleme lösen, Wikipedia-Artikel erstellen und dergleichen – und zwar einfach über simple Texteingabeaufforderungen. Die primäre Zielgruppe sind Meta zufolge Wissenschaftler:innen und Studierende. Aktuell ist die Demo jedoch offline.

Das Open-Source-Sprachmodell basiert auf wissenschaftlichen Erkenntnissen mit bis zu 120 Milliarden Parametern

Auf der Website Galacticas ist erklärt:

Galactica models are trained on a large corpus comprising more than 360 millions in-context citations and over 50 millions of unique references normalized across a diverse set of sources. This enables Galactica to suggest citations and help discover related papers.

Galactica AI ist der offizielle Name des Tools, das es bereits in fünf Größen zwischen 120 Millionen und 120 Milliarden Parametern gibt. Es ist offenbar Open Source, wobei es hier noch Ungereimtheiten gibt, auf die weiter unten in diesem Artikel eingegangen wird. Das Modell soll in Aufgaben in den MINT-Fächern (englisch „STEM“, also Mathematik, Informatik, Naturwissenschaften und Technik-/ Ingenieurswissenschaften) besonders gut abschneiden.

So kannst du Galactica nutzen (aktuell ist die Demoversion jedoch offline)

Wie im Screenshot zu sehen ist, kannst du auf der Galactica-Demoseite (sofern sie wieder online kommt), ein beliebiges Thema auswählen. Anschließend erstellt das System für dich – basierend auf deinen Eingabeaufforderungen – einen Artikel, eine Definition, eine Erläuterung oder dergleichen. Mit einem Klick auf „Mehr generieren“ werden deinem Dokument mehr Inhalte beigefügt.

Jedoch sind der Schreibstil und die Qualität des Textes noch ausbaufähig. Daher eignen sich die durch Galactica generierten Abhandlungen nur als Basis für Artikel oder Arbeiten, die veröffentlicht oder im Rahmen eines Studiums abgegeben werden sollen. Doch im Kontext von Forschungsarbeiten kann das KI-System Galactica durchaus eine sinnvolle Unterstützung sein, um eine vollständige Erhebung – inklusive Referenzen oder Formeln – zu erarbeiten.

Obacht bei der Erstellung wissenschaftlicher Texte mithilfe von Galactica

Meta ist sich bewusst, dass Schüler:innen und Student:innen Galactica nutzen könnten, um schriftliche Prüfungen statt selbst mithilfe der KI – und somit ohne großen Aufwand – zu absolvieren. Daher fügt Meta eine Reihe von Warnungen wie diese der Erläuterung von Galactica im Rahmen der Demoversion bei:

Some of Galactica’s generated text may appear very authentic and highly-confident, but might be subtly wrong in important ways. This is particularly the case for highly technical content.

Der Chef-KI-Wissenschaftler Metas, Yann LeCunn, erklärte diesen Umstand ähnlich:

This tool is to paper writing as driving assistance is to driving. It won’t write papers automatically for you, but it will greatly reduce your cognitive load while you write them.

Anwender:innen sollten also beachten, dass Galactica zwar fundierte wissenschaftliche Texte auf Basis der Eingabeaufforderungen erstellen kann; die Überprüfung auf Qualitätskriterien wie Logik, Verständlichkeit oder auch Objektivität liegt jedoch bei dem:r Anwender:in. Hinzu kommt, dass der Sprachstil und der Satzbau der maschinell erstellten Texte durch Metas KI-System zum aktuellen Stand qualitativ unzureichend ist – und Leser:innen oder Prüfer:innen wahrscheinlich bemerken würden, dass der Text auf Basis eines solchen Systems erstellt wurde.

Wer Galactica nutzt, tritt möglicherweise Content-Rechte ab

Eine zweite Sache, die Nutzer:innen beachten sollten ist die Sache mit Open Source. Denn bei der Durchsicht der Terms of Use auf der Galactica Website wird schnell klar: Anwender:innen des KI-gestützten Forschungstools gewähren den Unternehmen Papers with Code und Meta möglicherweise die Rechte, sämtlichen User Content zu sichten, zu prüfen und eventuell zu verwerten. Auch in den Nutzungsbedingungen werden die Begriffe kommerziell und nicht kommerziell nicht klar abgegrenzt. Während die Website nur für nicht-kommerzielle Nutzung und zur Information diene, fallen die dort präsentierten Galactica-Materialien unter die Lizenz „Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)“, was auch für die Materialien gelte, die für kommerzielle Nutzung gedacht seien („including for commercial purposes“). Daher scheint es ratsam zu sein, zunächst die eigenen Verwendungszwecke abzuklären, ehe man die API nutzt.

Wissenschaflter:innen üben Kritik an Galactica aus

Bei Twitter melden sich Wissenschaftler:innen zu Wort und üben harsche Kritik an Metas KI-Sprachmodell aus. Der Kern dieser lautet: Wie alle großen Sprachmodelle kann Galactica auf überzeugende Art und Weise falsche Informationen generieren. Diese können grob falsch sein oder nur subtil abweichen, etwa durch ein falsches Datum oder eine falsche Referenz. Michael Black, Direktor am Max-Planck-Institut für Intelligente Systeme, erklärte nach eigenen Tests, dass Galactica ein interessantes Forschungsprojekt, aber für wissenschaftliches Arbeiten nicht brauchbar und noch dazu gefährlich sei. Er schreibt in einem seiner Kommentare unter seinem Tweet:

Why dangerous? Galactica generates text that’s grammatical and feels real. This text will slip into real scientific submissions. It will be realistic but wrong or biased. It will be hard to detect. It will influence how people think.

Die Sprachforscherin Emily Bender von der Universität Washington bezeichnet die Veröffentlichung von Galactica sogar als Müll und Pseudo-Wissenschaft bei Twitter.