Meta: Neues KI-Modell Llama 3 soll besser sein als die Konkurrenz

Bereits Anfang April 2024 kamen Gerüchte darüber auf, dass Meta schon bald ein neues KI-Modell veröffentlichen wird. Auf dem eigenen Blog verkündete Meta nun kürzlich das neueste generative KI-Modell der Llama-Serie: Llama 3. Die Llama 3-Familie umfasst derzeit zwei Modelle, Llama 3 8B und Llama 3 70B, weitere sollen in naher Zukunft folgen. Im Juli 2023 launchte Meta die Vorgänger:innenversion, Llama 2, ein Large Language Model, das inzwischen in vielen Kontexten – von Metas eigenen Diensten über Opera AI bis hin zur AI Answering Machine Groq – eingesetzt wird.

Leistungsvorteil gegenüber vorherigen Modellen und der Konkurrenz

Die beiden neuen Modelle verfügen über acht Milliarden beziehungsweise 70 Milliarden Parameter und bieten damit eine deutlich erhöhte Leistungsfähigkeit im Vergleich zu den vorherigen Modellen aus der Llama 2-Serie. Laut Meta wurden die Modelle auf zwei speziell angefertigten GPU Clustern mit insgesamt 24.000 GPUs trainiert und gehören zu den leistungsstärksten generativen KI-Modellen, die derzeit verfügbar sind.

Im Zuge des Leistungsvergleichs mit anderen generativen KI-Modellen verweist Meta auf die Ergebnisse der Llama 3-Modelle bei KI-Benchmarks wie MMLU (Messung von Wissen), ARC (Messung des Erwerbs von Fähigkeiten) und DROP (Prüfung des Denkens eines Modells über Textabschnitte). Llama 3 8B hat dabei beispielsweise in neun verschiedenen Benchmarks andere führende Modelle übertroffen. Anwender:innen können mit Llama 3 von einer verbesserten Steuerbarkeit der Modelle, einer geringeren Wahrscheinlichkeit von Antwortverweigerungen und einer höheren Genauigkeit bei Fragen zu verschiedenen Fachbereichen profitieren.

Trainings-Methoden und -Daten

Besonders bemerkenswert ist die Größe des Trainings-Datensatzes. Llama 3 wurde mit einer Sammlung von 15 Billionen Token trainiert, was ungefähr 750 Milliarden Wörtern entspricht. Dies ist laut Meta siebenmal so groß wie der Datensatz, der für Llama 2 verwendet wurde. Zu genauen Details der Trainings-Daten hält sich Meta relativ bedeckt und gibt an, dass sowohl öffentlich zugängliche als auch synthetische Daten, das heißt KI-generierte Daten, genutzt wurden, um die neuen Modelle zu trainieren. Die umfangreichste Variante wurde mit Daten bis Dezember 2023 trainiert. Die kleinere Version mit Daten bis März 2023.

Viele Unternehmen im Bereich der generativen KI betrachten ihre Trainings-Daten als entscheidenden Wettbewerbsvorteil und geben deshalb nur ungern Einzelheiten preis. Diese Zurückhaltung ist auch durch die Sorge motiviert, dass detaillierte Informationen über Trainings-Daten rechtliche Auseinandersetzungen über geistiges Eigentum nach sich ziehen könnten. Große KI-Unternehmen, darunter auch OpenAI, geraten zunehmend in das Visier von Untersuchungen wegen der Verwendung urheber:innenrechtlich geschützter Inhalte ohne entsprechende Genehmigungen. Die kommerzielle Nutzung von Daten für KI-Trainingszwecke hat sich als lukratives Geschäftsfeld erwiesen. Ein aktuelles Beispiel hierfür ist Reddit, das vor seinem Börsengang eine Vereinbarung mit Google traf, laut der Inhalte der Reddit-Nutzer:innen für jährlich 60 Millionen US-Dollar an Google für KI-Trainings-Zwecke weitergegeben werden.

Meta setzt weiterhin auf offene Modelle

Auf dem eigenen Blog schreibt Meta, dass das Unternehmen auch weiterhin den offenen Ansatz verfolgt und Llama 3 als Open Source für Anwender:innen und Entwickler:innen zur Verfügung steht:

In support of our longstanding open approach, we’re putting Llama 3 in the hands of the community. We want to kickstart the next wave of innovation in AI across the stack — from applications to developer tools to evals to inference optimizations and more. We can’t wait to see what you build and look forward to your feedback.

Die Llama 3-Modelle stehen jetzt zum Download zur Verfügung stehen und treiben Metas KI-Assistenz auf Facebook, Instagram, WhatsApp, Messenger und im Web an. Bald sollen sie auch auf einer Vielzahl von Cloud-Plattformen gehostet werden, darunter AWS, Google Cloud, und Hugging Face. Das KI-Modell kann auch für verschiedene Dienste als Basis genutzt werden, wie beispielsweise bei der AI Answering Machine von Perplexity.