Meta Movie Gen für Videos und Audios – personalisierte KI-Medien erstellen

KI-Videos wie im Kino:

Runway Gen-3 Alpha geht an den Start

Meta Movie Gen: AI-Kreation für alle, doch kein Ersatz für Arbeit von Künstler:innen

Eines der großen Ziele von Metas neuer Movie Gen Suite ist, KI-Generierungs-Tools für möglichst alle zugänglich zu machen, um dieser Art der Content-Erstellung zu demokratisieren. Gleichzeitig dürfte der Konzern auf User-Bindung, Plattformoptimierung – sofern Movie Gen künftig in diese eingebunden wird – und Monetarisierungsoptionen schielen. Die neuen Möglichkeiten stellen die Content-Erstellung im Bereich Video und Audio auf einem neuen Level dar. Sie sollen laut Meta aber nicht die kreativen Eigenleistungen und Schöpfungen von Creatorn ersetzen, lediglich unterstützen:

[…] While there are many exciting use cases for these foundation models, it’s important to note that generative AI isn’t a replacement for the work of artists and animators. We’re sharing this research because we believe in the power of this technology to help people express themselves in new ways and to provide opportunities to people who might not otherwise have them. Our hope is that perhaps one day in the future, everyone will have the opportunity to bring their artistic visions to life and create high-definition videos and audio using Movie Gen.

Während Meta in einem ausführlichen Research Paper erklärt, wie die Tools auf technischer Basis funktionieren, demonstriert der offizielle Blog Post, was User mit den Lösungen machen können. Dazu gehört die Text-to-Image- und die Text-to-Video-Generierung. Bei letzterer können User dank eines 30B Parameter Transformers Videos von bis zu 16 Sekunden Länge mit 16 Frames pro Sekunde erstellen.

Du kannst diese Videos auch mithilfe von Text- oder sogar Videoeingaben bearbeiten, um den gewünschten Output zu erhalten und zu modifizieren. Und in Bezug auf die Personalisierung bietet die Model Foundation noch etwas Besonderes: Creator können sogar personalisierte Videos mit der Entsprechung ihrer Person erstellen. Dazu werden echte eigene Bilder hochgeladen und mit einem Text-Prompt kombiniert.

Solch eine Funktion dürfte vielen Creatorn potentiell Arbeit ersparen. Sie könnten damit Videos für ihre Channels, ob Reels oder TikToks, kreieren, die ihr eigenes Gesicht zeigen, aber keinen großen Filmaufwand erfordern.

Beitrag von @aiatmeta

Auf Threads ansehen

Auch eigene Audios können generiert werden

Neben der Videokreation bietet Movie Gen die Audiokreation an, die auf einem 13B Parameter Audio Generation Model basiert. Damit können User bis zu 45 Sekunden lange Audios erstellen. Von Hintergrundmusik bis zu Soundeffekten gibt es diverse Optionen. Mit einem weiteren neuen ergänzenden Feature lassen sich zudem zu erstellten Videos passende Audios generieren.

Metas Paper unterstreicht, dass diese neue Model Foundation in diversen Nutzungsszenarien besser abschneidet als andere aktuelle Tools, etwa Sora (im Videobereich) oder Pika Labs Sound (im Audiobereich).

Für die Creator-Ökonomie ist dieser Wettbewerb von Vorteil, da ihnen gleich mehrere nützliche Tools für die einfacher und schnelle Content-Erstellung geboten werden. Move Gen ist allerdings erst einmal nur vorgestellt worden, um die Möglichkeiten zu präsentieren, und noch nicht öffentlich verfügbar. Das gilt auch für die Text-to-Video-Option, die das Unternehmen Black Forest Labs, bekannt für den viral gegangenen KI-Bildgenerator FLUX.1 – und jetzt mit der neuen Version FLUX1.1 [pro] in petto –, plant. Daher setzen Creator aktuell vorerst auf andere Tools.

---

Adobes Firefly Video Model:

Filmreife Szenen, zum Leben erwachte Bilder und animierte Schriftzüge