Dein wichtigster Touchpoint zur Digitalbranche.
Dein wichtigster Touchpoint zur Digitalbranche.
Technologie
KI-Videos wie im Kino: Runway Gen-3 Alpha geht an den Start
Ein Videoausschnitt von Gen-3 Alpha zeigt eine Frau mit Reflektionen von Lichtern im Gesicht, © Runway via Canva

KI-Videos wie im Kino: Runway Gen-3 Alpha geht an den Start

Niklas Lewanczik | 18.06.24

Runways Text-to-Video-Tool mit Gen AI Support baut auf Unterstützung von Entertainment-Organisationen und Künstler:innen und bietet mehr Kontrolle über Bewegungen und Effekte. Auch die Sicherheit des Tools wurde optimiert – und es soll bald für alle verfügbar sein.

Auf den Launch dieser Tool-Version haben viele gewartet: Das Tech-Unternehmen Runway hat endlich die Gen-3-Version des eigenen KI-Videokreations-Tools in die Alphaphase gebracht. Auf X wurden passend dazu bereits erste hochwertige Videokreationen gezeigt. Im Blog Post gibt das Unternehmen an, Runway Gen-3 sei ein großer Schritt nach vorn und basiere auf einer neuen Infrastruktur, die multimodales Training im großen Ausmaß ermöglicht. Das kann dann zu filmreifen Videos führen. Mit diesen möchte Runway im Wettbewerb mit OpenAIs Sora und dem kürzlich gelaunchten Tool Dream Machine von Luma AI oder auch Kling AI aus China mithalten.

Das Tool erhält eine Reihe diverser Funktions-Updates und kann zum Beispiel einzelne Bildbereiche gesondert zum Leben erwecken. Auch die Sicherheitsstandards setzt Runway in den Fokus, ebenso wie die Kooperation mit Filmemacher:innen. Für viele dürften besonders die allgemeine Verfügbarkeit und die personalisierten Versionen von Interesse sein.

OpenAI Sora:

Erste Creator-Videos und ihre Vorteile für das Business

© OpenAI, Sora AI Video Mann mit Helm und im Raumanzug vor weißer Landschaft
© OpenAI

Das alles kann die Nachfolgeversion von Runway Gen-2: Mehr Kontrolle für Creator

Im September 2023 launchte Runway mit Gen-2 bereits eine Tool-Version, die für Aufsehen sorgte. Denn das Text-to-Video-Tool warb damit, User kreieren lassen zu können, was diese sich vorstellen. Gen-2 konnte erstmals ohne Bildreferenz und nur basierend auf Text-Prompts Videos erstellen. Doch derlei Optionen bieten inzwischen viele Tools, weshalb es eine Weiterentwicklung brauchte. Gen-3 wurde für die Alphaversion mit äußerst deskriptiven Captions trainiert, die viele Abläufe anzeigen und diverse Übergänge im Video sowie das Hervorheben einzelner Elemente erlauben. Dafür wurden Videos und Bilder als Grundlage für das Training verwendet. Und als Trainingspat:innen haben sowohl Software-Ingenieur:innen als auch Künstler:innen und Research-Forscher:innen fungiert.

Im Ergebnis kann Gen-3 beispielsweise menschliche Emotionen und Gesten abbilden, wobei auch realistische Bildkomponenten wie Beleuchtung durch einen TV-Bildschirm integriert werden können.

Der Prompt zum Video lautet: „A cinematic wide portrait of a man with his face lit by the glow of a TV“, © Runway

In der neuesten Version des KI-Video-Tools können User auf verschiedene Kontrollmechanismen zurückgreifen. Dazu zählen der Director Mode, Advanced Camera Controls und Motion Brush. Mit letzterem Feature können Creator einzelne Bildelemente unabhängig voneinander bewegen. Die Funktion wurde zu Beginn des Jahres ausgerollt.

Diese Funktionen zur differenzierten Videoerstellung zeigen, wie weit die KI-Video-Tools schon gekommen sind und welche Möglichkeiten sich für User dadurch eröffnen.

Mehr Sicherheit und Verfügbarkeit

Besonders erfreulich für Interessierte ist die Aussage von Runway, dass die Alphaversion von Gen-3 in den kommenden Tagen für alle zur Verfügung gestellt werden soll. Mit der allgemeinen Verfügbarkeit stellt sich Runway auf eine Stufe mit Dream Machine von Luma AI; OpenAI Tool Sora, das mit ersten hochqualitativen Videos, die öffentlich geteilt wurden, für Aufsehen sorgte, ist hingegen noch nicht frei zugänglich.

Darüber hinaus werden noch personalisierte Varianten des Tools angeboten, die in Kooperation mit Medien- und Entertainment-Unternehmen erarbeitet wurden. Wer sich dafür interessiert, kann sich bei Runway für Informationen anmelden. Das Unternehmen erklärt zu den Custom-Modellen:

Customization of Gen-3 models allows for more stylistically controlled and consistent characters, and targets specific artistic and narrative requirements, among other features. This means that the characters, backgrounds, and elements generated can maintain a coherent appearance and behavior across various scenes.

Wer auf die neue Version von Runways Tool setzt, kann sich über neue Sicherheitsvorkehrungen freuen. Zum einen werden inhouse Moderationssysteme für die Videos eingesetzt. Zum anderen hat sich das Unternehmen den Standards der Coalition for Content Provenance and Authenticity (C2PA) verschrieben, wie auch TikTok, LinkedIn, Adobe und Co.

Woher aber die Trainingsdaten kommen und ob die Videos möglicherweise auf Content basieren, der frei verfügbar, aber nicht für ein solches Training gedacht war, ist unklar. Auch die kooperierenden Künstler:innen und Medienunternehmen sind nicht namentlich aufgeführt. Und so bleibt für User der Wermutstropfen, dass ein so nützliches Kreations-Tool einen Transparenzmangel aufweist. Dieser könnte auf einer Ausbeutung der Creator Economy basieren, um diese marketing- und umsatzwirksam zu fördern. Das wäre im verschärften Gen AI-Wettbewerb allerdings kein Novum.

Bei den Text-to-Video-Tools zeigt sich jedenfalls eine immense Weiterentwicklung und das Ringen um die Gunst der User – und Business User – geht weiter. Der KI-Experte Jens Polomski schreibt dazu auf LinkedIn:

[…] The Race is on! 🚀Was in den letzten Monaten Bild, Text und Audio war, zieht nun wohl auch beim Thema Video ein. Plötzlich wird die Qualität bei mehreren Anbietern bessern und wir kommen von „komisches Bewegtbild“ zu immer realistischeren Videos mit zunehmender Kontrolle […].

Mehr Optionen für deine KI-basierte Videokreation hast du derzeit allemal. Wie das Training für diese vonstattengeht, steht auf einem anderen Blatt.

KI-Videos von Dream Machine:

Sora-Konkurrenz für alle verfügbar

© Luma AI, Screenshot der Website von Luma AI Dream Machine., vier Screens mit Bildern, schwarzer Hintergrund
© Luma AI

Kommentare aus der Community

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*
Aktuelle Whitepaper
Der TikTok Taktgeber WHITEPAPER:
Der TikTok Taktgeber
So findest du die richtige Lohnabrechnungs-Software WHITEPAPER:
So findest du die richtige Lohnabrechnungs-Software
Leitfaden zur Verbesserung der Unternehmenseffizienz WHITEPAPER:
Leitfaden zur Verbesserung der Unternehmenseffizienz
Intelligente Shopsuche WHITEPAPER:
Intelligente Shopsuche

Über 30.000 Subscriber können nicht irren. Melde dich jetzt zu unserem NEWSLETTER an: