Dein wichtigster Touchpoint zur Digitalbranche.
Dein wichtigster Touchpoint zur Digitalbranche.
Technologie
Spotify meets OpenAI: KI-Stimmenklone für Podcast-Übersetzung

Spotify meets OpenAI: KI-Stimmenklone für Podcast-Übersetzung

Niklas Lewanczik | 25.09.23

OpenAI kooperiert mit Spotify, um Podcastern die Übersetzung von Episoden für andere Märkte zu erlauben. Dabei bleibt die Stimme der Hosts die Grundlage und wird mit KI dank Voice Translation samt Charakteristika übersetzt.

OpenAI prägt mit ChatGPT, GPT-4 und Tools wie DALL-E 3 die Digitallandschaft. Jetzt liefert das KI-Unternehmen auf Grundlage des Modells Whisper Support für die Optimierung und Skalierung im Podcast-Markt. Der Streaming-Dienst Spotify hat das neue Feature Voice Translation vorgestellt, das in Kooperation mit OpenAI entstanden ist. Dieses ermöglicht die Übersetzung von Podcast-Folgen in andere Sprachen, in der Stimme der Podcast Hosts, die dafür keine andere Sprachen sprechen müssen.

Das hat Voice Translation zu bieten: Charakteristika der Sprecher:innen sollen erhalten bleiben

Das Klonen von Stimmen via Gen AI für die Podcast-Kreation ist auch mit einer Reihe anderer Tools schon länger möglich. Das funktioniert etwa beim Videoerstellungs-Tool QuickVid, mithilfe der (auch beim genannten Tool genutzten) Text-to-Speech API der Google Cloud oder mit Microsofts Stimmen-KI VALL-E. Stimmen quasi klonen kann auch ElevenLabs. Darauf deuten die KI-Experten Jens Polomski und Matt Navarra hin.

Spotify bietet ersten ausgewählten Podcastern jetzt allerdings ein hochfunktionales Tool, das auch spezifische Sprechgewohnheiten der Personen bei der Übersetzung berücksichtigen soll. Diese Podcaster können das Tool nutzen, um zunächst englischsprachige Episoden in andere Sprachen und damit für andere Märkte zu übersetzen. So kann eine Folge direkt auch auf Deutsch, Französisch oder Spanisch erscheinen. Das würde die Zahl der potentiellen Hörer:innen unmittelbar deutlich erhöhen – und damit den Podcastern und Spotify zum Vorteil gereichen. Erste übersetzte Folgen der Podcasts von Dax Shepard, Monica Padman, Lex Fridman, Bill Simmons und Steven Bartlet wurden bereits erstellt. Ziad Sultan, VP of Personalization bei Spotify, erklärt zum Produkt:

By matching the creator’s own voice, Voice Translation gives listeners around the world the power to discover and be inspired by new podcasters in a more authentic way than ever before. We believe that a thoughtful approach to AI can help build deeper connections between listeners and creators, a key component of Spotify’s mission to unlock the potential of human creativity.

Erste Folgen aus der Spotify Voice Translation sind schon hörbar

Du kannst dir auf Spotify bereits erste übersetzte Folgen anhören, auf Deutsch, Französisch und Spanisch. Dazu gehören die folgenden Episoden:

  1. Lex Fridman Podcast – „Interview with Yuval Noah Harari“
  2. Armchair Expert – „Kristen Bell, by the grace of god, returns“
  3. The Diary of a CEO with Steven Bartlett – „Interview with Dr. Mindy Pelz“
So kann die Anzeige für KI-übersetzte Podcasts auf Spotify aussehen, © Spotify, Smartphone Mockups mit Podcast-Folgen von Spotify, Spotify-Logo
So kann die Anzeige für KI-übersetzte Podcasts auf Spotify aussehen, © Spotify

Spotify rollt diese KI-gestützten Übersetzungen ab jetzt aus und wird in den nächsten Wochen und Monaten weitere Folgen im Voice Translation Hub hinzufügen. Damit unterstützt der Streaming-Dienst Podcaster weltweit beim Storytelling. Immerhin nimmt die Zahl der Podcast-Hörer:innen stetig zu und hinsichtlich der kreativen Gestaltung bieten Dienste wie Spotify, YouTube und Co. immer mehr Möglichkeiten für Creator. Dazu gehören auch die Video-Podcasts und persönlichere Darstellungen der Angebote für Interessierte.

Wann noch mehr Podcaster auf das Voice Translation Tool zugreifen können, ist bisher nicht klar. Möglicherweise haben OpenAI und Spotify noch Bedenken, dass eine solche Technologie auch zu unlauteren Zwecken eingesetzt werden könnte. Sie zeigt allerdings bereits auf, wie effizient generative KI Content Creatorn derzeit bereits Hilfestellung zu leisten imstande ist.

Schon im Frühjahr arbeiteten die beiden Unternehmen zusammen, um einen KI-gestützten Guide zu launchen, der Spotify-Nutzer:innen dabei unterstützt, Musik und Podcasts nach ihrem Geschmack (neu) zu entdecken. Die generative KI kennt den Musikgeschmack aller User und scannt Neuerscheinungen, aber auch alte Playlists, um Vorschläge zu machen.


Großes Spotify Update:

Podcaster können ihre Show-Seite jetzt personalisieren

© Sara Kurfeß, Unsplash, Spotify-Logo auf Smartphone, weißer Hintergrund
© Sara Kurfeß, Unsplash

Kommentare aus der Community

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*
*