OpenAI: Advanced Voice Mode auch für Free User und Realtime API

Erst vor Kurzem hat OpenAI endlich mit dem Roll-out des Advanced Voice Mode für Plus und Team User begonnen. Dieser Modus ermöglicht Usern, dass die Konversationen in Echtzeit auch Unterbrechungen enthalten können, ohne dass das Gespräch dann abbricht. Zum anderen soll die KI im Voice Mode bestimmte Emotionen von Sprecher:innen erkennen und darauf reagieren können – ähnlich wie Menschen auch. Jetzt wird der Modus auch für alle Enterprise, Edu und Team User weltweit ausgerollt. Und sogar einige Free User sollen die Chance erhalten, das Feature in der aktuellsten ChatGPT-App-Version zu testen, dem inzwischen Custom Instructions, die Memory-Funktion und fünf neuen Stimmen hinzugefügt wurden.

User in der EU müssen aber aufgrund von Datenschutzregularien weiter warten; immerhin weist OpenAI darauf hin, dass man Nutzer:innen in der EU ein Update mit Neuigkeiten vermitteln möchte.

To access Advanced Voice, remember to download the latest version of the ChatGPT app.

— OpenAI (@OpenAI) October 1, 2024

---

ChatGPT:

Advanced Voice Mode mit Emotionserkennung im Roll-out

---

News vom OpenAI Dev Day: Finetuning für GPT-4o und Co.

Neben dem jüngsten Update für ChatGPT hat das Unternehmen für die OpenAI Platform einige Neuheiten vorgestellt, die Entwickler:innen zugutekommen.

Today at DevDay SF, we’re launching a bunch of new capabilities to the OpenAI platform: pic.twitter.com/y4cqDGugju

— OpenAI Developers (@OpenAIDevs) October 1, 2024

Neu ist zum Beispiel die Realtime API, welche Speech-to-Speech-Funktionen – nicht unähnlich dem Advanced Voice Mode – für Developer ermöglicht. Ab jetzt können Audio-Inputs und -Outputs direkt integriert werden, um möglichst natürliche Konversationen in der eigenen KI-Erfahrung, etwa in einer App, zu schaffen.

🗣️ Introducing the Realtime API—build speech-to-speech experiences into your applications. Like ChatGPT’s Advanced Voice, but for your own app. Rolling out in beta for developers on paid tiers. https://t.co/LQBC33Y22U pic.twitter.com/udDhTodwKl

— OpenAI Developers (@OpenAIDevs) October 1, 2024

Dazu kommt das Prompt Caching, das die Kosten und Latenz für Developer senken soll, die ohnehin viele Kontexte mehrfach verwenden und neu integrieren. Außerdem wird eine Model Distillation eingeführt, die ebenfalls die Kosten senken kann. Denn damit können Entwickler:innen kleinere Modelle mit dem Output von größeren Modellen feinjustieren, etwa im Bereich Stored Completions. Das Finetuning spielt indes auch eine Rolle in der API. Denn OpenAI integriert Vision in die Finetuning API und ermöglicht so, dass neben Text auch Bilder zur granularen Abstimmung und Optimierung des Modells GPT-4o eingesetzt werden können.

🖼️ We’re adding support for vision fine-tuning. You can now fine-tune GPT-4o with images, in addition to text. Free training till October 31, up to 1M tokens a day. https://t.co/Nqi7DYYiNC pic.twitter.com/g8N68EIOTi

— OpenAI Developers (@OpenAIDevs) October 1, 2024

Darüber hinaus bietet OpenAI für Entwickler:innen neue Playground Features mit automatischer Erstellung von Prompts und Funktionsschemata für neue Prototypen sowie einen erweiterten Zugriff und veränderte Nutzungs-Limits für die o1-Bearbeitung in der API.

🪴 OpenAI o1 API—we’re expanding access to developers on usage tier 3 and increasing rate limits (to the same limits as GPT-4o) so your apps can be production-ready.

Tier 5
o1-preview: 10,000 requests per minute
o1-mini: 30,000 requests per minute

Tier 4
o1-preview and…

— OpenAI Developers (@OpenAIDevs) October 1, 2024

Während OpenAI also diverse Neuerungen für die Arbeit mit den eigenen KI-Modellen und Tools sowie deren Nutzung bereitstellt, setzt auch Microsoft – das eng mit OpenAI zusammenarbeitet – auf ein großes Update für die Allround AI Copilot.

---

Microsoft Copilot Update:

Voice und Vision wie bei ChatGPT