Compass Investments

– OpenAI hat Sprachmodelle vorgestellt, die in Echtzeit denken, übersetzen und transkribieren können.

OpenAI hat drei Echtzeit-Sprachmodelle in seine API aufgenommen. Die Sprachmodelle unterstützen Eingaben in 70 Sprachen und verwenden GPT-Realtime-Whisper für die sofortige Transkription.

Translate und Whisper werden pro Minute abgerechnet, während GPT-Realtime-2 tokenisiert ist.

Am Mittwoch kündigte OpenAI eine neue Generation von Sprachmodellen in seiner API an, die Entwicklern die Werkzeuge an die Hand gibt, um Anwendungen zu erstellen, die Sprachanfragen logisch verarbeiten, in 70 Adverbien übersetzen und Sprache in Text umwandeln können, während sie geschieht.

Die drei Modelle heißen GPT-Realtime-2, GPT-Realtime-Translate und GPT-Realtime-Whisper. Sie gehen über den einfachen Austausch von Fragen und Antworten hinaus und ermöglichen es dem KI-Assistenten, dem Dialog zuzuhören, zu denken und zu handeln.

GPT-Realtime-2 ist eine fortgeschrittene Entwicklung. OpenAI behauptet, dass es Argumentationsfähigkeiten auf GPT-5-Niveau bietet, was einen deutlichen Fortschritt gegenüber seinem Vorgänger, GPT-Realtime-1.5, darstellt.

Dieses Modell erzielte 15,2 % mehr Punkte bei Big Bench Audio, einem Audio-Intelligenz-Benchmark, und 13,8 % mehr bei Audio MultiChallenge, einem Test, bei dem das Befolgen von Anweisungen in einem längeren Dialog geprüft wird.

Praktische Verbesserungen richten sich an die Entwickler von Sprachagenten. Das Modell verfügt jetzt über ein 128 KB großes Kontextfenster, das Vierfache der vorherigen 32 KB-Grenze, und bietet fünf Stufen anpassbarer Argumentationskomplexität, von “minimal” bis “maximal”.

Es kann mehrere Tools auf einmal initiieren, Fehler über eine Sprachbestätigung behandeln und kurze, zusammenhängende Sätze wie “Lassen Sie mich nachsehen” liefern, während eine Anfrage bearbeitet wird.

GPT-Realtime-Translate bietet Echtzeitübersetzung von gesprochener Sprache. Es akzeptiert über 70 Eingabeadverbien und gibt das Ergebnis in 13 aus, um mit der Geschwindigkeit des Sprechers Schritt zu halten.

GPT-Realtime-Whisper bietet Speech-to-Text (STT) Streaming und wandelt das Gesprochene sofort um, ohne auf das Ende eines Satzes zu warten.

Eine Reihe von Unternehmen hat bereits einen frühen Zugang erhalten. Zillow entwickelt einen Sprachassistenten, der in der Lage ist, komplexe Immobilienanfragen zu bearbeiten, Anrufe mit Suchfunktionen zu verwalten und die Standards für fairen Wohnraum einzuhalten.

Das Unternehmen meldete eine Steigerung der Anruferfolgsrate um 26 Prozentpunkte beim schwierigsten Benchmark-Test nach der operativen Verfeinerung mit GPT-Realtime-2 und erreichte 95 Prozent gegenüber den vorherigen 69 Prozent.

Die Deutsche Telekom testet die Sofortübersetzung für ihren Helpdesk, die es Anrufern ermöglicht, in ihrer bevorzugten Sprache zu sprechen, während das Modell den Informationsaustausch von beiden Seiten übernimmt.

Priceline erwägt die Entwicklung eines Sprachassistenten für Reisende, der die Suche nach Flugtickets, Hotelbuchungen und sofortige Übersetzungsanfragen in einem einzigen Gespräch erledigen kann. Diese Modelle zielen auf Unternehmen ab, die ihren Kundenservice verbessern wollen, aber ihr Potenzial wird auch in den Bereichen Lernen, Medien, Veranstaltungen und Content-Authoring-Plattformen angepriesen.

OpenAI hat nach eigenen Angaben einen Mechanismus zur Inhaltsmoderation in die neuen Modelle implementiert: Auslöser können den Dialog unterbrechen, wenn Verstöße gegen Richtlinien für bösartige Inhalte festgestellt werden. Das Unternehmen bezeichnete diese Maßnahmen als einen Schutz gegen Spam, Täuschung und andere Formen des Missbrauchs.

Was die Preisgestaltung angeht, so werden die Modelle Translate und Whisper stundenweise abgerechnet. GPT-Realtime-2 wird pro verwendetem Token abgerechnet. Alle drei Modelle sind über die Realtime-API von OpenAI verfügbar, auf die über WebRTC-, WebSocket- und SIP-Verbindungen zugegriffen werden kann.