[AINews] GPT-Realtime-2, -Translate, and -Whisper: new SOTA realtime voice APIs

[AINews] GPT-Realtime-2, -Translate, and -Whisper: new SOTA realtime voice APIs

[AINews] GPT-Realtime-2, -Translate и -Whisper: новые SOTA realtime голосовые API

OpenAI continues deploying GPT-5 everywhere

OpenAI продолжает разворачивать GPT-5 повсюду

OpenAI launched realtime-1.5 3 months ago, but it was a relative drop in the bucket because it was still 4o based intelligence (a +5% bump in Big Bench Audio). You could tell the sheer confidence in today’s realtime-2 release (with a +15.2% bump in BBA), and it was appropriately well received:

OpenAI запустила realtime-1.5 3 месяца назад, но это была капля в море, потому что интеллект всё ещё базировался на 4o (всего +5% в Big Bench Audio). По сегодняшнему релизу realtime-2 (с приростом +15.2% в BBA) чувствовалась явная уверенность, и он был тепло принят:

As the blogpost explains, 3 models are being released, which one might simplify to “voice-in, voice-out, and voice-to-voice”:

Как объясняет блогпост, выпущены 3 модели, которые можно упростить до «голос-вход, голос-выход и голос-в-голос»:

The focus is less about “voice quality”, and more on usability. TLDR:

Фокус не столько на «качестве голоса», сколько на удобстве использования. TLDR:

Преамбулы: разработчики могут включать короткие фразы перед основным ответом, например «дай мне проверить» или «минутку, я посмотрю». Параллельные вызовы инструментов и прозрачность инструментов: модель может вызывать несколько инструментов одновременно и озвучивать эти действия фразами вроде «проверяю ваш календарь» или «ищу это сейчас», помогая агентам оставаться отзывчивыми при выполнении задач. Более устойчивое восстановление: модель может изящнее восстанавливаться, говоря, например, «у меня сейчас возникли трудности с этим», вместо того чтобы падать или ломаться. Более длинный контекст: 32K → 128K. Лучшее понимание предметных областей: модель лучше удерживает специализированную терминологию, имена собственные, медицинские термины и другую лексику. Более управляемые тон и подача: модель лучше подстраивает тон — говорит спокойно, эмпатично или бодро, в зависимости от контекста. Настраиваемое усилие рассуждений: разработчики теперь могут выбирать из уровней minimal, low, medium, high и xhigh, с low по умолчанию.

The Demo video showed off how the audio model is better tuned when the main speaker is speaking to someone else, so it stops interrupting so much:

Демо-видео показало, как аудиомодель лучше настроена для случая, когда основной говорящий обращается к кому-то другому — она перестаёт так часто перебивать:

AI News for 5/6/2026-5/7/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

AI News за 5/6/2026-5/7/2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и больше никаких Discord-серверов. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, AINews теперь раздел Latent Space. Вы можете подписаться/отписаться от частоты email-рассылок!

AI Twitter Recap

AI Twitter Recap

Top Story: GPT-Realtime-2 and OpenAI voice AI commentary

Главная история: GPT-Realtime-2 и комментарии по голосовому AI от OpenAI

What happened

Что произошло

OpenAI launched three new streaming audio models in the Realtime API: GPT-Realtime-2, GPT-Realtime-Translate, and GPT-Realtime-Whisper. OpenAI positioned GPT-Realtime-2 as its “most intelligent voice model yet,” bringing “GPT-5-class reasoning” to real-time voice agents that can listen, reason, handle interruptions, use tools, and sustain longer conversations as they unfold @OpenAI. The companion models target live speech translation and transcription: GPT-Realtime-Translate supports streaming translation from 70+ input languages into 13 output languages, while GPT-Realtime-Whisper streams transcription/captions as speech is produced @OpenAI, @OpenAIDevs. OpenAI said the models are available in the Realtime API now, while ChatGPT voice upgrades are still pending: “Stay tuned, we’re cooking” @OpenAI. Sam Altman framed the launch around a behavioral shift: users increasingly use voice with AI when they need to “dump” lots of context, and OpenAI is also working on improvements to ChatGPT voice @sama.

OpenAI выпустила три новые потоковые аудиомодели в Realtime API: GPT-Realtime-2, GPT-Realtime-Translate и GPT-Realtime-Whisper. OpenAI позиционировала GPT-Realtime-2 как свою «самую интеллектуальную голосовую модель на сегодня», привнося «рассуждения уровня GPT-5» в голосовых агентов реального времени, которые могут слушать, рассуждать, обрабатывать прерывания, использовать инструменты и поддерживать более длинные разговоры по ходу их развития @OpenAI. Сопутствующие модели ориентированы на живой перевод речи и транскрипцию: GPT-Realtime-Translate поддерживает потоковый перевод с 70+ входных языков на 13 выходных, а GPT-Realtime-Whisper транслирует транскрипцию/субтитры по мере произнесения речи @OpenAI, @OpenAIDevs. OpenAI заявила, что модели уже доступны в Realtime API, тогда как обновления голоса в ChatGPT всё ещё в работе: «Следите за обновлениями, мы готовим» @OpenAI. Sam Altman представил запуск как поведенческий сдвиг: пользователи всё чаще используют голос с AI, когда им нужно «вывалить» много контекста, и OpenAI также работает над улучшениями голоса в ChatGPT @sama.

Facts vs. opinions

Факты vs. мнения

Factual / directly claimed by OpenAI and evaluators

Фактическое / прямо заявленное OpenAI и оценщиками

Линейка моделей: GPT-Realtime-2, GPT-Realtime-Translate, GPT-Realtime-Whisper доступны в Realtime API уже сегодня @OpenAIDevs. Возможности GPT-Realtime-2: ориентированная на рассуждения нативная speech-to-speech модель для продакшн-голосовых агентов; поддерживает использование инструментов/действий, восстановление после прерываний, более длинные разговоры и «рассуждения уровня GPT-5» по формулировке OpenAI @OpenAI, @reach_vb. Окно контекста: комментарии сообщества/разработчиков OpenAI сообщили о 128K контекста для голосовых агентов GPT-Realtime-2 @reach_vb; Artificial Analysis независимо сообщила, что окно контекста увеличилось с 32K до 128K, с 32K максимальных выходных токенов @ArtificialAnlys. Перевод: GPT-Realtime-Translate поддерживает живой перевод речи с 70+ входных языков на 13 выходных языков @OpenAI, @reach_vb. Транскрипция: GPT-Realtime-Whisper обеспечивает потоковую транскрипцию с низкой задержкой в Realtime API для субтитров, заметок и непрерывного понимания речи @OpenAIDevs. Промптинг/управление: OpenAI опубликовала руководство по голосовому промптингу, охватывающее усилие рассуждений, преамбулы, поведение инструментов, обработку неясного аудио, точный захват сущностей и поддержание состояния в долгих сессиях @OpenAIDevs. Независимые бенчмарки: Scale AI сообщила, что GPT-Realtime-2 заняла первое место в её лидерборде Audio MultiChallenge S2S, при этом удержание инструкций выросло с 36.7% до 70.8% APR по сравнению с GPT-Realtime-1.5, а также показала сильные результаты в редактировании голоса/восстановлении в реальном времени @ScaleAILabs. Независимые бенчмарки: Artificial Analysis сообщила о 96.6% на Big Bench Audio speech-to-speech reasoning, 96.1% на её бенчмарке Conversational Dynamics, среднем времени до первого аудио 2.33с при high reasoning и 1.12с при minimal reasoning, и неизменной цене за аудио $1.15/час на входе и $4.61/час на выходе @ArtificialAnlys, @ArtificialAnlys. Управление усилием рассуждений: Artificial Analysis сообщила о настраиваемых уровнях рассуждений: minimal, low, medium, high, xhigh, с low по умолчанию @ArtificialAnlys. Корпоративные/продуктовые оценки: Glean сообщил, что GPT-Realtime-2 обеспечила относительный прирост полезности на 42.9% по сравнению с предыдущей версией во внутренних оценках для организационных голосовых взаимодействий в реальном времени @glean. Genspark сообщил, что его Call for Me Agent перешёл на GPT-Realtime-2 и показал +26% эффективных разговоров и меньше сорванных звонков @genspark_ai.

Opinions / interpretation / commentary

Мнения / интерпретация / комментарии

Сторонники описывали запуск как «большой шаг вперёд» для голосовых агентов @sama, «полную победу realtime» @reach_vb и первую speech-to-speech модель, достаточно хорошую для «реальной работы» в сложных голосовых агентах @kwindla. Более осторожный взгляд: Simon Willison отметил, что анонс не означает, что сам ChatGPT Voice Mode уже обновлён; обновление ChatGPT, «похоже», скоро придёт @simonw, @simonw. Скепсис к интерфейсу: Will Depue сравнил аудио с VR — часто захватывающе, но исторически не залипает как интерфейс — одновременно утверждая, что использование инструментов в реальном времени, рассуждения во время речи и живой перевод — это те возможности, которые могут наконец заставить аудиоинтерфейсы взлететь @willdepue. Более широкий UX-оптимизм: несколько комментаторов представили голос как более естественный и эффективный по ширине канала для людей @BorisMPower, путь к Jarvis-подобным всегда доступным компьютерным агентам @willdepue, или в конечном счёте вытесненный ещё более широкополосными BCI @iScienceLuvr. Конкурентный контекст: Elon Musk продвигал Grok Voice для поддержки клиентов @elonmusk, подчёркивая, что автоматизация голосовой поддержки/обслуживания клиентов в реальном времени теперь является конкурентной поверхностью среди лабораторий.

Technical details and benchmark data

Технические детали и данные бенчмарков

GPT-Realtime-2

GPT-Realtime-2

Нативная speech-to-speech / голосовая модель реального времени, выпущенная через Realtime API OpenAI @OpenAI. Представлена как «рассуждения уровня GPT-5» для голосовых агентов @OpenAI. Разработана для агентов, которые могут: рассуждать в середине разговора, использовать инструменты/выполнять действия, обрабатывать прерывания, восстанавливаться, когда пользователи пересматривают или корректируют речь, поддерживать более длинные сессии с расширенным контекстом @OpenAI, @reach_vb. Заявленный контекст: 128K токенов, увеличен с 32K @ArtificialAnlys. Заявленный максимум вывода: 32K токенов @ArtificialAnlys. Входы, по данным Artificial Analysis: текст, аудио и изображение @ArtificialAnlys. Уровни усилия рассуждений: minimal, low, medium, high, xhigh; по умолчанию low @ArtificialAnlys. Время до первого аудио: 1.12с при minimal reasoning, 2.33с при high reasoning @ArtificialAnlys. Цена: $1.15/час за аудио на входе, $4.61/час за аудио на выходе, без изменений по сравнению с предыдущей моделью по данным Artificial Analysis @ArtificialAnlys. Разговорные возможности: поддерживает короткие преамбулы перед основными ответами — например, «дай мне проверить» — и слышимую прозрачность во время вызовов инструментов — например, «проверяю ваш календарь» @ArtificialAnlys.

Benchmarks

Бенчмарки

Scale AI Audio MultiChallenge S2S: GPT-Realtime-2 заняла #1; удержание инструкций улучшилось с 36.7% до 70.8% APR по сравнению с GPT-Realtime-1.5; сильное редактирование голоса, когда пользователи корректируют/пересматривают речь в реальном времени @ScaleAILabs. Artificial Analysis Big Bench Audio: high-вариант GPT-Realtime-2 набрал 96.6%, что, по сообщениям, равно Gemini 3.1 Flash Live Preview High и примерно ~13% выше предыдущего лучшего результата @ArtificialAnlys. Justin Uberti отдельно резюмировал улучшение как 15 процентных пунктов против GPT-Realtime-1.5 на Big Bench Audio, близко к насыщению @juberti. Conversational Dynamics / подмножество Full Duplex Bench: minimal-вариант GPT-Realtime-2 набрал 96.1%, с сильными сторонами в обработке пауз и смене реплик @ArtificialAnlys.

GPT-Realtime-Translate

GPT-Realtime-Translate

Живой потоковый перевод речи с 70+ входных языков на 13 выходных языков @OpenAI. Сооснователь OpenAI Greg Brockman сказал, что перевод голос-в-голос в реальном времени был ожидаемым приложением OpenAI с первых дней компании и теперь доступен для разработки кому угодно @gdb. Vimeo продемонстрировал живой дубляж без предзагруженных субтитров, показав переводы, сгенерированные полностью вживую @Vimeo. Junling Zhang выделил новую модель перевода в реальном времени и призвал к использованию API @jxnlco. Boris Power сказал, что живой перевод «действительно работает невероятно хорошо» и планирует использовать его регулярно @BorisMPower.

GPT-Realtime-Whisper

GPT-Realtime-Whisper

Потоковая транскрипция по мере того, как люди говорят, для субтитров в реальном времени, заметок и понимания речи @OpenAI. Justin Uberti описал её как «Whisper, но теперь с потоковой передачей в реальном времени» и обновил демо для использования новой модели @juberti. Uberti также собрал селектор задержки, чтобы наглядно показать компромисс задержка/точность в демо набора текста в реальном времени @juberti.

Product integrations and demos

Продуктовые интеграции и демо

Glean: выпустил голос в реальном времени на базе GPT-Realtime-2, заземлённый в организационном контексте; внутренние оценки показали относительный прирост полезности на 42.9% по сравнению с предыдущей версией @glean. Vimeo: продемонстрировал живой дубляж с использованием GPT-Realtime-Translate, с переводами, сгенерированными вживую и без предзагруженных субтитров @Vimeo. Genspark: обновил свой Call for Me Agent до GPT-Realtime-2; следующим будет Genspark Realtime Voice; заявил о более точных рассуждениях, более строгом следовании инструкциям, +26% эффективных разговоров и меньшем количестве сорванных звонков @genspark_ai. Gradient Bang / демо игрового агента: Kyle Windland сказал, что GPT-Realtime-2 — первая speech-to-speech модель OpenAI, достаточно хорошая для его голосовых агентов, которые делают «реальную работу», показав её как корабельный AI в сложном агенте с вызовами инструментов и субагентами @kwindla. Голосовое управление рыночным дашбордом: Levin Stanley продемонстрировал, как GPT-Realtime-2 управляет интерфейсом по намерению — «Сфокусируйся на Apple», «Как он показал себя за последние 30 дней?», «Назад» — утверждая, что прерывание и рассуждения в реальном времени меняют UI-цикл с навигации на указание направления @levinstanley. Realtime-демо: Justin Uberti обновил hello-realtime для GPT-Realtime-2 и предоставил номер для телефонного демо @juberti; Diego Cabezas опубликовал быстрое демо GPT-Realtime-2 @diegocabezas01; Ray Fernando провёл трансляцию «Создание живого переводчика» @RayFernando1337. Интерес к Reachy Mini / голосовому интерфейсу для робототехники: Clement Delangue спросил, кто добавит новые голосовые возможности в Reachy Mini @ClementDelangue, после того как ранее спросил у голосовых AI-лабораторий, таких как Gradium, Kyutai и ElevenLabs, кто мог бы помочь с кейсом голоса для робота @ClementDelangue.

Why this matters

Почему это важно

The launch pushes voice agents from “speech I/O wrapper around a chatbot” toward full-duplex, tool-using, long-context, reasoning agents. The technical shift is not just better ASR or TTS; it is the combination of low-latency turn-taking, interruption handling, longer context, tool-call transparency, and adjustable reasoning effort in a single real-time loop. That matters for customer support, meetings, accessibility, live translation, robotics, browser/computer control, and hands-free workflows where text chat is too slow or awkward.

Запуск двигает голосовых агентов от «обёртки речевого I/O вокруг чат-бота» к полнодуплексным, использующим инструменты, длинноконтекстным, рассуждающим агентам. Технический сдвиг — это не просто лучший ASR или TTS; это сочетание низколатентной смены реплик, обработки прерываний, более длинного контекста, прозрачности вызовов инструментов и настраиваемого усилия рассуждений в единой петле реального времени. Это важно для клиентской поддержки, встреч, доступности, живого перевода, робототехники, управления браузером/компьютером и хендс-фри-сценариев, где текстовый чат слишком медленный или неудобный.

The most important engineering implication is that voice apps now need to be designed as stateful real-time systems, not prompt-response endpoints. OpenAI’s prompting guide explicitly points developers toward reasoning-effort tuning, preambles, tool behavior, unclear-audio recovery, entity capture, and long-session state management @OpenAIDevs. This suggests voice-agent quality will increasingly depend on harness design: latency budgets, interruption semantics, tool-call UX, conversational memory, and failure recovery—not just raw model selection.

Самое важное инженерное следствие в том, что голосовые приложения теперь нужно проектировать как стейтфул-системы реального времени, а не как эндпоинты типа prompt-response. Руководство OpenAI по промптингу явно направляет разработчиков к настройке усилия рассуждений, преамбулам, поведению инструментов, восстановлению из неясного аудио, захвату сущностей и управлению состоянием в длинных сессиях @OpenAIDevs. Это говорит о том, что качество голосовых агентов всё больше будет зависеть от дизайна обвязки: бюджетов задержки, семантики прерываний, UX вызовов инструментов, разговорной памяти и восстановления после сбоев — а не только от выбора самой модели.

The remaining uncertainty is distribution. The API model is available now, but ChatGPT voice mode has not yet received the upgrade, per Simon Willison’s observation @simonw. If and when ChatGPT Voice gets the same capabilities, the consumer impact could be much larger. Until then, the launch primarily benefits developers and platforms building specialized real-time agents.

Оставшаяся неопределённость — это дистрибуция. API-модель доступна уже сейчас, но голосовой режим ChatGPT ещё не получил обновления, согласно наблюдению Simon Willison @simonw. Если и когда ChatGPT Voice получит те же возможности, потребительский эффект может быть гораздо больше. До тех пор запуск в основном приносит выгоду разработчикам и платформам, строящим специализированных агентов реального времени.

Keep reading with a 7-day free trial

Продолжайте чтение с бесплатным 7-дневным пробным периодом

Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.

Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву постов.