[AINews] GPT-Realtime-2, -Translate, and -Whisper: new SOTA realtime voice APIs

[AINews] GPT-Realtime-2, -Translate и -Whisper: новые SOTA realtime голосовые API

OpenAI продолжает разворачивать GPT-5 повсюду

OpenAI запустила realtime-1.5 3 месяца назад, но это была капля в море, потому что интеллект всё ещё базировался на 4o (всего +5% в Big Bench Audio). По сегодняшнему релизу realtime-2 (с приростом +15.2% в BBA) чувствовалась явная уверенность, и он был тепло принят:

Как объясняет блогпост, выпущены 3 модели, которые можно упростить до «голос-вход, голос-выход и голос-в-голос»:

Фокус не столько на «качестве голоса», сколько на удобстве использования. TLDR:

Преамбулы: разработчики могут включать короткие фразы перед основным ответом, например «дай мне проверить» или «минутку, я посмотрю». Параллельные вызовы инструментов и прозрачность инструментов: модель может вызывать несколько инструментов одновременно и озвучивать эти действия фразами вроде «проверяю ваш календарь» или «ищу это сейчас», помогая агентам оставаться отзывчивыми при выполнении задач. Более устойчивое восстановление: модель может изящнее восстанавливаться, говоря, например, «у меня сейчас возникли трудности с этим», вместо того чтобы падать или ломаться. Более длинный контекст: 32K → 128K. Лучшее понимание предметных областей: модель лучше удерживает специализированную терминологию, имена собственные, медицинские термины и другую лексику. Более управляемые тон и подача: модель лучше подстраивает тон — говорит спокойно, эмпатично или бодро, в зависимости от контекста. Настраиваемое усилие рассуждений: разработчики теперь могут выбирать из уровней minimal, low, medium, high и xhigh, с low по умолчанию.

Демо-видео показало, как аудиомодель лучше настроена для случая, когда основной говорящий обращается к кому-то другому — она перестаёт так часто перебивать:

AI News за 5/6/2026-5/7/2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и больше никаких Discord-серверов. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, AINews теперь раздел Latent Space. Вы можете подписаться/отписаться от частоты email-рассылок!

AI Twitter Recap

Главная история: GPT-Realtime-2 и комментарии по голосовому AI от OpenAI

Что произошло

OpenAI выпустила три новые потоковые аудиомодели в Realtime API: GPT-Realtime-2, GPT-Realtime-Translate и GPT-Realtime-Whisper. OpenAI позиционировала GPT-Realtime-2 как свою «самую интеллектуальную голосовую модель на сегодня», привнося «рассуждения уровня GPT-5» в голосовых агентов реального времени, которые могут слушать, рассуждать, обрабатывать прерывания, использовать инструменты и поддерживать более длинные разговоры по ходу их развития @OpenAI. Сопутствующие модели ориентированы на живой перевод речи и транскрипцию: GPT-Realtime-Translate поддерживает потоковый перевод с 70+ входных языков на 13 выходных, а GPT-Realtime-Whisper транслирует транскрипцию/субтитры по мере произнесения речи @OpenAI, @OpenAIDevs. OpenAI заявила, что модели уже доступны в Realtime API, тогда как обновления голоса в ChatGPT всё ещё в работе: «Следите за обновлениями, мы готовим» @OpenAI. Sam Altman представил запуск как поведенческий сдвиг: пользователи всё чаще используют голос с AI, когда им нужно «вывалить» много контекста, и OpenAI также работает над улучшениями голоса в ChatGPT @sama.

Факты vs. мнения

Фактическое / прямо заявленное OpenAI и оценщиками

Линейка моделей: GPT-Realtime-2, GPT-Realtime-Translate, GPT-Realtime-Whisper доступны в Realtime API уже сегодня @OpenAIDevs. Возможности GPT-Realtime-2: ориентированная на рассуждения нативная speech-to-speech модель для продакшн-голосовых агентов; поддерживает использование инструментов/действий, восстановление после прерываний, более длинные разговоры и «рассуждения уровня GPT-5» по формулировке OpenAI @OpenAI, @reach_vb. Окно контекста: комментарии сообщества/разработчиков OpenAI сообщили о 128K контекста для голосовых агентов GPT-Realtime-2 @reach_vb; Artificial Analysis независимо сообщила, что окно контекста увеличилось с 32K до 128K, с 32K максимальных выходных токенов @ArtificialAnlys. Перевод: GPT-Realtime-Translate поддерживает живой перевод речи с 70+ входных языков на 13 выходных языков @OpenAI, @reach_vb. Транскрипция: GPT-Realtime-Whisper обеспечивает потоковую транскрипцию с низкой задержкой в Realtime API для субтитров, заметок и непрерывного понимания речи @OpenAIDevs. Промптинг/управление: OpenAI опубликовала руководство по голосовому промптингу, охватывающее усилие рассуждений, преамбулы, поведение инструментов, обработку неясного аудио, точный захват сущностей и поддержание состояния в долгих сессиях @OpenAIDevs. Независимые бенчмарки: Scale AI сообщила, что GPT-Realtime-2 заняла первое место в её лидерборде Audio MultiChallenge S2S, при этом удержание инструкций выросло с 36.7% до 70.8% APR по сравнению с GPT-Realtime-1.5, а также показала сильные результаты в редактировании голоса/восстановлении в реальном времени @ScaleAILabs. Независимые бенчмарки: Artificial Analysis сообщила о 96.6% на Big Bench Audio speech-to-speech reasoning, 96.1% на её бенчмарке Conversational Dynamics, среднем времени до первого аудио 2.33с при high reasoning и 1.12с при minimal reasoning, и неизменной цене за аудио $1.15/час на входе и $4.61/час на выходе @ArtificialAnlys, @ArtificialAnlys. Управление усилием рассуждений: Artificial Analysis сообщила о настраиваемых уровнях рассуждений: minimal, low, medium, high, xhigh, с low по умолчанию @ArtificialAnlys. Корпоративные/продуктовые оценки: Glean сообщил, что GPT-Realtime-2 обеспечила относительный прирост полезности на 42.9% по сравнению с предыдущей версией во внутренних оценках для организационных голосовых взаимодействий в реальном времени @glean. Genspark сообщил, что его Call for Me Agent перешёл на GPT-Realtime-2 и показал +26% эффективных разговоров и меньше сорванных звонков @genspark_ai.

Мнения / интерпретация / комментарии

Сторонники описывали запуск как «большой шаг вперёд» для голосовых агентов @sama, «полную победу realtime» @reach_vb и первую speech-to-speech модель, достаточно хорошую для «реальной работы» в сложных голосовых агентах @kwindla. Более осторожный взгляд: Simon Willison отметил, что анонс не означает, что сам ChatGPT Voice Mode уже обновлён; обновление ChatGPT, «похоже», скоро придёт @simonw, @simonw. Скепсис к интерфейсу: Will Depue сравнил аудио с VR — часто захватывающе, но исторически не залипает как интерфейс — одновременно утверждая, что использование инструментов в реальном времени, рассуждения во время речи и живой перевод — это те возможности, которые могут наконец заставить аудиоинтерфейсы взлететь @willdepue. Более широкий UX-оптимизм: несколько комментаторов представили голос как более естественный и эффективный по ширине канала для людей @BorisMPower, путь к Jarvis-подобным всегда доступным компьютерным агентам @willdepue, или в конечном счёте вытесненный ещё более широкополосными BCI @iScienceLuvr. Конкурентный контекст: Elon Musk продвигал Grok Voice для поддержки клиентов @elonmusk, подчёркивая, что автоматизация голосовой поддержки/обслуживания клиентов в реальном времени теперь является конкурентной поверхностью среди лабораторий.

Технические детали и данные бенчмарков

GPT-Realtime-2

Нативная speech-to-speech / голосовая модель реального времени, выпущенная через Realtime API OpenAI @OpenAI. Представлена как «рассуждения уровня GPT-5» для голосовых агентов @OpenAI. Разработана для агентов, которые могут: рассуждать в середине разговора, использовать инструменты/выполнять действия, обрабатывать прерывания, восстанавливаться, когда пользователи пересматривают или корректируют речь, поддерживать более длинные сессии с расширенным контекстом @OpenAI, @reach_vb. Заявленный контекст: 128K токенов, увеличен с 32K @ArtificialAnlys. Заявленный максимум вывода: 32K токенов @ArtificialAnlys. Входы, по данным Artificial Analysis: текст, аудио и изображение @ArtificialAnlys. Уровни усилия рассуждений: minimal, low, medium, high, xhigh; по умолчанию low @ArtificialAnlys. Время до первого аудио: 1.12с при minimal reasoning, 2.33с при high reasoning @ArtificialAnlys. Цена: $1.15/час за аудио на входе, $4.61/час за аудио на выходе, без изменений по сравнению с предыдущей моделью по данным Artificial Analysis @ArtificialAnlys. Разговорные возможности: поддерживает короткие преамбулы перед основными ответами — например, «дай мне проверить» — и слышимую прозрачность во время вызовов инструментов — например, «проверяю ваш календарь» @ArtificialAnlys.

Бенчмарки

Scale AI Audio MultiChallenge S2S: GPT-Realtime-2 заняла #1; удержание инструкций улучшилось с 36.7% до 70.8% APR по сравнению с GPT-Realtime-1.5; сильное редактирование голоса, когда пользователи корректируют/пересматривают речь в реальном времени @ScaleAILabs. Artificial Analysis Big Bench Audio: high-вариант GPT-Realtime-2 набрал 96.6%, что, по сообщениям, равно Gemini 3.1 Flash Live Preview High и примерно ~13% выше предыдущего лучшего результата @ArtificialAnlys. Justin Uberti отдельно резюмировал улучшение как 15 процентных пунктов против GPT-Realtime-1.5 на Big Bench Audio, близко к насыщению @juberti. Conversational Dynamics / подмножество Full Duplex Bench: minimal-вариант GPT-Realtime-2 набрал 96.1%, с сильными сторонами в обработке пауз и смене реплик @ArtificialAnlys.

GPT-Realtime-Translate

Живой потоковый перевод речи с 70+ входных языков на 13 выходных языков @OpenAI. Сооснователь OpenAI Greg Brockman сказал, что перевод голос-в-голос в реальном времени был ожидаемым приложением OpenAI с первых дней компании и теперь доступен для разработки кому угодно @gdb. Vimeo продемонстрировал живой дубляж без предзагруженных субтитров, показав переводы, сгенерированные полностью вживую @Vimeo. Junling Zhang выделил новую модель перевода в реальном времени и призвал к использованию API @jxnlco. Boris Power сказал, что живой перевод «действительно работает невероятно хорошо» и планирует использовать его регулярно @BorisMPower.

GPT-Realtime-Whisper

Потоковая транскрипция по мере того, как люди говорят, для субтитров в реальном времени, заметок и понимания речи @OpenAI. Justin Uberti описал её как «Whisper, но теперь с потоковой передачей в реальном времени» и обновил демо для использования новой модели @juberti. Uberti также собрал селектор задержки, чтобы наглядно показать компромисс задержка/точность в демо набора текста в реальном времени @juberti.

Продуктовые интеграции и демо

Glean: выпустил голос в реальном времени на базе GPT-Realtime-2, заземлённый в организационном контексте; внутренние оценки показали относительный прирост полезности на 42.9% по сравнению с предыдущей версией @glean. Vimeo: продемонстрировал живой дубляж с использованием GPT-Realtime-Translate, с переводами, сгенерированными вживую и без предзагруженных субтитров @Vimeo. Genspark: обновил свой Call for Me Agent до GPT-Realtime-2; следующим будет Genspark Realtime Voice; заявил о более точных рассуждениях, более строгом следовании инструкциям, +26% эффективных разговоров и меньшем количестве сорванных звонков @genspark_ai. Gradient Bang / демо игрового агента: Kyle Windland сказал, что GPT-Realtime-2 — первая speech-to-speech модель OpenAI, достаточно хорошая для его голосовых агентов, которые делают «реальную работу», показав её как корабельный AI в сложном агенте с вызовами инструментов и субагентами @kwindla. Голосовое управление рыночным дашбордом: Levin Stanley продемонстрировал, как GPT-Realtime-2 управляет интерфейсом по намерению — «Сфокусируйся на Apple», «Как он показал себя за последние 30 дней?», «Назад» — утверждая, что прерывание и рассуждения в реальном времени меняют UI-цикл с навигации на указание направления @levinstanley. Realtime-демо: Justin Uberti обновил hello-realtime для GPT-Realtime-2 и предоставил номер для телефонного демо @juberti; Diego Cabezas опубликовал быстрое демо GPT-Realtime-2 @diegocabezas01; Ray Fernando провёл трансляцию «Создание живого переводчика» @RayFernando1337. Интерес к Reachy Mini / голосовому интерфейсу для робототехники: Clement Delangue спросил, кто добавит новые голосовые возможности в Reachy Mini @ClementDelangue, после того как ранее спросил у голосовых AI-лабораторий, таких как Gradium, Kyutai и ElevenLabs, кто мог бы помочь с кейсом голоса для робота @ClementDelangue.

Почему это важно

Запуск двигает голосовых агентов от «обёртки речевого I/O вокруг чат-бота» к полнодуплексным, использующим инструменты, длинноконтекстным, рассуждающим агентам. Технический сдвиг — это не просто лучший ASR или TTS; это сочетание низколатентной смены реплик, обработки прерываний, более длинного контекста, прозрачности вызовов инструментов и настраиваемого усилия рассуждений в единой петле реального времени. Это важно для клиентской поддержки, встреч, доступности, живого перевода, робототехники, управления браузером/компьютером и хендс-фри-сценариев, где текстовый чат слишком медленный или неудобный.

Самое важное инженерное следствие в том, что голосовые приложения теперь нужно проектировать как стейтфул-системы реального времени, а не как эндпоинты типа prompt-response. Руководство OpenAI по промптингу явно направляет разработчиков к настройке усилия рассуждений, преамбулам, поведению инструментов, восстановлению из неясного аудио, захвату сущностей и управлению состоянием в длинных сессиях @OpenAIDevs. Это говорит о том, что качество голосовых агентов всё больше будет зависеть от дизайна обвязки: бюджетов задержки, семантики прерываний, UX вызовов инструментов, разговорной памяти и восстановления после сбоев — а не только от выбора самой модели.

Оставшаяся неопределённость — это дистрибуция. API-модель доступна уже сейчас, но голосовой режим ChatGPT ещё не получил обновления, согласно наблюдению Simon Willison @simonw. Если и когда ChatGPT Voice получит те же возможности, потребительский эффект может быть гораздо больше. До тех пор запуск в основном приносит выгоду разработчикам и платформам, строящим специализированных агентов реального времени.

Продолжайте чтение с бесплатным 7-дневным пробным периодом

Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву постов.