[AINews] Thinking Machines' Native Interaction Models - TML-Interaction-Small 276B-A12B - advances SOTA Realtime Voice and kills standard VAD

[AINews] Thinking Machines' Native Interaction Models - TML-Interaction-Small 276B-A12B - advances SOTA Realtime Voice and kills standard VAD

[AINews] Нативные модели взаимодействия от Thinking Machines — TML-Interaction-Small 276B-A12B — продвигают SOTA в голосе реального времени и хоронят стандартный VAD

well done, Team Thinky.

отличная работа, команда Thinky.

By complete coincidence, the day we released Neil Zeghidour (CEO of Gradium, the for profit spinoff of the vaunted Kyutai Moshi)’s talk on what remains to be built for realtime voice, Thinking Machines emerged for only the third time in a ~year (despite much drama) to drop Interaction Models: A Scalable Approach to Human-AI Collaboration, TML-Interaction-Small is a 276B parameter MoE with 12B active., which immediately advances the state of the art of realtime voice models as Neil had laid out, updating the famously dead GPT 4o “her” demo with far more detailed demos that are presumably far closer to real use:

По чистому совпадению, в тот самый день, когда мы выпустили доклад Neil Zeghidour (CEO Gradium, коммерческого спин-оффа прославленного Kyutai Moshi) о том, что ещё предстоит построить для голоса реального времени, Thinking Machines объявились всего лишь в третий раз за ~год (несмотря на всю драму), чтобы выкатить Interaction Models: A Scalable Approach to Human-AI Collaboration. TML-Interaction-Small — это MoE на 276 млрд параметров с 12 млрд активных, и она сразу же продвигает state of the art голосовых моделей реального времени так, как и описывал Neil, обновляя знаменитую заглохшую демку GPT-4o «her» куда более детальными демонстрациями, предположительно гораздо более близкими к реальному использованию:

The full blogpost has lots of demos of the level of continuous interactivity, focusing on streams of “time-aligned microturns” of 200ms each:

В полном блогпосте множество демонстраций уровня непрерывной интерактивности с упором на потоки «time-aligned microturns» («микро-ходов», выровненных по времени) по 200 мс каждый:

Using encoder-free early fusion, with images and audio all processed <200ms, similar to Meta’s Chameleon:

С использованием encoder-free early fusion, где изображения и аудио обрабатываются менее чем за 200 мс, аналогично Chameleon от Meta:

There are a number of official benchmarks that the team shows beating both GPT-Realtime-2 and Gemini 3.1-Flash on basic things like BigBench Audio and IFEval and FD-bench, but the level of interactivity aimed for required making 2 new internal benchmarks for time awareness, simultaneous translation, and visual proactivity:

Есть ряд официальных бенчмарков, на которых команда показывает превосходство и над GPT-Realtime-2, и над Gemini 3.1-Flash на базовых вещах вроде BigBench Audio, IFEval и FD-bench, но желаемый уровень интерактивности потребовал создания двух новых внутренних бенчмарков для временной осознанности, синхронного перевода и визуальной проактивности:

TimeSpeak: Может ли модель инициировать речь в заданные пользователем моменты? Пример: «Хочу попрактиковать дыхание, напоминай мне вдыхать и выдыхать каждые 4 секунды, пока я не попрошу остановиться».CueSpeak: Может ли модель говорить в подходящий момент? Пример: «Каждый раз, когда я переключаюсь на другой язык, подсказывай мне правильное слово на исходном языке».RepCount-A содержит видео с повторяющимися действиями и адаптирован под задачу онлайн-подсчёта — измеряет непрерывное визуальное отслеживание и своевременный подсчёт.ProactiveVideoQA состоит из видео с вопросами, ответы на которые становятся доступны в конкретные моменты. Высокие баллы требуют верных ответов в верное время, молчание получает частичный зачёт, а неверные ответы штрафуются.Charades — это стандартный бенчмарк временной локализации действий. Подаётся аудиоинструкция пользователя: «Скажи „start“, когда человек начинает делать {действие}, и скажи „Stop“, когда он прекращает».

But look past the numbers: the single most visceral demo is this one buried at the bottom. Play the samples and feel the AGI:

Но загляните за пределы цифр: самая впечатляющая демонстрация — вот эта, припрятанная в самом низу. Включите сэмплы и почувствуйте AGI:

The closing notes leave tantalizing hints to Thinky’s roadmap, including an intriguing pairing of background agents with interactive models, which we like a whole lot.

Заключительные заметки оставляют дразнящие намёки на дорожную карту Thinky, включая интригующее сочетание фоновых агентов с интерактивными моделями, что нам очень даже по душе.

AI News for 5/9/2026-5/11/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

AI News за 9–11 мая 2026 года. Мы проверили 12 сабреддитов, 544 твиттер-аккаунта и больше никаких Discord. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем: AINews теперь является разделом Latent Space. Вы можете подписаться/отписаться от частоты рассылок!

AI Twitter Recap

Обзор AI-Twitter

Thinking Machines’ Native Interaction Models and the Shift Beyond Turn-Based AI

Нативные модели взаимодействия от Thinking Machines и сдвиг за пределы пошагового AI

Полнодуплексное мультимодальное взаимодействие как первоклассная способность модели: Самой чёткой технической темой дня стал анонс «моделей взаимодействия» от Thinking Machines, описанных как модели, обученные с нуля для взаимодействия в реальном времени, а не как надстройка из речи, очерёдности реплик и использования инструментов поверх пошаговой LLM. Сопроводительный технический пост и комментарии команды от @johnschulman2, @soumithchintala и @cHHillee представляют это как проблему пропускной способности человек↔AI: модели должны уметь слушать, говорить, смотреть, думать, искать и реагировать одновременно. Демонстрации делали упор на осознанность непрерывного времени, обработку перебиваний, одновременную речь, визуальную проактивность и фоновое использование инструментов без явных границ «сейчас я думаю / сейчас я ищу». Члены команды также подчеркнули, что многие задачи, ранее требовавшие специализированных систем, становятся zero-shot, как только сигнатура типа фактически становится непрерывной audio+video+text → audio+text (@johnschulman2).Почему это важно технически: Несколько реакций сошлись в одном: это не «ещё одна демка чатбота», а изменение допущений об интерфейсе. @liliyu_lili указала на визуальную проактивность («скажи мне, когда я начну сутулиться», «считай мои отжимания») как на недостающий примитив в текущих системах; @rown назвал это первой общей моделью video+speech, обладающей визуальной проактивностью; @kimmonismus и @giffmana оба подчеркнули, что нативная интерактивность — более глубокая инновация, чем сырые заявления о бенчмарках. Этот запуск также неявно поднимает планку для «реалтаймовых» мультимодальных систем, как отметил @swyx. Одна деталь реализации всплыла через @eliebakouch: стек использует SGLang.

OpenAI’s Enterprise and Security Push: Deployment Company and Daybreak

Корпоративный и безопасностный рывок OpenAI: Deployment Company и Daybreak

OpenAI спускается вниз по стеку — в сервисы и развёртывание: OpenAI анонсировала OpenAI Deployment Company — подразделение с контрольной долей, созданное, чтобы помогать предприятиям внедрять frontier-модели в реальные рабочие процессы. Ключевая операционная деталь — 150 forward deployed engineers и специалистов по развёртыванию, приходящих через поглощение Tomoro, при этом @gdb называет $4 млрд начальных инвестиций от 19 партнёров. Многие наблюдатели прочли это как принятие OpenAI модели полевой инженерии в стиле Palantir/Microsoft: @kimmonismus утверждал, что OpenAI хочет владеть слоем развёртывания AI-экономики, тогда как @matvelloso связал это с историческим паттерном корпоративного успеха через размещение технического персонала рядом с операциями клиента.Daybreak: специализированная под безопасность дистрибуция моделей, рабочий процесс и уровни доверия: OpenAI также запустила Daybreak — зонтичную инициативу вокруг оборонительных киберопераций и непрерывного обеспечения безопасности ПО, при этом @sama позиционирует её как практический ответ на стремительно растущие кибервозможности AI. Продуктовое предложение, кратко изложенное @TheRundownAI, объединяет GPT-5.5, Codex, моделирование угроз репозиториев, поиск уязвимостей, генерацию патчей и автоматизацию реагирования с дифференцированными уровнями доступа, включая Trusted Access for Cyber и более специализированный GPT-5.5-Cyber. Это контрастирует с более ограничительной киберпозицией Anthropic — напряжение, подмеченное @kimmonismus. Для команд, строящих безопасные агентские системы, релевантно отдельное предупреждение от @lukOlejnik: «Ваша LLM — не граница безопасности» — Microsoft Semantic Kernel, по сообщениям, позволял превратить prompt injection в RCE на уровне хоста, потому что фреймворк чрезмерно доверял выводу модели, а не сама модель давала сбой.

Agent Harnesses, Local-First Tooling, and Control Surfaces

Каркасы агентов, local-first инструментарий и поверхности управления

Более качественные плоскости управления агентами становятся отдельной продуктовой категорией: Постоянная жалоба в том, что полезным агентам нужна автономность, но инженеры по-прежнему хотят обратимого, проверяемого контроля. @itsclelia решила это с помощью aggit — Rust CLI для локального/удалённого хранения артефактов агентов на базе S3, обеспечивающего семантику stash/branch/restore вне основной истории Git. В том же духе @_catwu отметила новую терминальную плоскость управления claude agents для управления несколькими агентами Claude Code, а @cursor_ai внедрила Cursor в Microsoft Teams, где агент читает всю ветку обсуждения и открывает PR. Всё это признаки того, что «оркестрация агентов» сходится к конкретным UX-паттернам, а не только к трюкам с промптами.Deep Agents / Hermes / локальные агенты быстро взрослеют: @masondrxy отметил, что Deep Agents CLI может «на горячую» менять провайдеров базовых моделей посреди разговора без потери контекста — нетривиальная системная способность, которую многие агентские стеки до сих пор упускают. LangChain также представила harness profiles для тюнинга под конкретного провайдера/модель (твит), а отдельный ценовой анализ того же автора утверждал, что DeepSeek V4 Flash может быть кардинально дешевле flash-вариантов GPT/Gemini для высокообъёмных агентских нагрузок (твит). На локальной стороне Hugging Face добавила поддержку Hermes Agent в локальных приложениях плюс нативную визуализацию трассировок, а @Teknium показал превью computer use с любой моделью через Hermes Agent и CUA, явно нацеливаясь как на локальные/открытые модели, так и на frontier-API. Переход @onusoz в Hugging Face для улучшения локальных моделей в OpenClaw и смежных открытых каркасах — ещё один сильный сигнал того, что эргономика локальных агентов теперь является стратегической инфраструктурой.Формируется дизайн-тезис вокруг инструментов: @threepointone утверждал, что агентам асимптотически могут понадобиться всего два примитивных инструмента: search и execute, с динамическим семантическим обнаружением возможностей вместо постоянно растущих статических меню инструментов. Это дополняет более широкий сдвиг к настраиваемым каркасам вместо гигантских монолитных промптов.

Benchmarks, Efficiency, and Open-Model Economics

Бенчмарки, эффективность и экономика открытых моделей

Бенчмаркинг кодинг-агентов наконец-то измеряет пары каркас+модель: Artificial Analysis запустила Coding Agent Index, охватывающий SWE-Bench-Pro-Hard-AA, Terminal-Bench v2 и SWE-Atlas-QnA, сравнивая не только модели, но и комбинации модель+каркас. Их главный вывод: Opus 4.7 в Cursor CLI набрал 61, а GPT-5.5 в Codex/Claude Code идёт близко следом; в число лучших open-weight связок вошли GLM-5.1, Kimi K2.6 и DeepSeek V4 Pro в Claude Code — всё ещё конкурентоспособные, но заметно отстающие. Бенчмарк также выявил большой разброс по стоимости задачи (>30x), расходу токенов (>3x), доле попаданий в кэш (80–96%) и времени на задачу (>7x). Этот бенчмарк дополнил анонс обновлённого инженерного бенчмарка от OpenHands (твит) и более агентский набор задач Claw-Eval по офисным, финансовым, терминальным и веб-задачам, где MiMo-V2.5-Pro лидировал, а DeepSeek V4 Flash выглядел необычно эффективным для своего размера.Скепсис в отношении TurboQuant растёт: Несколько постов указали на более трезвый взгляд на недавно популярную технику квантизации/обслуживания. @_EldarKurtic представил то, что он описал как первое всестороннее исследование TurboQuant, охватывающее точность, задержку и пропускную способность; @vllm_project сослался на исследование Red Hat / vLLM как на отправную точку; а @jbhuang0604 прямолинейно резюмировал вывод как «оно толком не работает». Это именно тот тип инфраструктурного заявления, где важна независимая воспроизводимость.Локальные/открытые модели продолжают улучшаться быстрее, чем потолки железа: @ClementDelangue привёл здесь самый сильный высокоуровневый аргумент: при том же потолке памяти топового MacBook Pro «самая умная open-weight модель, которую реально можно запустить» выросла от уровня эпохи Llama 3 70B до уровня эпохи DeepSeek V4 Flash mixed-Q2 GGUF — примерно в 4,7 раза за 24 месяца, что подразумевает удвоение каждые 10,7 месяцев, быстрее закона Мура. Подтверждающие данные пришли от @victormustar о быстром росте числа загрузок GGUF и от многократных наблюдений сообщества, что Qwen 3.6, Gemma 4 и варианты DeepSeek теперь пригодны локально для нетривиальных агентских задач.

Research Highlights: MoE Modularity, Diffusion/Byte Models, and Agent Dynamics

Главное из исследований: модульность MoE, диффузионные/байтовые модели и динамика агентов

Архитектуры и оценка: EMO от AllenAI выделил @TheTuringPost как более модульную конструкцию Mixture-of-Experts, где маршрутизация на уровне документа порождает общие пулы экспертов; примечательно, что сохранение лишь 25% экспертов, по сообщениям, стоит всего ~1% производительности против 10–15% деградации в стандартных MoE при аналогичном прунинге (продолжение). По поводу оценки генеративных моделей @qberthet представил MIND (Monge Inception Distance) как предположительно более быструю и более эффективную по числу сэмплов замену FID.Диффузия для языка и байтового моделирования: Несколько статей продвигали не-AR языковое моделирование. @LucaAmb сообщил, что непрерывная диффузия по битовому потоку почти сравнялась с авторегрессионными моделями в их сетапе оценки; @JulieKallini представила Fast BLT, использующую диффузию для параллельного декодирования байтов, чтобы сделать байтовые LM менее зависимыми от инференса; @sriniiyer88 описал это как сочетание блочной байтовой диффузии с self-speculative decoding. В связи с этим @LiangZheng_06 отметил полезное свойство диффузионных моделей для пост-тренинга: поскольку сэмплирование дифференцируемо, градиенты вознаграждения в принципе могут течь к параметрам напрямую, более прямым путём, чем в стандартных сетапах LLM.Поведение агентов на длинных горизонтах: Всплыли две сильные эмпирические линии. Во-первых, «The Memory Curse» утверждает, что длинные истории ухудшают кооперацию в многораундовых социальных дилеммах, потому что модели становятся более следующими истории и минимизирующими риск, причём явный CoT иногда усиливает проблему. Во-вторых, работа PwC, кратко изложенная @dair_ai, утверждает, что ценность уточнения сильно зависит от времени: уточнение цели теряет большую часть ценности после ~10% выполнения, тогда как уточнение вводных данных остаётся полезным дольше. Вместе это наводит на мысль, что качество агента на длинном горизонте ограничено столько же политикой памяти/контроля, сколько и сырым «IQ» модели.Масштабирование и самоулучшение: Работа Marin по масштабированию Delphi, кратко изложенная @WilliamBarrHeld, заявляет об 0,2% ошибки предсказания при экстраполяции от малых предобучений к прогону на 25B / 600B токенов. Отдельно @omarsar0 выделил AutoTTS, где LLM сама ищет в пространстве контроллеров масштабирования на этапе вывода (test-time scaling), по сообщениям обходя стратегии, разработанные вручную, примерно за $39,9 затрат на поиск.

Top tweets (by engagement)

Топ-твиты (по вовлечённости)

Корпоративный/сервисный ход OpenAI: OpenAI запускает Deployment Company и поглощение Tomoro / 150 FDE.Продуктизация безопасности у OpenAI: анонс Daybreak и формулировки @sama.Модели взаимодействия Thinking Machines: твит о запуске от Mira Murati и тред с техническим превью.Coding Agent Index от Artificial Analysis: запуск бенчмарка и ключевые выводы.Инструментарий агентов / рабочий процесс разработчика: computer use с любой моделью через Hermes Agent, Cursor в Microsoft Teams и плагин Codex для OpenAI Developers.

AI Reddit Recap

Обзор AI-Reddit

/r/LocalLlama + /r/localLLM Recap

Обзор /r/LocalLlama + /r/localLLM

1. Qwen 3.6 Local Inference Advances

1. Прогресс локального инференса Qwen 3.6

MTP на Unsloth (Активность: 620): На изображении (ссылка) показан профиль Unsloth на Hugging Face со списком только что опубликованных GGUF-сборок с сохранением MTP: unsloth/Qwen3.6-27B-GGUF-MTP и unsloth/Qwen3.6-35B-A3B-GGUF-MTP. Техническая значимость поста в том, что эти GGUF сохраняют слои MTP / предсказания следующего токена, но пользователям всё равно нужно собрать конкретный MTP-PR для llama.cpp, а не полагаться на стандартную поддержку llama.cpp. Один комментатор сообщает о сбое во время выполнения / ассерте с GGUF 27B: GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0"), что наводит на мысль, что проблемы с разбором метаданных, конвертацией модели или совместимостью PR остаются нерешёнными. Комментарии отражают ожидание поддержки MTP в апстриме llama.cpp: пользователи раз за разом проверяют GitHub-репозиторий и спрашивают, поддерживается ли MTP теперь «из коробки».Пользователь, компилирующий новую модель 27B GGUF, наткнулся на runtime-ассерт в qwen35_mtp.cpp: GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0"). Это наводит на мысль, что в GGUF/метаданных модели или пути конвертации может отсутствовать nextn_predict_layers, который требуется для слоёв спекулятивного/следующего-токена предсказания MTP в Qwen3.5.Одна техническая ветка отмечает, что поддержка MTP в GGUF важна для локального инференса, особенно для варианта 35B A3B, который комментаторы связывают с улучшенной обработкой длины контекста. Другой комментатор спрашивает, означает ли это, что llama.cpp теперь поддерживает MTP «из коробки», подразумевая неопределённость относительно того, влита/стабильна ли поддержка или доступна только в PR или форке.Комментатор утверждает, что ik_llama MTP сейчас быстрее, чем PR для llama.cpp, и добавляет, что он поддерживает квантизации на основе Адамара, описанные как похожие на «turboquants». Это потенциально значимое различие реализации/производительности для пользователей, сравнивающих локальные MTP-бэкенды инференса.

Keep reading with a 7-day free trial

Продолжите чтение с 7-дневным бесплатным пробным периодом

Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.

Подпишитесь на Latent.Space, чтобы продолжить читать этот пост и получить 7 дней бесплатного доступа к полному архиву постов.