[AINews] The Inference Inflection

[AINews] Инфлекция инференса

спокойный день даёт повод порассуждать о растущих последствиях эпохи инференса

Подобно тому, как в начале этого года мы разбирали World Models, в ближайшие недели мы выпустим в подкасте короткий мини-сериал об индустрии вычислений и песочниц на CPU — и сейчас самое время объяснить, почему.

За последние дни:

Noam Brown: «вычисления для инференса — это стратегический ресурс, который сейчас недооценён»Sam Altman: «В значительной степени нам теперь приходится становиться компанией по инференсу ИИ».

По отдельности эти комментарии могут показаться ничем не примечательной, обычной реакцией на очень успешный запуск модели GPT 5.5. Но в контексте они отмечают весьма заметный сдвиг, на который вам, дорогой читатель, стоит обратить внимание, если вы ещё не воспринимаете это крайне серьёзно.

Непосредственным поводом для сегодняшней колонки стал отчёт Intel за первый квартал, где CEO Lip-Bu Tan привёл цифры, иллюстрирующие растущий спрос на вычисления именно на CPU (а не GPU):

Разумеется, у CEO Intel есть очевидные стимулы преувеличивать спрос на CPU, но это не значит, что он неправ:

Мы освещали этот тренд в нашем выпуске подкаста с SemiAnalysis (отредактировано для удобства чтения):

Doug: Мы сейчас находимся ровно в том самом пяти-шестилетнем периоде цикла обновления после COVID. В 2020–2021 годах было закуплено CPU примерно на сто миллиардов [01:52:00] долларов. И вот мы как раз подошли к естественному концу срока службы этих чипов.[01:52:04] Обычно в такой момент происходит масштабное обновление всех этих чипов, но вместо этого все, по сути, выскребли весь свой бюджет [на GPU] до последнего… Каждый выскреб все доллары, какие мог, чтобы вложиться в ИИ по максимуму, а на CPU тратился лишь на поддерживающий CapEx. По иронии, в то же самое время вся эта история с Claude Code набирает обороты. А где будет работать этот софт? На CPU. Так что, думаю, мы увидим рост утилизации, а ещё RL ведь активно используется, например для RL-«спортзалов».[01:52:52] Нужно симулировать работу софта, а это требует много CPU. Не совсем те порядки величин, что в случае с GPU, но [01:53:00] это настолько крупный тренд, что мы вполне можем столкнуться с дефицитом CPU — отчасти как раз из-за этого цикла обновления.[01:53:17] swyx: Да-да. И ещё ведь просто продакшен-агенты в целом. Знаешь, даже RLM-ы требуют вычислений, а OpenClaw требует ещё больше, и нет — это просто другой наклон, но направление то же.[01:53:30] Doug: Наклон всё равно вверх. Да. И наклон, заметь, по которому последние два года было колоссальное недоинвестирование.

и в нашем освещении NVIDIA GTC — кейноута Дженсена:

[50:41] Наконец, ИИ способен выполнять продуктивную работу, а значит, точка перелома инференса наступила.Теперь ИИ должен думать. Чтобы думать, он должен делать инференс. Теперь ИИ должен действовать. Чтобы действовать, он должен делать инференс. ИИ должен читать. Чтобы читать, он должен делать инференс. Он должен рассуждать. Он должен делать инференс. Каждая часть ИИ — всякий раз, когда ему нужно думать, рассуждать, действовать, генерировать токены, — он должен делать инференс. Эпоха обучения давно позади, теперь это поле инференса, и потому инфлекция инференса наступила именно в тот момент, когда количество токенов и объём необходимых вычислений выросли примерно в 10 000 раз.А если я добавлю к этому тот факт, что за последние два года вычислительный спрос на работу вырос в 10 000 раз, а объём использования вырос, вероятно, в сто раз.Вы слышали, как я говорю, что, по моему мнению, вычислительный спрос вырос за последние два года в миллион раз. Это ощущение, которое есть у всех нас. Это ощущение, которое есть у каждого стартапа. Это ощущение, которое есть у OpenAI. Это ощущение, которое есть у Anthropic. Если бы они только могли получить больше мощностей, они бы генерировали больше токенов. Их выручка бы росла. Больше людей могли бы этим пользоваться.И тем более продвинутым, тем более умным мог бы становиться ИИ. Мы сейчас находимся в этой системе позитивного маховика. Мы достигли этого момента. Инфлекция инференса наступила.

Помимо спроса на CPU, инфлекция инференса привела и к беспрецедентной перестройке GPU-нагрузок. Разделение prefill/decode теперь стало нормой: Nvidia покупает Groq, Intel — SambaNova, и даже Amazon включается в похожую волну вокруг Cerebras, к которой ранее присоединились OpenAI и Cognition:

Новости ИИ за 28.04.2026–29.04.2026. Мы проверили 12 сабреддитов, 544 твиттер-аккаунта и больше никаких Discord’ов. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете подписаться или отписаться от частоты рассылок!

Обзор AI Twitter

Кодинг-агенты становятся платформами: Codex, Cursor SDK и апгрейды обвязки VS Code

OpenAI превращает Codex из инструмента для кода в универсальную рабочую поверхность: самым сильным продуктовым сигналом сегодня был не только энтузиазм по поводу использования, но и устойчивое расширение возможностей вокруг персистентного контекста, инструментов, интеграций и развёртывания в командах. OpenAI подсветила применение Codex для более широких задач интеллектуального труда — синтеза исследований, работы с таблицами и отслеживания решений — в дополнение к коду (OpenAI, продолжение, продолжение); запустила места только под Codex с нулевой платой за место для подходящих клиентов Business/Enterprise до конца июня (OpenAIDevs); и добавила интеграции вроде Supabase (coreyching) и плагина для Figma, превращающего планы реализации в доски FigJam (OpenAIDevs). Посты в сообществе также указывали на использование app-server и более насыщенные агентские рабочие процессы (gdb, aiDotEngineer).Работа над производительностью смещается от латентности модели к системной инженерии агентского цикла: OpenAI сообщила, что перевод Codex-подобных рабочих процессов в режим WebSocket на Responses API сохраняет состояние «тёплым» между вызовами инструментов и сокращает повторную работу, давая до 40% более быстрые агентские процессы (OpenAIDevs, reach_vb, pierceboggan). VS Code выпустил параллельный набор улучшений обвязки: семантическую индексацию по рабочим пространствам, поиск по нескольким репозиториям, аналитику сессий чата, контекст навыков, удалённое управление для Copilot CLI и расширение для оценки промптов/агентов, нацеленное на доводку промптов, навыков и инструкций (pierceboggan, pierceboggan, code). Сквозная мысль в том, что UX кодинг-агентов теперь определяется памятью, ретривалом, качеством обвязки и оркестрацией инструментов, а не только сырым интеллектом модели.Cursor делает явную ставку на платформу: новый Cursor SDK открывает доступ к тому же рантайму, обвязке и моделям, что лежат в основе Cursor, для использования в CI/CD, автоматизациях и встроенных агентах внутри продуктов (cursor_ai, стартовые проекты, примеры клиентов). Это примечательно, поскольку смещает Cursor от IDE-продукта с оплатой за места к программируемой агентской инфраструктуре — формулировку хорошо ухватил @kimmonismus. В сочетании с app-server у Codex и работой над обвязкой VS Code категория явно сходится к headless-рантаймам агентов + программируемым обвязкам + экономике на основе использования.

Инженерия агентской обвязки, LangGraph/Deep Agents и продакшен-AgentOps

Обвязки выделяются в самостоятельный слой оптимизации: множество постов сошлись на мысли, что одного качества модели недостаточно; обвязка вокруг модели часто определяет продакшен-производительность. Самым наглядным исследовательским примером была Agentic Harness Engineering, делающая эволюцию обвязки наблюдаемой за счёт откатываемых компонентов, сжатых свидетельств выполнения и фальсифицируемых прогнозов. Заявленный прирост: Terminal-Bench 2 pass@1 с 69,7% до 77,0% за десять итераций, что превосходит спроектированный человеком базовый вариант Codex-CLI с 71,9%, при этом переносится между семействами моделей и снижает расход токенов на SWE-bench Verified на 12% (omarsar0). Смежная работа над HALO описывает рекурсивно самоулучшающихся агентов, использующих анализ трассировок для устранения сбоев обвязки, и заявляет об улучшении AppWorld с 73,7 до 89,5 на Sonnet 4.6 (samhogan).Линейка продуктов Deep Agents от LangChain делает ставку на настройку обвязки под конкретные модели и развёртываемость: новые Harness Profiles позволяют командам версионировать промпты, инструменты и middleware для каждой модели, со встроенными профилями для моделей OpenAI, Anthropic и Google (LangChain_OSS, LangChain, Vtrivedy10). LangChain также выпустила DeepAgents Deploy — low-code путь развёртывания на основе небольшого набора markdown/конфиг-файлов и трассировки на базе LangSmith (hwchase17). Более широкий посыл сотрудников LangChain был последователен: открытые обвязки, открытые evals и дружественные к OSS наборы моделей важны, потому что закрытые модели становятся слишком дорогими для многих агентских нагрузок (hwchase17, Vtrivedy10).Cloudflare продолжила достраивать свой стек «агенты как софт» идеями вроде лестниц выполнения и, более конкретно, возможностью для агентов становиться клиентами Cloudflare — создавать аккаунты, регистрировать домены, оформлять платные планы и получать токены для развёртывания (threepointone, Cloudflare). Это значимый признак того, что вендоры начинают открывать бизнес-процессы напрямую агентам, а не воспринимать их как пассивных копайлотов.

Релизы моделей и бенчмарки: Mistral Medium 3.5, Granite 4.1, Ling-2.6 и ценовое давление открытых моделей

Mistral Medium 3.5 стал самым обсуждаемым релизом модели дня. Ранние комментарии оценивали её как плотную модель на 128B (scaling01), при этом Unsloth описывала её как vision-модель с рассуждением, способную работать локально примерно на 64 ГБ RAM, и публиковала GGUF/рекомендации (UnslothAI). Реакция резко разделилась: одни критиковали её 128K контекст, архитектурные решения и цену в сравнении с крупными китайскими открытыми MoE (eliebakouch, scaling01), тогда как другие утверждали, что Mistral делает осознанную ставку на корпоративную надёжность и следование инструкциям, а не гонится за сырым бенчмарк-эффектом (kimmonismus).IBM Granite 4.1 добавила три новые модели с открытыми весами под Apache 2.0, без рассуждения — 30B, 8B, 3B, — с сильным упором на открытость и токен-эффективность (ArtificialAnlys). Главное заявление в том, что Granite 4.1 8B израсходовала всего 4M выходных токенов в Artificial Analysis Intelligence Index против 78M у Qwen3.5 9B, набрав при этом 61 по AA Openness Index. По интеллекту она отстаёт от более сильных конкурентов, но семейство явно нацелено на корпоративные/edge-развёртывания, где цена и прозрачность важнее позиции в лидерборде.Конкурентное давление открытых весов продолжает нарастать: Ling-2.6-flash от Ant OSS упоминалась как MoE на ~107B, под лицензией MIT, с 61,2 на SWE-bench Verified и сильными результатами по математике (nathanhabib1011); Ling-2.6-1T также вышла с поддержкой vLLM с нулевого дня (vllm_project). Тем временем Tencent Hunyuan открыла исходники Hy-MT1.5-1.8B-1.25bit — полностью офлайн модели перевода объёмом 440 МБ для телефонов, покрывающей 33 языка, 1056 направлений перевода и заявляющей паритет с коммерческими API / моделями масштаба 235B на стандартных MT-бенчмарках за счёт агрессивной 1,25-битной квантизации (TencentHunyuan). Со стороны рынка множество постов подчёркивали, как стремительно падают цены на способные открытые модели, например Qwen 3.5 Plus за $3 за миллион выходных токенов (MatthewBerman) и MiMo-V2.5 Pro, сдвигающая фронт Парето в Code Arena при $1/$3 за миллион токенов (arena).

Инференс, ядра и MoE-системы: FlashQLA, vLLM на Blackwell, torch.compile и обслуживание GLM-5

FlashQLA от Qwen — заметный релиз ядер для длинного контекста: Alibaba представила FlashQLA, высокопроизводительные ядра линейного внимания на TileLang, сообщив об ускорении в 2–3× на прямом проходе и в 2× на обратном, особенно для малых моделей, нагрузок с длинным контекстом и tensor-parallel-конфигураций. В основе дизайна — автоматический внутрикарточный CP, управляемый гейтами, алгебраическая переформулировка и слитые warp-специализированные ядра (Alibaba_Qwen, тред с бенчмарками). Он явно позиционируется для агентского ИИ на персональных устройствах, что вписывается в более широкий тренд миграции оптимизаций под длинный контекст из чисто облачной инфраструктуры в дружественные к edge рантаймы.Совместный дизайн vLLM и Blackwell приносит реальный выигрыш в пропускной способности: vLLM сообщила о 1-м месте по скорости вывода в Artificial Analysis для DeepSeek V3.2 при 230 ток/с и TTFT 0,96 с, а также о сильных результатах на Qwen 3.5 397B при использовании serverless-инференса DigitalOcean на NVIDIA HGX B300, с оптимизациями, включая квантизацию NVFP4, спекулятивное декодирование EAGLE3 + MTP и слияние ядер под конкретную модель (vllm_project). SemiAnalysis отдельно подсветила выигрыш от vLLM 0.20.0 и ядер MegaMoE для DeepSeek v4 Pro на GB200 (SemiAnalysis_). Это один из самых наглядных примеров того, как совместный дизайн железа/софта/модели выливается в публично видимые цифры по латентности.Всё больше инженеров делятся деталями «среднего слоя» между моделями и GPU: полезный тред о torch.compile разобрал цепочку Dynamo → pre-grad → AOT autograd → post-grad → Inductor, включая то, где внедрять кастомные FX-проходы для оптимизаций инференса (maharshii). John Carmack напомнил, что производительность GPU-библиотек остаётся крайне зависимой от пути и «зазубренной», отметив 10-кратную регрессию в torch.linalg.solve_ex при переходе с 511×511 на 512×512, по-видимому, из-за иного внутреннего пути с CudaMalloc/Free (ID_AA_Carmack, продолжение). Zhipu AI также опубликовала хороший разбор инцидента с обслуживанием GLM-5, описав состояния гонки в KV-кэше, баги синхронизации HiCache и LayerSplit, который, по сообщениям, повысил пропускную способность prefill вплоть до 132% для обслуживания кодинг-агентов с длинным контекстом (Zai_org).

Исследовательские сигналы: зонды знаний, бенчмарки веб-агентов, мультимодальная/научная инфраструктура

Incompressible Knowledge Probes (IKP) — один из более провокационных исследовательских тредов**: @bojie_li утверждает, что точность фактических знаний по 1400 вопросам / 188 моделям / 27 вендорам даёт сильный лог-линейный сигнал о размере модели (R² = 0,917 на моделях с открытыми весами от 135M до 1,6T параметров). В статье доказывается, что фактическая ёмкость не сжимается со временем так, как предполагают некоторые нарративы про «сжатие рассуждения», и используется подогнанная кривая для оценки размеров закрытых моделей. Веришь ты этим оценкам или нет, работа ценна как напоминание о том, что black-box-evals по-прежнему «протекают» информацией о масштабе архитектуры.

Продолжите чтение с 7-дневным бесплатным пробным периодом

Подпишитесь на Latent.Space, чтобы продолжить читать этот пост и получить 7 дней бесплатного доступа к полному архиву постов.