[AINews] The Inference Inflection

[AINews] The Inference Inflection

[AINews] Инфлекция инференса

a quiet day lets us reflect on the growing implications of the inference age

спокойный день даёт повод порассуждать о растущих последствиях эпохи инференса

Just as we covered World Models early this year, we’ll be releasing a short miniseries on the CPU compute/sandbox industry on the pod over the coming weeks, and it’s a good time to explain why.

Подобно тому, как в начале этого года мы разбирали World Models, в ближайшие недели мы выпустим в подкасте короткий мини-сериал об индустрии вычислений и песочниц на CPU — и сейчас самое время объяснить, почему.

In recent days:

За последние дни:

Noam Brown: «вычисления для инференса — это стратегический ресурс, который сейчас недооценён»Sam Altman: «В значительной степени нам теперь приходится становиться компанией по инференсу ИИ».

Taken individually, these comments might seem unremarkable normal reactions to a very successful GPT 5.5 model launch. But in context they mark a very noteworthy reaction that you, dear reader, should probably be alerted to if you aren’t already taking this extremely seriously.

По отдельности эти комментарии могут показаться ничем не примечательной, обычной реакцией на очень успешный запуск модели GPT 5.5. Но в контексте они отмечают весьма заметный сдвиг, на который вам, дорогой читатель, стоит обратить внимание, если вы ещё не воспринимаете это крайне серьёзно.

The proximal trigger for today’s op-ed is Intel CEO Lip-Bu Tan’s Q1 earnings call, where he gave numbers to illustrate the rising CPU (not GPU) compute demand:

Непосредственным поводом для сегодняшней колонки стал отчёт Intel за первый квартал, где CEO Lip-Bu Tan привёл цифры, иллюстрирующие растущий спрос на вычисления именно на CPU (а не GPU):

Obviously an Intel CEO has obvious incentives to talk up CPU demand, but that does not mean he is wrong:

Разумеется, у CEO Intel есть очевидные стимулы преувеличивать спрос на CPU, но это не значит, что он неправ:

We’ve covered this trend in our SemiAnalysis pod (edited for readability):

Мы освещали этот тренд в нашем выпуске подкаста с SemiAnalysis (отредактировано для удобства чтения):

Doug: We are kind of right at the exact five to six year period of the refresh cycle of COVID. So in 2020 - 2021, you bought like a hundred billion [01:52:00] dollars of CPUs. And so we’re right at the natural end of life for these chips.

[01:52:04] And so usually what you do is you have this big refresh of all these chips, but what what’s been happening instead is everyone has essentially scrounged all of their budget [for GPUs] as hard as they can… Everyone’s scrounged every single dollar they could to essentially invest in as much as AI as possible and just do maintenance CapEx on CPU. Ironically, at the same time for all this Claude Code stuff is going on. where is the software gonna run? on CPUs. So I think we’re gonna see some increasing utilization as well as the fact that RL is like actually heavily used for like RL gyms.

[01:52:52] You have to simulate software and it uses a lot of CPUs. So not quite like the orders of magnitude of GPU stuff, but it’s [01:53:00] just such a big trend, we might actually be seeing a CPU shortage partially ‘cause of this refresh cycle.

[01:53:17] swyx: Yeah. Yeah. And just general production agents as well. You know, we just yeah. Even RLMs take compute and you know, OpenClaw takes more compute and, and no, it’s just different slope, but at the same direction.

[01:53:30] Doug: It’s still an up slope. Yeah. And in a slope that, to be clear, has had massive underinvestment for the last two years.

Doug: Мы сейчас находимся ровно в том самом пяти-шестилетнем периоде цикла обновления после COVID. В 2020–2021 годах было закуплено CPU примерно на сто миллиардов [01:52:00] долларов. И вот мы как раз подошли к естественному концу срока службы этих чипов.[01:52:04] Обычно в такой момент происходит масштабное обновление всех этих чипов, но вместо этого все, по сути, выскребли весь свой бюджет [на GPU] до последнего… Каждый выскреб все доллары, какие мог, чтобы вложиться в ИИ по максимуму, а на CPU тратился лишь на поддерживающий CapEx. По иронии, в то же самое время вся эта история с Claude Code набирает обороты. А где будет работать этот софт? На CPU. Так что, думаю, мы увидим рост утилизации, а ещё RL ведь активно используется, например для RL-«спортзалов».[01:52:52] Нужно симулировать работу софта, а это требует много CPU. Не совсем те порядки величин, что в случае с GPU, но [01:53:00] это настолько крупный тренд, что мы вполне можем столкнуться с дефицитом CPU — отчасти как раз из-за этого цикла обновления.[01:53:17] swyx: Да-да. И ещё ведь просто продакшен-агенты в целом. Знаешь, даже RLM-ы требуют вычислений, а OpenClaw требует ещё больше, и нет — это просто другой наклон, но направление то же.[01:53:30] Doug: Наклон всё равно вверх. Да. И наклон, заметь, по которому последние два года было колоссальное недоинвестирование.

and our NVIDIA GTC coverage of Jensen’s Keynote:

и в нашем освещении NVIDIA GTC — кейноута Дженсена:

[50:41] Finally, AI is able to do productive work and therefore the inflection point of inference has arrived.

AI now has to think. In order to think, it has to inference. AI now has to do. In order to do, it has to inference. AI has to read. In order to do so, it has to inference. It has to reason. It has to inference. every part of AI every time it has to think it has to reason it has to do it has to generate tokens it has to inference it’s way past training now it’s in the in the field of inference so the inference inflection has arrived at the time when the amount of tokens the amount of compute necessary increased by roughly 10,000 times.

Now when I combine these to the fact that since in the last two years the computing demand of the work has gone up by 10,000 times and the amount of usage has probably gone up by a hundred times.

People have heard me say I believe that computing demand has increased by 1 million times in the last two years. It is the feeling that we all have. It is the feeling every startup has. It’s the feeling that OpenAI has. It’s the feeling that Anthropic has. If they could just get more capacity, they could generate more tokens. Their revenues would go up. More people could use it.

The more advanced, the smarter the AI could become. We are now at that positive flywheel system. We have reached that moment. The inference inflection has arrived.

[50:41] Наконец, ИИ способен выполнять продуктивную работу, а значит, точка перелома инференса наступила.Теперь ИИ должен думать. Чтобы думать, он должен делать инференс. Теперь ИИ должен действовать. Чтобы действовать, он должен делать инференс. ИИ должен читать. Чтобы читать, он должен делать инференс. Он должен рассуждать. Он должен делать инференс. Каждая часть ИИ — всякий раз, когда ему нужно думать, рассуждать, действовать, генерировать токены, — он должен делать инференс. Эпоха обучения давно позади, теперь это поле инференса, и потому инфлекция инференса наступила именно в тот момент, когда количество токенов и объём необходимых вычислений выросли примерно в 10 000 раз.А если я добавлю к этому тот факт, что за последние два года вычислительный спрос на работу вырос в 10 000 раз, а объём использования вырос, вероятно, в сто раз.Вы слышали, как я говорю, что, по моему мнению, вычислительный спрос вырос за последние два года в миллион раз. Это ощущение, которое есть у всех нас. Это ощущение, которое есть у каждого стартапа. Это ощущение, которое есть у OpenAI. Это ощущение, которое есть у Anthropic. Если бы они только могли получить больше мощностей, они бы генерировали больше токенов. Их выручка бы росла. Больше людей могли бы этим пользоваться.И тем более продвинутым, тем более умным мог бы становиться ИИ. Мы сейчас находимся в этой системе позитивного маховика. Мы достигли этого момента. Инфлекция инференса наступила.

Apart from the CPU demand, the inference inflection has also resulted in unprecedented reshaping of GPU workloads as well. Prefill/Decode disaggregation is now the norm, with Nvidia buying Groq, Intel-Sambanova, and even Amazon jumping in on a similar Cerebras bandwagon that OpenAI and Cognition had previously struck:

Помимо спроса на CPU, инфлекция инференса привела и к беспрецедентной перестройке GPU-нагрузок. Разделение prefill/decode теперь стало нормой: Nvidia покупает Groq, Intel — SambaNova, и даже Amazon включается в похожую волну вокруг Cerebras, к которой ранее присоединились OpenAI и Cognition:

AI News for 4/28/2026-4/29/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

Новости ИИ за 28.04.2026–29.04.2026. Мы проверили 12 сабреддитов, 544 твиттер-аккаунта и больше никаких Discord’ов. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете подписаться или отписаться от частоты рассылок!

AI Twitter Recap

Обзор AI Twitter

Coding Agents Become Platforms: Codex, Cursor SDK, and VS Code Harness Upgrades

Кодинг-агенты становятся платформами: Codex, Cursor SDK и апгрейды обвязки VS Code

OpenAI превращает Codex из инструмента для кода в универсальную рабочую поверхность: самым сильным продуктовым сигналом сегодня был не только энтузиазм по поводу использования, но и устойчивое расширение возможностей вокруг персистентного контекста, инструментов, интеграций и развёртывания в командах. OpenAI подсветила применение Codex для более широких задач интеллектуального труда — синтеза исследований, работы с таблицами и отслеживания решений — в дополнение к коду (OpenAI, продолжение, продолжение); запустила места только под Codex с нулевой платой за место для подходящих клиентов Business/Enterprise до конца июня (OpenAIDevs); и добавила интеграции вроде Supabase (coreyching) и плагина для Figma, превращающего планы реализации в доски FigJam (OpenAIDevs). Посты в сообществе также указывали на использование app-server и более насыщенные агентские рабочие процессы (gdb, aiDotEngineer).Работа над производительностью смещается от латентности модели к системной инженерии агентского цикла: OpenAI сообщила, что перевод Codex-подобных рабочих процессов в режим WebSocket на Responses API сохраняет состояние «тёплым» между вызовами инструментов и сокращает повторную работу, давая до 40% более быстрые агентские процессы (OpenAIDevs, reach_vb, pierceboggan). VS Code выпустил параллельный набор улучшений обвязки: семантическую индексацию по рабочим пространствам, поиск по нескольким репозиториям, аналитику сессий чата, контекст навыков, удалённое управление для Copilot CLI и расширение для оценки промптов/агентов, нацеленное на доводку промптов, навыков и инструкций (pierceboggan, pierceboggan, code). Сквозная мысль в том, что UX кодинг-агентов теперь определяется памятью, ретривалом, качеством обвязки и оркестрацией инструментов, а не только сырым интеллектом модели.Cursor делает явную ставку на платформу: новый Cursor SDK открывает доступ к тому же рантайму, обвязке и моделям, что лежат в основе Cursor, для использования в CI/CD, автоматизациях и встроенных агентах внутри продуктов (cursor_ai, стартовые проекты, примеры клиентов). Это примечательно, поскольку смещает Cursor от IDE-продукта с оплатой за места к программируемой агентской инфраструктуре — формулировку хорошо ухватил @kimmonismus. В сочетании с app-server у Codex и работой над обвязкой VS Code категория явно сходится к headless-рантаймам агентов + программируемым обвязкам + экономике на основе использования.

Agent Harness Engineering, LangGraph/Deep Agents, and Production AgentOps

Инженерия агентской обвязки, LangGraph/Deep Agents и продакшен-AgentOps

Обвязки выделяются в самостоятельный слой оптимизации: множество постов сошлись на мысли, что одного качества модели недостаточно; обвязка вокруг модели часто определяет продакшен-производительность. Самым наглядным исследовательским примером была Agentic Harness Engineering, делающая эволюцию обвязки наблюдаемой за счёт откатываемых компонентов, сжатых свидетельств выполнения и фальсифицируемых прогнозов. Заявленный прирост: Terminal-Bench 2 pass@1 с 69,7% до 77,0% за десять итераций, что превосходит спроектированный человеком базовый вариант Codex-CLI с 71,9%, при этом переносится между семействами моделей и снижает расход токенов на SWE-bench Verified на 12% (omarsar0). Смежная работа над HALO описывает рекурсивно самоулучшающихся агентов, использующих анализ трассировок для устранения сбоев обвязки, и заявляет об улучшении AppWorld с 73,7 до 89,5 на Sonnet 4.6 (samhogan).Линейка продуктов Deep Agents от LangChain делает ставку на настройку обвязки под конкретные модели и развёртываемость: новые Harness Profiles позволяют командам версионировать промпты, инструменты и middleware для каждой модели, со встроенными профилями для моделей OpenAI, Anthropic и Google (LangChain_OSS, LangChain, Vtrivedy10). LangChain также выпустила DeepAgents Deploy — low-code путь развёртывания на основе небольшого набора markdown/конфиг-файлов и трассировки на базе LangSmith (hwchase17). Более широкий посыл сотрудников LangChain был последователен: открытые обвязки, открытые evals и дружественные к OSS наборы моделей важны, потому что закрытые модели становятся слишком дорогими для многих агентских нагрузок (hwchase17, Vtrivedy10).Cloudflare продолжила достраивать свой стек «агенты как софт» идеями вроде лестниц выполнения и, более конкретно, возможностью для агентов становиться клиентами Cloudflare — создавать аккаунты, регистрировать домены, оформлять платные планы и получать токены для развёртывания (threepointone, Cloudflare). Это значимый признак того, что вендоры начинают открывать бизнес-процессы напрямую агентам, а не воспринимать их как пассивных копайлотов.

Model Releases and Benchmarks: Mistral Medium 3.5, Granite 4.1, Ling-2.6, and Open-Model Price Pressure

Релизы моделей и бенчмарки: Mistral Medium 3.5, Granite 4.1, Ling-2.6 и ценовое давление открытых моделей

Mistral Medium 3.5 стал самым обсуждаемым релизом модели дня. Ранние комментарии оценивали её как плотную модель на 128B (scaling01), при этом Unsloth описывала её как vision-модель с рассуждением, способную работать локально примерно на 64 ГБ RAM, и публиковала GGUF/рекомендации (UnslothAI). Реакция резко разделилась: одни критиковали её 128K контекст, архитектурные решения и цену в сравнении с крупными китайскими открытыми MoE (eliebakouch, scaling01), тогда как другие утверждали, что Mistral делает осознанную ставку на корпоративную надёжность и следование инструкциям, а не гонится за сырым бенчмарк-эффектом (kimmonismus).IBM Granite 4.1 добавила три новые модели с открытыми весами под Apache 2.0, без рассуждения — 30B, 8B, 3B, — с сильным упором на открытость и токен-эффективность (ArtificialAnlys). Главное заявление в том, что Granite 4.1 8B израсходовала всего 4M выходных токенов в Artificial Analysis Intelligence Index против 78M у Qwen3.5 9B, набрав при этом 61 по AA Openness Index. По интеллекту она отстаёт от более сильных конкурентов, но семейство явно нацелено на корпоративные/edge-развёртывания, где цена и прозрачность важнее позиции в лидерборде.Конкурентное давление открытых весов продолжает нарастать: Ling-2.6-flash от Ant OSS упоминалась как MoE на ~107B, под лицензией MIT, с 61,2 на SWE-bench Verified и сильными результатами по математике (nathanhabib1011); Ling-2.6-1T также вышла с поддержкой vLLM с нулевого дня (vllm_project). Тем временем Tencent Hunyuan открыла исходники Hy-MT1.5-1.8B-1.25bit — полностью офлайн модели перевода объёмом 440 МБ для телефонов, покрывающей 33 языка, 1056 направлений перевода и заявляющей паритет с коммерческими API / моделями масштаба 235B на стандартных MT-бенчмарках за счёт агрессивной 1,25-битной квантизации (TencentHunyuan). Со стороны рынка множество постов подчёркивали, как стремительно падают цены на способные открытые модели, например Qwen 3.5 Plus за $3 за миллион выходных токенов (MatthewBerman) и MiMo-V2.5 Pro, сдвигающая фронт Парето в Code Arena при $1/$3 за миллион токенов (arena).

Inference, Kernels, and MoE Systems: FlashQLA, vLLM on Blackwell, torch.compile, and GLM-5 Serving

Инференс, ядра и MoE-системы: FlashQLA, vLLM на Blackwell, torch.compile и обслуживание GLM-5

FlashQLA от Qwen — заметный релиз ядер для длинного контекста: Alibaba представила FlashQLA, высокопроизводительные ядра линейного внимания на TileLang, сообщив об ускорении в 2–3× на прямом проходе и в 2× на обратном, особенно для малых моделей, нагрузок с длинным контекстом и tensor-parallel-конфигураций. В основе дизайна — автоматический внутрикарточный CP, управляемый гейтами, алгебраическая переформулировка и слитые warp-специализированные ядра (Alibaba_Qwen, тред с бенчмарками). Он явно позиционируется для агентского ИИ на персональных устройствах, что вписывается в более широкий тренд миграции оптимизаций под длинный контекст из чисто облачной инфраструктуры в дружественные к edge рантаймы.Совместный дизайн vLLM и Blackwell приносит реальный выигрыш в пропускной способности: vLLM сообщила о 1-м месте по скорости вывода в Artificial Analysis для DeepSeek V3.2 при 230 ток/с и TTFT 0,96 с, а также о сильных результатах на Qwen 3.5 397B при использовании serverless-инференса DigitalOcean на NVIDIA HGX B300, с оптимизациями, включая квантизацию NVFP4, спекулятивное декодирование EAGLE3 + MTP и слияние ядер под конкретную модель (vllm_project). SemiAnalysis отдельно подсветила выигрыш от vLLM 0.20.0 и ядер MegaMoE для DeepSeek v4 Pro на GB200 (SemiAnalysis_). Это один из самых наглядных примеров того, как совместный дизайн железа/софта/модели выливается в публично видимые цифры по латентности.Всё больше инженеров делятся деталями «среднего слоя» между моделями и GPU: полезный тред о torch.compile разобрал цепочку Dynamo → pre-grad → AOT autograd → post-grad → Inductor, включая то, где внедрять кастомные FX-проходы для оптимизаций инференса (maharshii). John Carmack напомнил, что производительность GPU-библиотек остаётся крайне зависимой от пути и «зазубренной», отметив 10-кратную регрессию в torch.linalg.solve_ex при переходе с 511×511 на 512×512, по-видимому, из-за иного внутреннего пути с CudaMalloc/Free (ID_AA_Carmack, продолжение). Zhipu AI также опубликовала хороший разбор инцидента с обслуживанием GLM-5, описав состояния гонки в KV-кэше, баги синхронизации HiCache и LayerSplit, который, по сообщениям, повысил пропускную способность prefill вплоть до 132% для обслуживания кодинг-агентов с длинным контекстом (Zai_org).

Research Signals: Knowledge Probes, Web-Agent Benchmarks, Multimodal/Science Infrastructure

Исследовательские сигналы: зонды знаний, бенчмарки веб-агентов, мультимодальная/научная инфраструктура

Incompressible Knowledge Probes (IKP) — один из более провокационных исследовательских тредов**: @bojie_li утверждает, что точность фактических знаний по 1400 вопросам / 188 моделям / 27 вендорам даёт сильный лог-линейный сигнал о размере модели (R² = 0,917 на моделях с открытыми весами от 135M до 1,6T параметров). В статье доказывается, что фактическая ёмкость не сжимается со временем так, как предполагают некоторые нарративы про «сжатие рассуждения», и используется подогнанная кривая для оценки размеров закрытых моделей. Веришь ты этим оценкам или нет, работа ценна как напоминание о том, что black-box-evals по-прежнему «протекают» информацией о масштабе архитектуры.

Keep reading with a 7-day free trial

Продолжите чтение с 7-дневным бесплатным пробным периодом

Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.

Подпишитесь на Latent.Space, чтобы продолжить читать этот пост и получить 7 дней бесплатного доступа к полному архиву постов.