The Inference Shift

The Inference Shift

Слушать подкаст

Послушать этот пост:

Если вы искали идеальный момент для IPO, быть чипмейкером в мае 2026 года — это сложно превзойти. Reuters сообщило на выходных:

Cerebras Systems готова увеличить объём и цену своего первичного публичного размещения уже в понедельник, поскольку спрос на акции производителя чипов для искусственного интеллекта продолжает расти, сообщили Reuters в воскресенье два источника, знакомых с ситуацией. Компания рассматривает новый ценовой диапазон IPO в $150-$160 за акцию вместо $115-$125, а также увеличение числа выставляемых акций с 28 до 30 миллионов, рассказали источники, попросившие не называть их имён, поскольку информация ещё не публична.

Фундаментальный драйвер продолжающегося ралли акций полупроводниковых компаний — это, конечно, AI, и в особенности осознание того, что агентам потребуется огромное количество вычислений. Но Cerebras представляет собой нечто более широкое: пока история компьюта для AI была в основном про GPU, особенно от Nvidia, будущее будет выглядеть всё более гетерогенно.

Эра GPU

История того, как графические процессоры стали центром AI, хорошо известна, но если вкратце:

Так же, как отрисовка пикселей на экране была параллельным процессом, что означало прямую связь между числом вычислительных блоков и скоростью графики, выполнение AI-расчётов тоже параллельный процесс, что означало прямую связь между числом вычислительных блоков и скоростью расчётов. Nvidia обеспечила это двойное применение, сделав свои графические процессоры программируемыми, и создала целую программную экосистему CUDA, чтобы это программирование стало доступным. Большое различие между графикой и AI — размер решаемой задачи: модели намного больше текстур в видеоиграх, что привело к резкому росту объёма high-bandwidth memory (HBM) на GPU и драматическим инновациям в межчиповом сетевом взаимодействии, позволяющем нескольким чипам работать как единая адресуемая система. Nvidia стала лидером в обоих направлениях.

Главный сценарий использования GPU — это обучение, и здесь особенно нагружается третий пункт. Внутри каждого шага обучения вычисления массово параллельны, однако сами шаги последовательны: каждый GPU должен поделиться своими результатами с каждым другим GPU, прежде чем сможет начаться следующий шаг. Именно поэтому модель с триллионом параметров должна помещаться в совокупной памяти десятков тысяч GPU, способных общаться как одна система. Nvidia доминирует в обеих этих областях: сначала обеспечив себя HBM раньше остальной индустрии, а затем благодаря инвестициям в сети.

Конечно, обучение не единственная AI-нагрузка: другая — это inference. Inference состоит из трёх основных частей:

Prefill кодирует всё, что должна знать LLM, в понятное состояние; это легко параллелится, и компьют здесь имеет значение. Первая часть decode подразумевает чтение KV cache — где хранится контекст, включая результат шага prefill, — для расчёта внимания. Это последовательный шаг, где важна пропускная способность памяти, но требования к объёму памяти переменны и всё больше. Вторая часть decode — это feed-forward-вычисление по весам модели; это тоже последовательный шаг, где важна пропускная способность, а требования к памяти определяются размером модели.

Два шага decode чередуются для каждого слоя модели (они перемежаются, а не идут друг за другом), то есть decode последователен и ограничен пропускной способностью памяти. Для каждого сгенерированного токена приходится читать два разных пула памяти: KV cache, который хранит контекст и растёт с каждым токеном, и сами веса модели. Оба должны быть прочитаны полностью, чтобы получить один выходной токен.

GPU справляются со всеми тремя требованиями: высокий компьют для prefill, обильная HBM для KV cache и весов модели, а также межчиповая сеть, чтобы объединять память нескольких чипов, когда одного GPU недостаточно. Иными словами, то, что работает для обучения, работает и для inference — взгляните на сделку SpaceX с Anthropic. Из блога Anthropic:

Мы подписали соглашение со SpaceX об использовании всей вычислительной мощности их дата-центра Colossus 1. Это даёт нам доступ к более чем 300 мегаваттам новой мощности (свыше 220 000 GPU NVIDIA) в течение месяца. Дополнительная мощность напрямую улучшит возможности для подписчиков Claude Pro и Claude Max.

SpaceX оставляет за собой Colossus 2 — предположительно для обучения будущих моделей и inference существующих — и может позволить себе и то, и другое в одном дата-центре именно потому, что модели xAI не сильно используются; что более важно для этой статьи — они могут делать и то, и другое в одном дата-центре, потому что и обучение, и inference выполняются на GPU. Более того, GPU, которые Anthropic арендует в Colossus 1, изначально тоже использовались для обучения; то, что GPU настолько универсальны, — большое преимущество.

Понимая Cerebras

Cerebras делает нечто совершенно иное. Диаметр кремниевой пластины — 300 мм, но «reticle limit» — максимальная площадь, которую литографический инструмент может экспонировать на этой пластине, — составляет примерно 26 мм x 33 мм. Это и есть эффективное ограничение размера чипов; чтобы выйти за него, нужно соединять два отдельных чипа через межчиповый интерпозер, что Nvidia как раз и сделала в B200. Cerebras же изобрела способ прокладывать проводку через так называемые «scribe lines» — границы между reticle-экспозициями, превращая целую пластину в один чип без необходимости относительно медленных межчиповых соединений.

В итоге получается чип с огромным количеством компьюта и большим объёмом SRAM, к которой можно обращаться с потрясающей скоростью. В цифрах: WSE-3 (последний чип Cerebras) имеет 44 ГБ on-chip SRAM при пропускной способности 21 ПБ/с; H100 имеет 80 ГБ HBM при 3,35 ТБ/с. То есть у WSE-3 чуть больше половины памяти H100, но в 6000 раз большая пропускная способность памяти.

Причина сравнивать WSE-3 именно с H100 в том, что H100 — самый используемый чип для inference, а inference — это явно то, для чего Cerebras подходит лучше всего. Чипы Cerebras можно использовать и для обучения, но история межчиповых сетей у них не очень убедительна, то есть весь этот компьют и on-chip-память по большей части простаивают; куда интереснее идея получать поток токенов со значительно более высокой скоростью, чем способен дать GPU.

Обратите, однако, внимание, что ограничение, касающееся обучения, потенциально применимо и к inference: пока всё помещается в on-chip-память, скорость Cerebras — это невероятный опыт; в тот момент, когда вам нужно больше памяти — будь то для большей модели или, что более вероятно, для большего KV cache, — Cerebras теряет смысл, особенно с учётом цены. Техника «вся пластина — это чип» означает, что высокий yield становится колоссальной проблемой, что сильно поднимает себестоимость.

При этом я всё же думаю, что для чипов в стиле Cerebras рынок будет: прямо сейчас компания делает акцент на пользе скорости для программирования — рассуждение требует много токенов, и значит, резкое наращивание токенов в секунду равносильно ускорению мышления, — но я считаю, что это временный сценарий, по причинам, которые поясню чуть позже. Что действительно важно — это то, как долго человек ждёт ответа, и по мере того, как такие продукты, как AI-носимые устройства, становятся всё более распространёнными, скорость взаимодействия, особенно для голоса, — которая будет зависеть от скорости генерации токенов, — окажет ощутимое влияние на пользовательский опыт.

Агентный inference

Я уже выдвигал тезис, в том числе в Agents Over Bubbles, что в эпоху LLM мы прошли через три переломные точки:

ChatGPT продемонстрировал полезность предсказания токенов. o1 представил идею рассуждения, где больше токенов означало лучшие ответы. Opus 4.5 и Claude Code представили первых пригодных к использованию агентов, которые реально могли выполнять задачи, используя комбинацию reasoning-моделей и «обвязки» (harness), задействующей инструменты, верификацию работы и т. д.

Всё это попадает под зонтик «inference», но, на мой взгляд, будет всё более очевидным различие между предоставлением ответа — я назову это «answer inference» — и выполнением задачи — я назову это «agentic inference». Целевой рынок Cerebras — «answer inference»; в долгосрочной перспективе, на мой взгляд, архитектура для «agentic inference» будет выглядеть совсем иначе, не только относительно подхода Cerebras, но и относительно подхода GPU.

Я упомянул выше, что быстрый inference для программирования — временный сценарий. Конкретно: программирование с LLM требует человека в петле. Это человек определяет, что именно нужно закодить, проверяет работу, коммитит pull request и так далее; однако несложно представить себе будущее, в котором всё это полностью обрабатывается машинами. Это будет относиться и к агентной работе в целом: истинная сила агентов будет не в том, что они делают работу для людей, а в том, что они делают работу вообще без участия людей.

А значит, скорее всего, лучший подход к решению agentic inference будет выглядеть совсем иначе, чем для answer inference. Самый важный аспект answer inference — это скорость токенов; самый важный аспект agentic inference — это память. Агентам нужен контекст, состояние и история. Часть этого будет жить как активный KV cache; часть — в host memory или SSD; многое — в базах данных, логах, эмбеддингах и объектных хранилищах. Важный момент в том, что agentic inference будет уже не столько о GPU, отвечающих на вопрос, сколько о иерархии памяти, окружающей модель.

Принципиально: такая формулировка специфической для агентов иерархии памяти подразумевает неизбежный размен скорости на ёмкость. Но вот в чём дело: более низкая скорость уже не настолько важна, если в петле нет человека. Если агент ждёт выполнения задачи, запущенной на ночь, ему всё равно, какое это окажет влияние на user experience; важнее всего возможность выполнить задачу, и если совершенно новые подходы к памяти делают это возможным, задержки приемлемы.

А раз задержки приемлемы, весь фокус на чистой вычислительной мощности и высокоскоростной памяти кажется неуместным: если latency — не главный приоритет, то более медленная и дешёвая память — например, обычная DRAM — становится куда более логичным выбором. И если система в основном ждёт память, чипам тоже не обязательно быть на острие прогресса. Это глубокий сдвиг в будущих архитектурах, но это не означает, что нынешние архитектуры исчезнут:

Обучение будет продолжать иметь значение, и нынешняя архитектура Nvidia, включая высокоскоростной компьют, большие объёмы high-bandwidth memory и высокоскоростные сети, скорее всего, продолжит доминировать. Answer inference останется значимым рынком, хотя и относительно небольшим, и скорость от чипов вроде Cerebras или Groq (я объяснял, как Nvidia использует LPU от Groq, здесь) будет весьма полезна. Agentic inference будет постепенно разбирать GPU, который чередует простаивание high-bandwidth memory (во время prefill) и простаивание компьюта (во время decode), в пользу всё более сложных иерархий памяти, где доминируют типы памяти с большой ёмкостью и относительно низкой стоимостью при «достаточно хорошем» компьюте; более того, скорее именно скорость CPU для таких вещей, как использование инструментов, будет иметь большее значение, чем скорость GPU.

При этом эти категории не будут равны по размеру и значимости. В частности, agentic inference будет крупнейшим рынком с большим отрывом, потому что это тот рынок, который не ограничен ни людьми, ни временем. Сегодняшние агенты — это причудливый answer inference; в будущем настоящий agentic inference будет работой, которую компьютеры делают по указаниям, выданным другими компьютерами, и размер рынка масштабируется не вместе с людьми, а вместе с компьютом.

Последствия agentic inference для компьюта

До сих пор фраза «масштабирование с компьютом» неявно означала бычий настрой по Nvidia. Однако значительная часть относительного преимущества Nvidia до сегодняшнего дня была функцией latency: чипы Nvidia обладают быстрым компьютом, но чтобы удерживать этот компьют занятым, требовались огромные инвестиции в постоянно растущую HBM-память и сети. Если же latency — не ключевое ограничение, то подход Nvidia уже выглядит не настолько достойным премии.

Nvidia осознаёт этот сдвиг: компания запустила inference-фреймворк под названием Dynamo, который помогает дезагрегировать разные части inference, а также выпускает продукты вроде самостоятельных стоек с памятью и CPU, чтобы поддерживать всё более крупные KV cache и более быстрое использование инструментов, — лишь бы удерживать дорогие GPU занятыми. В конечном счёте, однако, легко представить, что стоимость и простота будут всё более привлекательны для гиперскейлеров в случае agentic inference, который вовсе не ограничен GPU.

Китай же, при всём отсутствии передового компьюта, обладает всем необходимым для agentic inference: достаточно быстрыми (хоть и не передовыми) GPU, достаточно быстрыми (хоть и не передовыми) CPU, DRAM, жёсткими дисками и т. д. Сложность, конечно, в компьюте для обучения; возможно также, что answer inference важнее для национальной безопасности, по крайней мере в военных применениях.

Другой интересный угол — космос: более медленные чипы реально делают космические дата-центры более жизнеспособными по нескольким причинам. Во-первых, если память можно вынести отдельно, чипы могут быть гораздо проще и работать гораздо холоднее. Во-вторых, более старые техпроцессы за счёт физически большего размера лучше переносят космическое излучение. В-третьих, старые техпроцессы требуют меньше энергии, а значит, и меньше тепла нужно рассеивать через излучение. В-четвёртых, отказ от передового рубежа означает более высокую надёжность — важный фактор, ведь спутники не подлежат ремонту.

CEO Nvidia Дженсен Хуанг регулярно повторяет, что «закон Мура мёртв»; он имеет в виду, что будущее ускорения вычислений — это функция системных инноваций, чем Nvidia как раз и занимается. Возможно, однако, самое глубокое следствие появления агентов, действующих без человека в петле, будет в том, что закон Мура не имеет значения, и что способ получить больше компьюта — осознать, что компьюта, который у нас уже есть, более чем достаточно.