The Inference Shift

The Inference Shift

The Inference Shift

Listen to Podcast

Слушать подкаст

Listen to this post:

Послушать этот пост:

If you were looking for the ideal time to IPO, being a chip company in May 2026 is hard to beat. Reuters reported over the weekend:

Если вы искали идеальный момент для IPO, быть чипмейкером в мае 2026 года — это сложно превзойти. Reuters сообщило на выходных:

Cerebras Systems is set to raise the size and price of its initial public offering as soon as Monday, as demand for the artificial intelligence chipmaker’s shares continues to climb, two people familiar with the matter told Reuters on Sunday. The company is considering a new IPO price range of $150-$160 a share, up from $115-$125 a share, and raising the number of shares marketed to 30 million from 28 million, said the sources, who asked not to be identified because the information isn’t public yet.

Cerebras Systems готова увеличить объём и цену своего первичного публичного размещения уже в понедельник, поскольку спрос на акции производителя чипов для искусственного интеллекта продолжает расти, сообщили Reuters в воскресенье два источника, знакомых с ситуацией. Компания рассматривает новый ценовой диапазон IPO в $150-$160 за акцию вместо $115-$125, а также увеличение числа выставляемых акций с 28 до 30 миллионов, рассказали источники, попросившие не называть их имён, поскольку информация ещё не публична.

The fundamental driver of the ongoing surge in semiconductor stocks is, of course, AI, particularly the realization that agents are going to need a lot of compute. What Cerebras represents, however, is something broader: while the compute story for AI has been largely about GPUs, particularly from Nvidia, the future is going to look increasingly heterogeneous.

Фундаментальный драйвер продолжающегося ралли акций полупроводниковых компаний — это, конечно, AI, и в особенности осознание того, что агентам потребуется огромное количество вычислений. Но Cerebras представляет собой нечто более широкое: пока история компьюта для AI была в основном про GPU, особенно от Nvidia, будущее будет выглядеть всё более гетерогенно.

The GPU Era

Эра GPU

The story of how Graphics Processing Units became the center of AI is a well-trodden one, but in brief:

История того, как графические процессоры стали центром AI, хорошо известна, но если вкратце:

Так же, как отрисовка пикселей на экране была параллельным процессом, что означало прямую связь между числом вычислительных блоков и скоростью графики, выполнение AI-расчётов тоже параллельный процесс, что означало прямую связь между числом вычислительных блоков и скоростью расчётов. Nvidia обеспечила это двойное применение, сделав свои графические процессоры программируемыми, и создала целую программную экосистему CUDA, чтобы это программирование стало доступным. Большое различие между графикой и AI — размер решаемой задачи: модели намного больше текстур в видеоиграх, что привело к резкому росту объёма high-bandwidth memory (HBM) на GPU и драматическим инновациям в межчиповом сетевом взаимодействии, позволяющем нескольким чипам работать как единая адресуемая система. Nvidia стала лидером в обоих направлениях.

The number one use case for GPUs has been training, which stresses the third point in particular. While the calculations within each training step are massively parallel, the steps themselves are serial: every GPU has to share its results with every other GPU before the next step can begin. This is why a trillion-parameter model needs to fit in the aggregate memory of tens of thousands of GPUs that can communicate as one system. Nvidia dominates both problem spaces, first by securing HBM ahead of the rest of the industry, and second thanks to its investments in networking.

Главный сценарий использования GPU — это обучение, и здесь особенно нагружается третий пункт. Внутри каждого шага обучения вычисления массово параллельны, однако сами шаги последовательны: каждый GPU должен поделиться своими результатами с каждым другим GPU, прежде чем сможет начаться следующий шаг. Именно поэтому модель с триллионом параметров должна помещаться в совокупной памяти десятков тысяч GPU, способных общаться как одна система. Nvidia доминирует в обеих этих областях: сначала обеспечив себя HBM раньше остальной индустрии, а затем благодаря инвестициям в сети.

Of course training isn’t the only AI workload: the other is inference. Inference has three main parts:

Конечно, обучение не единственная AI-нагрузка: другая — это inference. Inference состоит из трёх основных частей:

Prefill кодирует всё, что должна знать LLM, в понятное состояние; это легко параллелится, и компьют здесь имеет значение. Первая часть decode подразумевает чтение KV cache — где хранится контекст, включая результат шага prefill, — для расчёта внимания. Это последовательный шаг, где важна пропускная способность памяти, но требования к объёму памяти переменны и всё больше. Вторая часть decode — это feed-forward-вычисление по весам модели; это тоже последовательный шаг, где важна пропускная способность, а требования к памяти определяются размером модели.

The two decode steps alternate for every layer of the model (they’re interleaved, not in sequence), which is to say that decode is serial and memory-bandwidth bound. For every token generated, two distinct memory pools must be read: the KV cache, which stores context and grows with each token, and the model weights themselves. Both must be read in full to produce a single output token.

Два шага decode чередуются для каждого слоя модели (они перемежаются, а не идут друг за другом), то есть decode последователен и ограничен пропускной способностью памяти. Для каждого сгенерированного токена приходится читать два разных пула памяти: KV cache, который хранит контекст и растёт с каждым токеном, и сами веса модели. Оба должны быть прочитаны полностью, чтобы получить один выходной токен.

GPUs handle all three needs: high compute for prefill, abundant HBM for KV cache and model weights, and chip-to-chip networking to pool memory across multiple chips when a single GPU isn’t enough. In other words, what works for training works for inference — look no further than the deal SpaceX made with Anthropic. From Anthropic’s blog:

GPU справляются со всеми тремя требованиями: высокий компьют для prefill, обильная HBM для KV cache и весов модели, а также межчиповая сеть, чтобы объединять память нескольких чипов, когда одного GPU недостаточно. Иными словами, то, что работает для обучения, работает и для inference — взгляните на сделку SpaceX с Anthropic. Из блога Anthropic:

We’ve signed an agreement with SpaceX to use all of the compute capacity at their Colossus 1 data center. This gives us access to more than 300 megawatts of new capacity (over 220,000 NVIDIA GPUs) within the month. This additional capacity will directly improve capacity for Claude Pro and Claude Max subscribers.

Мы подписали соглашение со SpaceX об использовании всей вычислительной мощности их дата-центра Colossus 1. Это даёт нам доступ к более чем 300 мегаваттам новой мощности (свыше 220 000 GPU NVIDIA) в течение месяца. Дополнительная мощность напрямую улучшит возможности для подписчиков Claude Pro и Claude Max.

SpaceX retains Colossus 2 — presumably for both training of future models and inference of existing ones — and can afford to do both in the same data center precisely because xAI’s models aren’t getting much usage; more pertinently to this piece, they can do both in the same data center because both training and inference can be done on GPUs. Indeed, the GPUs Anthropic is contracting for at Colossus 1 were originally used for training as well; the fact that GPUs are so flexible is a big advantage.

SpaceX оставляет за собой Colossus 2 — предположительно для обучения будущих моделей и inference существующих — и может позволить себе и то, и другое в одном дата-центре именно потому, что модели xAI не сильно используются; что более важно для этой статьи — они могут делать и то, и другое в одном дата-центре, потому что и обучение, и inference выполняются на GPU. Более того, GPU, которые Anthropic арендует в Colossus 1, изначально тоже использовались для обучения; то, что GPU настолько универсальны, — большое преимущество.

Understanding Cerebras

Понимая Cerebras

Cerebras makes something completely different. While a silicon wafer has a diameter of 300mm, the “reticle limit” — the maximum area that a lithography tool can expose on that wafer — is around 26mm x 33mm. This is the effective size limit for chips; going beyond that entails linking two separate chips together over a chip-to-chip interposer, which is exactly what Nvidia has done with the B200. Cerebras, on the other hand, has invented a way to lay down wiring across the so-called “scribe lines” that are the boundary between reticle exposures, making the entire wafer into a single chip with no need for relatively slow chip-to-chip linkages.

Cerebras делает нечто совершенно иное. Диаметр кремниевой пластины — 300 мм, но «reticle limit» — максимальная площадь, которую литографический инструмент может экспонировать на этой пластине, — составляет примерно 26 мм x 33 мм. Это и есть эффективное ограничение размера чипов; чтобы выйти за него, нужно соединять два отдельных чипа через межчиповый интерпозер, что Nvidia как раз и сделала в B200. Cerebras же изобрела способ прокладывать проводку через так называемые «scribe lines» — границы между reticle-экспозициями, превращая целую пластину в один чип без необходимости относительно медленных межчиповых соединений.

The net result is a chip with a lot of compute and a lot of SRAM that is blisteringly fast to access. To put it in numbers, the WSE-3 (Cerebras’ latest chip) has 44GB of on-chip SRAM at 21 PB/s of bandwidth; an H100 has 80GB of HBM at 3.35 TB/s. In other words, the WSE-3 has just over half the memory of an H100, but 6,000 times the memory bandwidth.

В итоге получается чип с огромным количеством компьюта и большим объёмом SRAM, к которой можно обращаться с потрясающей скоростью. В цифрах: WSE-3 (последний чип Cerebras) имеет 44 ГБ on-chip SRAM при пропускной способности 21 ПБ/с; H100 имеет 80 ГБ HBM при 3,35 ТБ/с. То есть у WSE-3 чуть больше половины памяти H100, но в 6000 раз большая пропускная способность памяти.

The reason to compare the WSE-3 to an H100 is that the H100 is the chip most used for inference — and inference is clearly what Cerebras is most well-suited for. You can use Cerebras chips for training, but the chip-to-chip networking story isn’t very compelling, which is to say that all of that compute and on-chip memory is mostly just sitting around; what is much more interesting is the idea of getting a stream of tokens at dramatically faster speed than you can from a GPU.

Причина сравнивать WSE-3 именно с H100 в том, что H100 — самый используемый чип для inference, а inference — это явно то, для чего Cerebras подходит лучше всего. Чипы Cerebras можно использовать и для обучения, но история межчиповых сетей у них не очень убедительна, то есть весь этот компьют и on-chip-память по большей части простаивают; куда интереснее идея получать поток токенов со значительно более высокой скоростью, чем способен дать GPU.

Note, however, that the limitation in terms of training also potentially applies in terms of inference: as long as everything fits in on-chip memory Cerebras’ speed is an incredible experience; the moment you need more memory, whether that be for a larger model or, more likely, a larger KV cache, then Cerebras doesn’t make much sense, particularly given the price. That whole-wafer-as-chip technique means high yields are a massive challenge, which hugely drives up costs.

Обратите, однако, внимание, что ограничение, касающееся обучения, потенциально применимо и к inference: пока всё помещается в on-chip-память, скорость Cerebras — это невероятный опыт; в тот момент, когда вам нужно больше памяти — будь то для большей модели или, что более вероятно, для большего KV cache, — Cerebras теряет смысл, особенно с учётом цены. Техника «вся пластина — это чип» означает, что высокий yield становится колоссальной проблемой, что сильно поднимает себестоимость.

At the same time, I do think there will be a market for Cerebras-style chips: right now the company is highlighting the usefulness of speed for coding — reasoning means a lot of tokens, which means that dramatically scaling up tokens-per-second equals faster thinking — but I think this is a temporary use case, for reasons I’ll explain in a bit. What does matter is how long humans are waiting for an answer, and as products like AI wearables become more of a thing, the speed of interaction, particularly for voice — which will be a function of token generation speed — will have a tangible effect on the user experience.

При этом я всё же думаю, что для чипов в стиле Cerebras рынок будет: прямо сейчас компания делает акцент на пользе скорости для программирования — рассуждение требует много токенов, и значит, резкое наращивание токенов в секунду равносильно ускорению мышления, — но я считаю, что это временный сценарий, по причинам, которые поясню чуть позже. Что действительно важно — это то, как долго человек ждёт ответа, и по мере того, как такие продукты, как AI-носимые устройства, становятся всё более распространёнными, скорость взаимодействия, особенно для голоса, — которая будет зависеть от скорости генерации токенов, — окажет ощутимое влияние на пользовательский опыт.

Agentic Inference

Агентный inference

I have previously made the case, including in Agents Over Bubbles, that we have gone through three inflection points in the LLM era:

Я уже выдвигал тезис, в том числе в Agents Over Bubbles, что в эпоху LLM мы прошли через три переломные точки:

ChatGPT продемонстрировал полезность предсказания токенов. o1 представил идею рассуждения, где больше токенов означало лучшие ответы. Opus 4.5 и Claude Code представили первых пригодных к использованию агентов, которые реально могли выполнять задачи, используя комбинацию reasoning-моделей и «обвязки» (harness), задействующей инструменты, верификацию работы и т. д.

All of this falls under the banner of “inference”, but I think it will be increasingly clear that there is a difference between providing an answer — what I will call “answer inference” — and doing a task — what I will call “agentic inference.” Cerebras’ target market is “answer inference”; in the long run, I think the architecture for “agentic inference” will look a lot different, not just from Cerebras’ approach, but from the GPU approach as well.

Всё это попадает под зонтик «inference», но, на мой взгляд, будет всё более очевидным различие между предоставлением ответа — я назову это «answer inference» — и выполнением задачи — я назову это «agentic inference». Целевой рынок Cerebras — «answer inference»; в долгосрочной перспективе, на мой взгляд, архитектура для «agentic inference» будет выглядеть совсем иначе, не только относительно подхода Cerebras, но и относительно подхода GPU.

I mentioned above that fast inference for coding is a temporary use case. Specifically, coding with LLMs requires a human in the loop. It’s the human that defines what is to be coded, checks the work, commits the pull request, etc.; it’s not hard to envision a future, however, where all of this is completely handled by machines. This will apply to agentic work broadly: the true power of agents will not be that they do work for humans, but rather that they do work without human involvement at all.

Я упомянул выше, что быстрый inference для программирования — временный сценарий. Конкретно: программирование с LLM требует человека в петле. Это человек определяет, что именно нужно закодить, проверяет работу, коммитит pull request и так далее; однако несложно представить себе будущее, в котором всё это полностью обрабатывается машинами. Это будет относиться и к агентной работе в целом: истинная сила агентов будет не в том, что они делают работу для людей, а в том, что они делают работу вообще без участия людей.

This, by extension, will mean that the likely best approach to solving agentic inference will look a lot different than answer inference. The most important aspect for answer inference is token speed; the most important aspect for agentic inference, however, is memory. Agents need context, state, and history. Some of that will live as active KV cache; some will live in host memory or SSDs; much of it will live in databases, logs, embeddings, and object stores. The important point is that agentic inference will be less about GPUs answering a question and more about the memory hierarchy wrapped around a model.

А значит, скорее всего, лучший подход к решению agentic inference будет выглядеть совсем иначе, чем для answer inference. Самый важный аспект answer inference — это скорость токенов; самый важный аспект agentic inference — это память. Агентам нужен контекст, состояние и история. Часть этого будет жить как активный KV cache; часть — в host memory или SSD; многое — в базах данных, логах, эмбеддингах и объектных хранилищах. Важный момент в том, что agentic inference будет уже не столько о GPU, отвечающих на вопрос, сколько о иерархии памяти, окружающей модель.

Critically, this articulation of an agentic-specific memory hierarchy implies a necessary trade-off of speed for capacity. Here’s the thing, though: lower speed isn’t nearly as important a consideration if there isn’t a human in the loop. If an agent is waiting around for a job that is being run overnight, the agent doesn’t know or care about the user experience impact; what is most important is being able to accomplish a task, and if entirely new approaches to memory make that possible, then delays are fine.

Принципиально: такая формулировка специфической для агентов иерархии памяти подразумевает неизбежный размен скорости на ёмкость. Но вот в чём дело: более низкая скорость уже не настолько важна, если в петле нет человека. Если агент ждёт выполнения задачи, запущенной на ночь, ему всё равно, какое это окажет влияние на user experience; важнее всего возможность выполнить задачу, и если совершенно новые подходы к памяти делают это возможным, задержки приемлемы.

Meanwhile, if delays are fine, then all of the focus on pure compute power and high-bandwidth memory seems out of place: if latency isn’t the top priority, then slower and cheaper memory — like traditional DRAM, for example — makes a lot more sense. And if the entire system is mostly waiting on memory, then chips don’t need to be as fast as the cutting edge either. This represents a profound shift in future architectures, but it also doesn’t mean that current architectures are going away:

А раз задержки приемлемы, весь фокус на чистой вычислительной мощности и высокоскоростной памяти кажется неуместным: если latency — не главный приоритет, то более медленная и дешёвая память — например, обычная DRAM — становится куда более логичным выбором. И если система в основном ждёт память, чипам тоже не обязательно быть на острие прогресса. Это глубокий сдвиг в будущих архитектурах, но это не означает, что нынешние архитектуры исчезнут:

Обучение будет продолжать иметь значение, и нынешняя архитектура Nvidia, включая высокоскоростной компьют, большие объёмы high-bandwidth memory и высокоскоростные сети, скорее всего, продолжит доминировать. Answer inference останется значимым рынком, хотя и относительно небольшим, и скорость от чипов вроде Cerebras или Groq (я объяснял, как Nvidia использует LPU от Groq, здесь) будет весьма полезна. Agentic inference будет постепенно разбирать GPU, который чередует простаивание high-bandwidth memory (во время prefill) и простаивание компьюта (во время decode), в пользу всё более сложных иерархий памяти, где доминируют типы памяти с большой ёмкостью и относительно низкой стоимостью при «достаточно хорошем» компьюте; более того, скорее именно скорость CPU для таких вещей, как использование инструментов, будет иметь большее значение, чем скорость GPU.

At the same time, these categories won’t be equal in size or importance. Specifically, agentic inference will be the largest market by far, because that is the market that won’t be limited by humans or time. Today’s agents are fancy answer inference; in the future true agentic inference will be work done by computers according to dictates given by other computers, and the market size scales not with humans but with compute.

При этом эти категории не будут равны по размеру и значимости. В частности, agentic inference будет крупнейшим рынком с большим отрывом, потому что это тот рынок, который не ограничен ни людьми, ни временем. Сегодняшние агенты — это причудливый answer inference; в будущем настоящий agentic inference будет работой, которую компьютеры делают по указаниям, выданным другими компьютерами, и размер рынка масштабируется не вместе с людьми, а вместе с компьютом.

The Implications of Agentic Inference on Compute

Последствия agentic inference для компьюта

To date the invocation of “scaling with compute” has implicitly meant Nvidia bullishness. However, much of Nvidia’s relative advantage to date has been a function of latency: Nvidia chips have fast compute, but keeping that compute busy has required big investments in ever-expanding HBM memory and networking. If latency isn’t the key constraint, however, then Nvidia’s approach seems less worth paying a premium for.

До сих пор фраза «масштабирование с компьютом» неявно означала бычий настрой по Nvidia. Однако значительная часть относительного преимущества Nvidia до сегодняшнего дня была функцией latency: чипы Nvidia обладают быстрым компьютом, но чтобы удерживать этот компьют занятым, требовались огромные инвестиции в постоянно растущую HBM-память и сети. Если же latency — не ключевое ограничение, то подход Nvidia уже выглядит не настолько достойным премии.

Nvidia does recognize this shift: the company launched an inference framework called Dynamo that helps disaggregate different parts of inference, and is shipping products like standalone memory and CPU racks to enable increasingly large KV caches and faster tool use, the better to keep their expensive GPUs busy. Ultimately, however, it’s easy to see cost and simplicity being increasingly attractive to hyperscalers for agentic inference that isn’t remotely GPU-bound.

Nvidia осознаёт этот сдвиг: компания запустила inference-фреймворк под названием Dynamo, который помогает дезагрегировать разные части inference, а также выпускает продукты вроде самостоятельных стоек с памятью и CPU, чтобы поддерживать всё более крупные KV cache и более быстрое использование инструментов, — лишь бы удерживать дорогие GPU занятыми. В конечном счёте, однако, легко представить, что стоимость и простота будут всё более привлекательны для гиперскейлеров в случае agentic inference, который вовсе не ограничен GPU.

China, meanwhile, for all of its lack of leading edge compute, has everything it needs for agentic inference: fast-enough (but not leading-edge) GPUs, fast-enough (but not leading-edge) CPUs, DRAM, hard drives, etc. The challenge, of course, is compute for training; it’s also possible that answer inference is more important for national security, at least when it comes to military applications.

Китай же, при всём отсутствии передового компьюта, обладает всем необходимым для agentic inference: достаточно быстрыми (хоть и не передовыми) GPU, достаточно быстрыми (хоть и не передовыми) CPU, DRAM, жёсткими дисками и т. д. Сложность, конечно, в компьюте для обучения; возможно также, что answer inference важнее для национальной безопасности, по крайней мере в военных применениях.

The other interesting angle is space: slower chips actually make space data centers more viable for a number of reasons. First, if memory can be offloaded, chips can be made much simpler and run much cooler. Second, older nodes, by virtue of being physically larger, will better withstand space radiation. Third, older nodes require less power, which means there will be less heat to dissipate via radiation. Fourth, not being on the bleeding edge will mean higher reliability, an important consideration given that satellites won’t be repairable.

Другой интересный угол — космос: более медленные чипы реально делают космические дата-центры более жизнеспособными по нескольким причинам. Во-первых, если память можно вынести отдельно, чипы могут быть гораздо проще и работать гораздо холоднее. Во-вторых, более старые техпроцессы за счёт физически большего размера лучше переносят космическое излучение. В-третьих, старые техпроцессы требуют меньше энергии, а значит, и меньше тепла нужно рассеивать через излучение. В-четвёртых, отказ от передового рубежа означает более высокую надёжность — важный фактор, ведь спутники не подлежат ремонту.

Nvidia CEO Jensen Huang regularly says that “Moore’s Law is Dead”; what he means is that the future of computing speed-ups will be a function of systems innovation, which is exactly what Nvidia has done. Maybe the most profound implication of agents that act without humans in the loop, however, will be that Moore’s Law doesn’t matter, and that the way we get more compute is by realizing that the compute we have is already good enough.

CEO Nvidia Дженсен Хуанг регулярно повторяет, что «закон Мура мёртв»; он имеет в виду, что будущее ускорения вычислений — это функция системных инноваций, чем Nvidia как раз и занимается. Возможно, однако, самое глубокое следствие появления агентов, действующих без человека в петле, будет в том, что закон Мура не имеет значения, и что способ получить больше компьюта — осознать, что компьюта, который у нас уже есть, более чем достаточно.