[AINews] The Custom ASIC Thesis
Компания Taalas, которой 2,5 года, представила продакшн-API для Llama 3.1 8B на собственных ASIC-чипах, выдающий рекордные 16 960 токенов в секунду на пользователя. Martin Casado из a16z обосновывает экономическую целесообразность создания специализированных ASIC под конкретную модель: при стоимости обучения в миллиард долларов даже 20%-ная экономия на инференсе окупает разработку чипа за $200 млн. Пока кастомные чипы отстают от фронтира примерно на 1,5 года по качеству моделей, но этот разрыв сократится по мере стандартизации архитектур LLM и перехода к совместному проектированию моделей и чипов (как в сделке OpenAI с Broadcom). В обзоре AI-новостей также обсуждается Gemini 3.1 Pro, который показывает сильные результаты в бенчмарках поиска (MRCR), но вызывает жалобы на нестабильность в реальном использовании. Поднимается вопрос методологии SWE-bench Verified и проблема сравнимости результатов разных лабораторий.
[AINews] The Custom ASIC Thesis
[AINews] Тезис о кастомных ASIC
Taalas HC1 runs 16,960 tok/s/user Llama 3.1 8B with custom silicon. Actually fast LLMs are on their way...
HC1 от Taalas выдаёт 16 960 ток/с/пользователь на Llama 3.1 8B с помощью кастомного кремния. По-настоящему быстрые LLM уже на подходе...
AI News for 2/19/2026-2/20/2026. We checked 12 subreddits, 544 Twitters and 24 Discords (262 channels, and 12582 messages) for you. Estimated reading time saved (at 200wpm): 1242 minutes. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!
AI-новости за 19–20 февраля 2026 г. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и 24 Discord-сервера (262 канала и 12 582 сообщения) для вас. Примерная экономия времени на чтение (при 200 сл/мин): 1242 минуты. На сайте AINews можно искать по всем прошлым выпускам. Напоминаем: AINews теперь является разделом Latent Space. Вы можете включить или отключить email-рассылку!
Congrats to the ggml + Huggingface team, note the Opus 4.6 METR debate, and read Chris Lattner’s Claude C Compiler analysis. But those aren’t the top stories.
Поздравляем команду ggml + Hugging Face, обратите внимание на дискуссию METR об Opus 4.6 и прочитайте анализ Claude C Compiler от Chris Lattner. Но это не главные новости.
Today, 2.5 year old Taalas announced a shockingly fast 16,960 tokens per second per user production API service for the Llama 3.1 8B model (launched July 2024):
Сегодня 2,5-летняя компания Taalas объявила о продакшн-API с поразительной скоростью 16 960 токенов в секунду на пользователя для модели Llama 3.1 8B (вышла в июле 2024):
While there are some other non-speed gains (less build cost and power draw), it is also offset by some other footnotes on quantization (which they note the HC2 will resolve with standardized low precision FP4).
Помимо скорости, есть и другие преимущества (меньшая стоимость производства и энергопотребление), однако они частично нивелируются некоторыми оговорками по квантизации (которые, по заявлению компании, решит HC2 с стандартизированным низкоточным форматом FP4).
This is an impressive result…. that we have no idea how to productize yet. And anytime there is a huge capability overhang opening up, AI Engineers should rush in to figure out the “capability market fit”.
Это впечатляющий результат… для которого мы пока не знаем, как найти продуктовое применение. И всякий раз, когда открывается огромный разрыв между возможностями и их использованием, AI-инженеры должны бросаться искать «capability market fit».
As for the overall proposition of going custom ASIC, we’re still thinking about this week’s Latent Space with Martin Casado and Sarah Wang, where Martin reiterated his conviction in the math of doing custom accelerators (ASICs) PER MODEL, essentially “baking the LLM into silicon”, foreshadowing the OpenAI Broadcom deal:
Что касается общего тезиса о переходе на кастомные ASIC, мы всё ещё обдумываем выпуск Latent Space этой недели с Martin Casado и Sarah Wang, где Martin повторил свою убеждённость в математике создания кастомных ускорителей (ASIC) ПОД КАЖДУЮ МОДЕЛЬ — по сути «вплавляя LLM в кремний», предвосхищая сделку OpenAI с Broadcom:
Martin: It makes sense to actually do a custom ASIC if you can do it in time. The question now is timelines, but not money because rough math:
Martin: Имеет смысл делать кастомный ASIC, если успеваешь по срокам. Сейчас вопрос именно в сроках, а не в деньгах, потому что грубая арифметика такова:
If it’s a billion dollar training run, then the inference for that model has to be over a billion, otherwise it won’t be solvent.
So let’s assume if you could save 20%, (which you could save much more than 20% with an ASIC), that’s $200 million.
You can tape out a chip for $200 million.
Если тренировочный прогон стоит миллиард долларов, то инференс этой модели должен стоить больше миллиарда, иначе экономика не сойдётся. Допустим, вы сэкономите 20% (а с ASIC можно сэкономить гораздо больше 20%) — это $200 миллионов. За $200 миллионов можно сделать тейпаут чипа.
Right? So now you can literally like justify economically, not timeline wise. That’s a different issue.
Верно? То есть экономически это уже оправдано, вопрос лишь в сроках. Это другая проблема.
swyx: An ASIC per model, because that, that’s how much we leave on the table every single time we do generic Nvidia.
swyx: ASIC под каждую модель — потому что именно столько мы теряем каждый раз, используя универсальные чипы Nvidia.
Martin Casado: Exactly. No, it, it is actually much more than that. You could probably get, you know, a factor of two, which would be 500 million. Typical MFU would be like 50.
Martin Casado: Именно. Нет, на самом деле даже больше. Можно получить, знаете, двукратный выигрыш, а это $500 миллионов. Типичный MFU — около 50.
We understand the tradeoffs that custom chips offer faster/cheaper inference in exchange for lower model quality (by being, in Taalas’ case, 1.5 years behind the frontier), but that gap is virtually certain to close as LLMs continue to standardize in architecture and, more to the point, OpenAI and others start doing fully integrated model-chip codesign as Martin predicts. It’s not even about the cost savings at this point - the potential of actual frontier quality + >20,000 tok/s inference is incomprehensible to AI Engineers of today and we should start those thought experiments and product surfaces today with an expectation that we’ll get there in under 2 years from today.
Мы понимаем компромиссы, которые предлагают кастомные чипы: более быстрый и дешёвый инференс в обмен на более низкое качество модели (в случае Taalas — отставание от фронтира на 1,5 года). Но этот разрыв почти наверняка сократится по мере стандартизации архитектур LLM и, что ещё важнее, когда OpenAI и другие начнут полноценное совместное проектирование модели и чипа, как предсказывает Martin. Дело уже не только в экономии — потенциал фронтирного качества + инференса на >20 000 ток/с непостижим для сегодняшних AI-инженеров, и нам стоит уже сейчас начинать мысленные эксперименты и продуктовые прототипы с расчётом на то, что мы достигнем этого менее чем за 2 года.
AI Twitter Recap
Обзор AI-твиттера
Frontier model evals: Gemini 3.1 Pro, SWE-bench, MRCR, and “bipolar” real‑world performance
Оценки фронтирных моделей: Gemini 3.1 Pro, SWE-bench, MRCR и «биполярная» производительность в реальном мире
Gemini 3.1 Pro shows strong retrieval + mixed agentic usability: Context Arena’s MRCR update reports Gemini 3.1 Pro Preview near-ties GPT‑5.2 (thinking:xhigh) on easier retrieval (2‑needle @128k AUC 99.6% vs 99.8%) and notably stronger on harder multi‑needle retrieval (8‑needle @128k AUC 87.8%, beating GPT‑5.2 thinking tiers reported there) (DillonUzar). Separately, Artificial Analysis highlights a likely underappreciated angle: token efficiency + price; they claim their Intelligence Index suite cost $892 on Gemini 3.1 Pro Preview vs $2,304 (GPT‑5.2 xhigh) and $2,486 (Opus 4.6 max), with fewer tokens consumed than GPT‑5.2 in their runs (ArtificialAnlys).
But engineers report “bench strength, product weakness”: multiple threads complain Gemini’s tooling/harnesses lag—e.g., model availability inconsistencies in the CLI and buggy agent behavior in “Antigravity,” plus a worrying “UI lies / model lies” confusion where the app claims Gemini but reports Claude underneath (Yuchenj_UW, Yuchenj_UW). Even enthusiastic takes (“faster horse”) are juxtaposed with frustration about actually using it day‑to‑day (theo).
SWE-bench Verified evaluation methodology matters again: MiniMax points to an “independent look” at SWE-bench Verified results for MiniMax M2.5 under the same setup, implying earlier comparisons across labs may have been apples-to-oranges (MiniMax_AI). Epoch AI explicitly acknowledges this failure mode: they updated SWE‑bench Verified methodology because their prior runs were systematically different from others, and now see results closer to developer‑reported scores (EpochAIResearch).
Benchmark oddities are prompting “what are we measuring?” debates: one example—frontier models “smash ARC-AGI” yet struggle with Connect 4, suggesting ARC‑style puzzles may capture only a narrow slice of spatial/game reasoning despite being designed to resist overfitting (paul_cal). Another thread expects only a few models to make progress on a “simple harness” for ARC‑AGI‑3 and flags cost as the constraint (scaling01, scaling01).
Gemini 3.1 Pro показывает сильный поиск + неоднозначную агентную пригодность: обновление MRCR от Context Arena сообщает, что Gemini 3.1 Pro Preview практически сравнялся с GPT-5.2 (thinking:xhigh) в более лёгких задачах на извлечение (2 иголки @128k AUC 99,6% против 99,8%) и заметно сильнее в сложном многоигольном поиске (8 иголок @128k AUC 87,8%, превосходя уровни thinking GPT-5.2, указанные там) (DillonUzar). Отдельно Artificial Analysis обращает внимание на вероятно недооценённый аспект: эффективность токенов + цена; они утверждают, что их Intelligence Index обошёлся в $892 на Gemini 3.1 Pro Preview против $2 304 (GPT-5.2 xhigh) и $2 486 (Opus 4.6 max), при меньшем расходе токенов, чем у GPT-5.2 (ArtificialAnlys).Но инженеры сообщают: «силён в бенчмарках, слаб в продукте»: множество тредов жалуются на отставание инструментария Gemini — например, несогласованность доступности моделей в CLI и баги агентного поведения в «Antigravity», а также тревожная путаница «UI врёт / модель врёт», когда приложение заявляет Gemini, но под капотом оказывается Claude (Yuchenj_UW, Yuchenj_UW). Даже восторженные отзывы («более быстрая лошадь») соседствуют с разочарованием от повседневного использования (theo).Методология оценки SWE-bench Verified снова в центре внимания: MiniMax указывает на «независимый взгляд» на результаты SWE-bench Verified для MiniMax M2.5 при той же конфигурации, подразумевая, что прежние сравнения между лабораториями могли быть некорректными (MiniMax_AI). Epoch AI прямо признаёт эту проблему: они обновили методологию SWE-bench Verified, поскольку их предыдущие прогоны систематически отличались от чужих, и теперь видят результаты ближе к заявленным разработчиками (EpochAIResearch).Аномалии бенчмарков порождают дискуссии «что мы вообще измеряем?»: один пример — фронтирные модели «разносят ARC-AGI», но буксуют в Connect 4, что намекает на то, что ARC-стиль головоломок может отражать лишь узкий срез пространственного/игрового мышления, несмотря на защиту от переобучения (paul_cal). В другом треде ожидают, что лишь несколько моделей продвинутся в «простом харнесе» ARC-AGI-3, и отмечают стоимость как ограничивающий фактор (scaling01, scaling01).
Keep reading with a 7-day free trial
Продолжить чтение с 7-дневной бесплатной пробной подпиской
Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.
Подпишитесь на Latent.Space, чтобы продолжить чтение этой статьи и получить 7 дней бесплатного доступа к полному архиву публикаций.