[AINews] The Custom ASIC Thesis
Компания Taalas, которой 2,5 года, представила продакшн-API для Llama 3.1 8B на собственных ASIC-чипах, выдающий рекордные 16 960 токенов в секунду на пользователя. Martin Casado из a16z обосновывает экономическую целесообразность создания специализированных ASIC под конкретную модель: при стоимости обучения в миллиард долларов даже 20%-ная экономия на инференсе окупает разработку чипа за $200 млн. Пока кастомные чипы отстают от фронтира примерно на 1,5 года по качеству моделей, но этот разрыв сократится по мере стандартизации архитектур LLM и перехода к совместному проектированию моделей и чипов (как в сделке OpenAI с Broadcom). В обзоре AI-новостей также обсуждается Gemini 3.1 Pro, который показывает сильные результаты в бенчмарках поиска (MRCR), но вызывает жалобы на нестабильность в реальном использовании. Поднимается вопрос методологии SWE-bench Verified и проблема сравнимости результатов разных лабораторий.
[AINews] Тезис о кастомных ASIC
HC1 от Taalas выдаёт 16 960 ток/с/пользователь на Llama 3.1 8B с помощью кастомного кремния. По-настоящему быстрые LLM уже на подходе...
AI-новости за 19–20 февраля 2026 г. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и 24 Discord-сервера (262 канала и 12 582 сообщения) для вас. Примерная экономия времени на чтение (при 200 сл/мин): 1242 минуты. На сайте AINews можно искать по всем прошлым выпускам. Напоминаем: AINews теперь является разделом Latent Space. Вы можете включить или отключить email-рассылку!
Поздравляем команду ggml + Hugging Face, обратите внимание на дискуссию METR об Opus 4.6 и прочитайте анализ Claude C Compiler от Chris Lattner. Но это не главные новости.
Сегодня 2,5-летняя компания Taalas объявила о продакшн-API с поразительной скоростью 16 960 токенов в секунду на пользователя для модели Llama 3.1 8B (вышла в июле 2024):
Помимо скорости, есть и другие преимущества (меньшая стоимость производства и энергопотребление), однако они частично нивелируются некоторыми оговорками по квантизации (которые, по заявлению компании, решит HC2 с стандартизированным низкоточным форматом FP4).
Это впечатляющий результат… для которого мы пока не знаем, как найти продуктовое применение. И всякий раз, когда открывается огромный разрыв между возможностями и их использованием, AI-инженеры должны бросаться искать «capability market fit».
Что касается общего тезиса о переходе на кастомные ASIC, мы всё ещё обдумываем выпуск Latent Space этой недели с Martin Casado и Sarah Wang, где Martin повторил свою убеждённость в математике создания кастомных ускорителей (ASIC) ПОД КАЖДУЮ МОДЕЛЬ — по сути «вплавляя LLM в кремний», предвосхищая сделку OpenAI с Broadcom:
Martin: Имеет смысл делать кастомный ASIC, если успеваешь по срокам. Сейчас вопрос именно в сроках, а не в деньгах, потому что грубая арифметика такова:
Если тренировочный прогон стоит миллиард долларов, то инференс этой модели должен стоить больше миллиарда, иначе экономика не сойдётся. Допустим, вы сэкономите 20% (а с ASIC можно сэкономить гораздо больше 20%) — это $200 миллионов. За $200 миллионов можно сделать тейпаут чипа.
Верно? То есть экономически это уже оправдано, вопрос лишь в сроках. Это другая проблема.
swyx: ASIC под каждую модель — потому что именно столько мы теряем каждый раз, используя универсальные чипы Nvidia.
Martin Casado: Именно. Нет, на самом деле даже больше. Можно получить, знаете, двукратный выигрыш, а это $500 миллионов. Типичный MFU — около 50.
Мы понимаем компромиссы, которые предлагают кастомные чипы: более быстрый и дешёвый инференс в обмен на более низкое качество модели (в случае Taalas — отставание от фронтира на 1,5 года). Но этот разрыв почти наверняка сократится по мере стандартизации архитектур LLM и, что ещё важнее, когда OpenAI и другие начнут полноценное совместное проектирование модели и чипа, как предсказывает Martin. Дело уже не только в экономии — потенциал фронтирного качества + инференса на >20 000 ток/с непостижим для сегодняшних AI-инженеров, и нам стоит уже сейчас начинать мысленные эксперименты и продуктовые прототипы с расчётом на то, что мы достигнем этого менее чем за 2 года.
Обзор AI-твиттера
Оценки фронтирных моделей: Gemini 3.1 Pro, SWE-bench, MRCR и «биполярная» производительность в реальном мире
Gemini 3.1 Pro показывает сильный поиск + неоднозначную агентную пригодность: обновление MRCR от Context Arena сообщает, что Gemini 3.1 Pro Preview практически сравнялся с GPT-5.2 (thinking:xhigh) в более лёгких задачах на извлечение (2 иголки @128k AUC 99,6% против 99,8%) и заметно сильнее в сложном многоигольном поиске (8 иголок @128k AUC 87,8%, превосходя уровни thinking GPT-5.2, указанные там) (DillonUzar). Отдельно Artificial Analysis обращает внимание на вероятно недооценённый аспект: эффективность токенов + цена; они утверждают, что их Intelligence Index обошёлся в $892 на Gemini 3.1 Pro Preview против $2 304 (GPT-5.2 xhigh) и $2 486 (Opus 4.6 max), при меньшем расходе токенов, чем у GPT-5.2 (ArtificialAnlys).Но инженеры сообщают: «силён в бенчмарках, слаб в продукте»: множество тредов жалуются на отставание инструментария Gemini — например, несогласованность доступности моделей в CLI и баги агентного поведения в «Antigravity», а также тревожная путаница «UI врёт / модель врёт», когда приложение заявляет Gemini, но под капотом оказывается Claude (Yuchenj_UW, Yuchenj_UW). Даже восторженные отзывы («более быстрая лошадь») соседствуют с разочарованием от повседневного использования (theo).Методология оценки SWE-bench Verified снова в центре внимания: MiniMax указывает на «независимый взгляд» на результаты SWE-bench Verified для MiniMax M2.5 при той же конфигурации, подразумевая, что прежние сравнения между лабораториями могли быть некорректными (MiniMax_AI). Epoch AI прямо признаёт эту проблему: они обновили методологию SWE-bench Verified, поскольку их предыдущие прогоны систематически отличались от чужих, и теперь видят результаты ближе к заявленным разработчиками (EpochAIResearch).Аномалии бенчмарков порождают дискуссии «что мы вообще измеряем?»: один пример — фронтирные модели «разносят ARC-AGI», но буксуют в Connect 4, что намекает на то, что ARC-стиль головоломок может отражать лишь узкий срез пространственного/игрового мышления, несмотря на защиту от переобучения (paul_cal). В другом треде ожидают, что лишь несколько моделей продвинутся в «простом харнесе» ARC-AGI-3, и отмечают стоимость как ограничивающий фактор (scaling01, scaling01).
Продолжить чтение с 7-дневной бесплатной пробной подпиской
Подпишитесь на Latent.Space, чтобы продолжить чтение этой статьи и получить 7 дней бесплатного доступа к полному архиву публикаций.