[AINews] New AI Infra decacorns: Fireworks, Baseten (with OpenRouter on the way)

[AINews] Новые декакорны AI-инфраструктуры: Fireworks, Baseten (и OpenRouter на подходе)

это новости о финансировании, но хорошие новости.

Пройдите опрос AI Engineering 2026 и получите кредиты на сумму более $2 тыс. и билеты на AIE WF!

Читателям нравится, когда мы сообщаем, что новостей нет, но второе по популярности — когда мы просто подкрепляем тренд, о котором вам стоит знать. В апреле мы выделили «Точку перегиба инференса», и если сегодняшний заголовок напоминает вам заголовок прошлой недели, то именно это мы и хотим сказать.

[AINews] Новые единороги AI-инфраструктуры: Exa, Modal, TurboPuffer

При нынешних темпах AI-фандрейзинга наша общая политика — освещать стартапы только при достижении статуса декакорна (>$10 млрд), и только при подтверждении. Сегодняшние новости о раунде Fireworks на $15 млрд («ведут переговоры», рост в 3,75 раза за 7 месяцев, наш подкаст здесь) и раунде Baseten на $11 млрд («привлекает», рост в 2,2 раза за 3 месяца) несколько преждевременны, но темпы роста в сфере инференса и переход от единорогов к декакорнам слишком впечатляющи, чтобы не стать главной новостью дня. А Series C OpenRouter на $113 млн (пятикратный рост объёмов за 6 месяцев) — вишенка на торте: если вы занимаетесь мультимодельным инференсом, вам понадобится роутер.

AI-новости за 23–26 мая 2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и ни одного Discord-сервера. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете включить или отключить частоту email-рассылки!

Обзор AI Twitter

Обвязки для агентов, бенчмарки кодинга и сдвиг за пределы «просто модели»

Инженерия обвязки (harness) становится главным дифференциатором для кодинг-агентов: Несколько постов сошлись на одном тезисе: выигрышный стек теперь — модель + обвязка + цикл оценки, а не просто более мощная базовая модель. Подробный обзор на Zhihu утверждал, что DeepSeek целенаправленно строит команду обвязки, чтобы замкнуть цикл между выходами модели, обратной связью среды выполнения, валидацией и коррекцией, с заявленным преимуществом по стоимости кэшированного ввода, поддерживающим более плотные циклы взаимодействия и верификации. Параллельно руководство Google по Gemini Managed Agents представило агентную инфраструктуру как один API-вызов к управляемой обвязке с песочницей, персистентностью и монтированием, а обновлённая документация LangChain по create_agent и обзор статьи об обвязках от dair.ai формализовали тот же стек: управление контекстом, надёжная память, динамическая маршрутизация навыков.Бенчмарки приближаются к реальному опыту разработчика: DeepSWE, представленный как новый бенчмарк для агентного кодинга, получил высокую оценку практиков; @theo назвал его «первым бенчмарком для кода, который действительно совпадает с ощущениями от использования этих моделей при кодинге». Он также показал бо́льшую дифференциацию на верхних позициях, чем обычно демонстрируют публичные таблицы лидеров SWE. Связанные сигналы по бенчмаркам: Qwen3.7 Max дебютировал на 4-м месте в Code Arena: Frontend, примерно на уровне Claude Opus 4.6 в агентных задачах веб-разработки, и Alibaba усилила этот результат. В инструментальном стеке Anthropic выпустила плагин рекомендаций по безопасности для Claude Code и сообщила о снижении на 30–40% комментариев по безопасности в PR при внутреннем использовании, а OpenAI представила GPT-5.5 в Codex на Databricks для более надёжного парсинга документов.

Исследовательские агенты, долгосрочное рассуждение и «сон» для сжатия контекста

Математические и научные агенты продемонстрировали больше свидетельств скрытого потенциала — при условии правильной обвязки: Наиболее плотный кластер твитов был посвящён моделям, решающим давние открытые задачи. Математик сообщил, что Claude Mythos решил задачу Эрдёша №90, с уточнением, что модель часто приходила к другому, более изящному пути доказательства, чем ранее предложенный маршрут OpenAI. Это было подхвачено @_sholtodouglas, @kimmonismus, а затем уточнено Sébastien Bubeck: при подходящей обвязке и Mythos, и GPT-5.5 могут воспроизвести то, что внутренняя модель делала за один проход, что указывает на большой объём скрытых способностей, не раскрываемых обычным чат-интерфейсом.Долгосрочная память вновь выходит на первый план как ключевое узкое место: Статья «Language Models Need Sleep» привлекла заметное внимание. Механизм представляет собой фазу консолидации, подобную сну, при которой недавний контекст преобразуется в постоянные быстрые веса до очистки KV-кэша, перенося вычисления в офлайн-проход при сохранении латентности в рабочем режиме. Обзор dair.ai подчеркнул системный аспект: это альтернатива постоянно растущим KV-кэшам для агентов с длинными траекториями. Тема органично связалась с продолжающимся обсуждением систем памяти в агентах, включая указание Omar на доклад Anthropic о памяти и функции Dream.Открытые агенты глубокого исследования и научное прогнозирование также продвинулись: QUEST, семейство открытых моделей от 2B до 35B для долгосрочного поиска фактов, привязки цитат и синтеза отчётов, было выпущено как агент глубокого исследования общего назначения. В области научных оценок бенчмарк CUSP от Sakana/Stanford/Oxford/AI2 показал, что современные модели часто способны определять перспективные направления исследований, но значительно хуже справляются с вопросами произойдёт ли и когда произойдёт прорыв.

Обновления моделей, оптимизаторов и архитектур

Работа над оптимизаторами продолжает кипеть, особенно вокруг вариантов Muon и обучения без расписания: AMUSE предлагает Anytime MUon with Stable gradient Evaluation, сочетая Muon с оценкой градиентов в стиле schedule-free для стабильного обучения в любой момент без затухания learning rate, с заявленными улучшениями на масштабах 124M / 720M / 1B и при дообучении ViT/ImageNet. Связанное обсуждение реализации включало сниппет SFMuon от ClashLuke и результаты kellerjordan по Newton-Muon в Modded-NanoGPT.Пространство дизайна разреженного внимания продолжает расширяться: MiniMax анонсировал M3 как open source, и последующие технические комментарии предполагали новый путь блочно-разреженного двухэтапного внимания. @kimmonismus обобщил заявленные ускорения: 9,7× при предзаполнении и 15,6× при декодировании на 1M токенов по сравнению с M2. @eliebakouch добавил, что M3, по-видимому, возвращается к разреженному вниманию на основе GQA с блочной селекцией на реальных KV, в отличие от вариантов со сжатым вниманием у DeepSeek.Релизы визуальных и открытых моделей, обновления рейтингов: PrismML выпустила Bonsai Image 4B, включая 1-битные и тернарные варианты, рассчитанные на локальный запуск на ноутбуках и телефонах; последующий комментарий отметил возможность запуска в браузере при объёме ~3 ГБ. На закрытой стороне MAI-Image-2.5 от Microsoft дебютировал на 3-м месте в Image Arena, ворвавшись в топ-5, ранее занятый только OpenAI и Google, с оценкой Arena в 1254 балла. Тем временем Artificial Analysis измерил Gemini 3.5 Flash на уровне до ~280 выходных токенов/с с существенно более сильной агентной производительностью, но при стоимости ~в 5 раз выше Gemini 3 Flash.

Инфраструктура, системы и полупроводниковый стек

Статья Huawei о «τ-масштабировании» была воспринята скорее как инженерная дорожная карта, а не как новый закон: Очень подробный тред утверждал, что статью Huawei «A Time Scaling Theory for Multi-Layer Electronic Systems» следует интерпретировать как стратегический манифест / белую книгу. Основное предложение — рассматривать постоянную времени τ, а не технологический узел, как унифицирующую метрику на уровне устройства, чипа и дата-центра. Наиболее конкретные заявления касались LogicFolding для будущего дизайна Kirin, включая +55% плотности, +41% энергоэффективности и +13% тактовой частоты при фиксированном техпроцессе, а также идей по корпусированию и сетям, таких как Unified Bus и оптический ввод-вывод Hi-ONE. В том же треде было отмечено отсутствие артефактов валидации — фотографий кристалла, снимков SEM, деталей рабочих нагрузок, кривых выхода годных — и наиболее впечатляющие цифры были интерпретированы как многообещающие, но непроверенные. Последующие реакции также подчёркивали, что путь Huawei может больше опираться на корпусирование и архитектуру, чем на литографическое наверстывание, например @josiah_leee сослался на замечание Jensen о том, что бо́льшая часть прироста от Hopper→Blackwell была достигнута за счёт оптимизаций, не связанных с техпроцессом.Энергоснабжение дата-центров и ограничения мощностей для инференса становятся проблемами первого порядка: SemiAnalysis опубликовала материал о переходе на 800VDC, и John Carmack рекомендовал его, выделив пересечения силовой электроники электромобилей с дизайном дата-центров, включая высоковольтные SiC-компоненты. Отдельно Epoch AI оценила возможный кризис вычислительных мощностей для инференса: спрос, по-видимому, растёт быстрее, чем обслуживающие мощности, особенно для задач с длинным контекстом. Их приблизительная модель показала, что при благоприятных допущениях текущий глобальный парк Blackwell может обслужить сегодняшний спрос, однако пропускная способность резко падает при увеличении контекста, и рост спроса, возможно, уже опережает предложение.

Производственный инструментарий и инфраструктура для разработчиков

Стеки обслуживания и инференса получили значимые обновления производительности и наблюдаемости: В vLLM влили Rust-фронтенд как замену Python API-серверу, с ранними показателями ~837 запросов/с против ~162 запросов/с на нагрузке с интенсивной предобработкой в одном процессе. W&B запустил MCP-сервер, позволяющий кодинг-агентам инспектировать эксперименты и обучающие запуски, с редизайном на основе схем для предотвращения переполнения контекстного окна. Unsloth добавил поддержку запуска API GPT, Claude и других в локальном интерфейсе, включая кэширование промптов и выполнение кода.Cloudflare, OpenRouter и вендоры векторного поиска продвинули слой «продакшенизации»: OpenRouter объявил о Series B на $113 млн и сообщил, что недельный объём вырос с 5 трлн до 25 трлн токенов за шесть месяцев. Cloudflare перезапустила программу для стартапов с кредитами до $350 тыс., а отдельные посты о Think и эргономике агентов подчеркнули устойчивые сессии, переподключения, обработку устаревшего состояния и восстановление как ключевые практические дифференциаторы. В области инфраструктуры для поиска Booking.com рассказал о масштабировании до 100M+ эмбеддингов, включая фильтрованный векторный поиск, чтение во время записи, конкурентный доступ и оценку с участием человека для агентов обмена сообщениями с партнёрами.

Топ-твиты (по вовлечённости)

Codex / агентный кодинг на практике: Самым содержательным твитом об использовании продукта стал пост @bunkaich, показавший, как Codex помог реверс-инжинирить и пропатчить прошивку дешёвого MP3-плеера — рабочий процесс включал осмотр чипа, извлечение ОС, анализ бинарников и прошивку модифицированного образа.Запуск бенчмарка DeepSWE: Анонс DeepSWE от @serenaa_ge стал главной точкой отсчёта для обсуждения «соответствует ли это реальному опыту кодинга».Плагин безопасности Claude Code: Релиз @ClaudeDevs выделился тем, что совместил конкретный запуск продукта с внутренней метрикой: на 30–40% меньше комментариев по безопасности в PR.Финансирование OpenRouter + рост продакшен-токенов: Series B OpenRouter на $113 млн — один из наиболее чётких рыночных сигналов того, что маршрутизация и мультимодельная инфраструктура теперь рассматриваются как устойчивые платформенные слои.Rust-фронтенд vLLM: Анонс слияния от @vllm_project оказался важен для всех, кто сталкивается с узкими местами CPU/API-сервера при высокопроизводительном обслуживании.

Обзор AI Reddit

Обзор /r/LocalLlama + /r/localLLM

1. Запуск Qwen 3.7 и локальная производительность Qwen 3.6

Ждём открытые веса Qwen 3.7... Новый король прибыл... (Активность: 1217): Изображение — это бенчмарк/маркетинговое сравнение из блога Qwen3.7, позиционирующее Qwen3.7-Max как ведущую фронтирную модель по агентному кодингу, программной инженерии, MCP/использованию инструментов, рассуждениям и оценке знаний в сравнении с Qwen3.6-Plus, DS-V4-Pro Max, GLM-5.1, Kimi K2.6 и Claude Opus-4.6 Max. Техническая значимость в том, что слайд представляет Qwen3.7-Max как высококонкурентную или опережающую модель уровня Claude по многим бенчмаркам, хотя Claude Opus-4.6 Max всё ещё лидирует в некоторых задачах, таких как ClawEval и CoWorkBench. Комментаторы отмечают, что это модель Max, не обязательно репрезентативная для меньших/открытых релизов, и строят предположения о потенциальной модели 3.7-122B-A17B MXFP4 с контекстом 512k для локального оборудования вроде Strix Halo. Главная дискуссия — скептицизм относительно открытых весов: комментаторы указывают, что Qwen исторически не открывала веса серии Max, поэтому формулировка заголовка «ждём открытые веса» может быть нереалистичной. Другие предостерегают от ожиданий, что гипотетическая модель 27B сравняется с показанными результатами бенчмарков уровня Max.Несколько комментаторов различают Qwen Max и вероятные релизы с открытыми весами, отмечая, что «Qwen никогда не открывала веса серии Max», и предупреждая не ожидать от меньшего варианта 27B производительности уровня Max. Подразумеваемый технический вывод: любой публичный релиз Qwen 3.7 с открытыми весами может использовать другую архитектуру/масштаб, чем протестированная флагманская модель.Один технический «список пожеланий» сосредоточен на гипотетической модели Qwen 3.7 122B-A17B MTP MXFP4 с контекстом 512k, которая, по мнению комментаторов, хорошо подойдёт для локального оборудования класса Strix Halo. Другой пользователь ссылается на Qwen 3.5 397B-A17B NVFP4, утверждая, что она помещается на 4x RTX 6000 Pro GPU с достаточным запасом памяти для примерно 10 одновременных сессий с 200k токенами, позиционируя её как потенциальный «Opus дома», если Qwen 3.7 подтвердит заявленные бенчмарки.Комментатор утверждает, что релизы открытых весов фронтирных моделей могут стать менее вероятными, поскольку высокоспособные локальные модели подрывают монетизацию провайдера. По его мнению, стратегия Qwen сместилась от подрыва рынка к монетизированной фронтирной конкуренции, что может повлиять на то, будут ли крупные MoE-модели вроде 397B-A17B выпущены с открытыми весами.Qwen3.6 35Ba3 изменил мои рабочие процессы и даже то, как я использую компьютер (Активность: 567): Пост описывает локальный агентный рабочий процесс с использованием Qwen3.6 35B a3 через pi, где пользователь превращает повторяемые процедуры в «навыки», генерируемые/документируемые Codex, а затем переиспользует их для DevOps на VPS, конвертации PDF→EPUB через docling, тестирования в Playwright, кодовых тикетов и задач уровня ОС. Конкретный пример: аудио из WhatsApp → транскрипция в AnythingLLM → content.md → локально сгенерированная посадочная страница, затем очередь тикетов plan.md, исполняемая процессом-«менеджером» pi, который порождает суб-агентов со свежим контекстом через pi -p @plan.md "Check the first Ticket with Status UNDONE and do it", помечает тикеты DONE, коммитит через git и, наконец, деплоит через навык VPS. Комментаторы сосредоточились на операционных вопросах: на каком железе это запускается, изолирован ли агент и можно ли ему доверять доступ к ОС, и насколько сложно освоить pi по сравнению с другими агентными инструментами вроде Hermes.Пользователь сообщает о запуске unsloth/Qwen3.6-35B-A3B-MTP-GGUF через Unsloth Studio на MS-02 с GPU RTX Pro 4000 Blackwell SFF 24 ГБ, стабильно получая >100 токенов/с. Он сравнивает производительность с «неоптимизированными GGUF» на Mac Studio M2, используя MS-02 как небольшой удалённый GPU-сервер для Mac-рабочей станции, и отмечает, что будущая поддержка MLX в Unsloth может улучшить производительность на стороне Mac. Скриншот: preview.redd.it.110 ток/с при 12 ГБ VRAM на Qwen3.6 35B A3B и ik_llama.cpp (Активность: 565): Пост содержит бенчмарки Qwen3.6-35B-A3B MTP с использованием IQ4_XS 4.19 bpw GGUF от byteshape на RTX 4070 Super 12 ГБ + Ryzen 7 9700X, сравнивая основную ветку llama.cpp с ik_llama.cpp при --ctx-size 131072, KV-кэше q8_0, MTP draft max 3 и p_min=0.75. На одной и той же нагрузке mtp-bench.py основная llama.cpp показала в среднем 89,76 ток/с с суммарным коэффициентом принятия MTP 0,9393, тогда как ik_llama.cpp показала в среднем 110,24 ток/с за 16,64 с — заявленный прирост пропускной способности 23%, несмотря на более низкий суммарный коэффициент принятия 0,8749 в обновлённых результатах. Автор связывает практическое размещение модели с --fit/--fit-margin 1664 в ik_llama.cpp, с предотвращением OOM путём повышения --fit-margin до 1792 или 2048, и отмечает, что запуск дисплея на iGPU освобождает практически все 12 ГБ VRAM для инференса. Комментаторы сосредоточились на воспроизводимости: они запросили полную команду основной llama.cpp и отметили, что несколько PR, связанных с MTP, были влиты недавно, поэтому результаты бенчмарка могут сильно зависеть от даты сборки. Один технический обходной путь для пользователей CachyOS/KDE с одним GPU — это сессия Plasma Wayland с программным рендерингом через LIBGL_ALWAYS_SOFTWARE=1 и GALLIUM_DRIVER=llvmpipe, снижающая потребление VRAM в простое с примерно >1024 МБ до 126 МБ ценой медленных/отключённых эффектов композитора.Пользователь CachyOS/KDE Wayland описал обходной путь для экономии VRAM на системах с одним GPU: создать пользовательскую сессию SDDM, которая заставляет KDE Plasma рендерить через CPU с помощью LIBGL_ALWAYS_SOFTWARE=1, GALLIUM_DRIVER=llvmpipe и KWIN_COMPOSE=Q. Он сообщил о снижении потребления VRAM в простое KDE Wayland с > 1024 МБ до ~126 МБ, освободив почти гигабайт VRAM для запуска модели 35B ценой отключённых или очень медленных анимаций композитора.Несколько комментаторов обсуждали, обусловлен ли заявленный результат 110 ток/с лучшим поведением MTP/спекулятивного декодирования в ik_llama.cpp по сравнению с основной llama.cpp. Один отметил, что коэффициент принятия ik_llama.cpp, по сообщениям, никогда не опускался ниже 0,790, тогда как llama.cpp падала до 0,477, и запросил точную команду/настройки llama.cpp, отметив, что несколько PR, связанных с MTP, были влиты в llama.cpp за предыдущие 24 часа.Комментатор спросил о квантизации IQ4_XS, использованной для Qwen3.6 35B A3B, отметив, что это, по-видимому, наименее требовательная к памяти Q4-квантизация, и запросил подробности о влиянии на качество/интеллект модели и итоговом распределении VRAM/RAM. Это подчёркивает ключевой компромисс для запуска на 12 ГБ VRAM: размещение модели через агрессивную квантизацию в сравнении с сохранением качества рассуждений и предотвращением узких мест при выгрузке на CPU/RAM.

Продолжайте читать с 7-дневным бесплатным пробным периодом

Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву публикаций.