rss_feedLatent Space ·27.05.2026 open_in_newОригинал

[AINews] New AI Infra decacorns: Fireworks, Baseten (with OpenRouter on the way)

#Ai Infrastructure #Compute Capacity #Frontier Models

auto_awesomeКраткое саммари

Fireworks AI и Baseten приближаются к статусу декакорнов с раундами на $15 млрд и $11 млрд соответственно, а OpenRouter привлёк $113 млн в Series C при пятикратном росте объёмов за полгода. В обзоре AI Twitter обсуждается, что ключевым дифференциатором для кодинг-агентов становится инженерия «обвязки» (harness), а не только базовая модель. Бенчмарк DeepSWE получил признание как первый тест, отражающий реальный опыт разработчика. Статья «Language Models Need Sleep» предлагает фазу консолидации памяти для сжатия контекста. В инфраструктуре vLLM представил Rust-фронтенд с пятикратным приростом пропускной способности, а Epoch AI предупреждает о возможном дефиците вычислительных мощностей для инференса. На Reddit активно обсуждаются Qwen 3.7 Max и локальные рабочие процессы на Qwen 3.6 35B.

translate EN + RU EN RU

[AINews] New AI Infra decacorns: Fireworks, Baseten (with OpenRouter on the way)

[AINews] Новые декакорны AI-инфраструктуры: Fireworks, Baseten (и OpenRouter на подходе)

it's funding news, but it's good news.

это новости о финансировании, но хорошие новости.

Take the 2026 AI Engineering Survey and get >$2k in credits and AIE WF tickets!

Пройдите опрос AI Engineering 2026 и получите кредиты на сумму более $2 тыс. и билеты на AIE WF!

Readers like when we report no news, but our second favorite to that is when we can simply reinforce a trend you should be aware of. In April we highlighted the Inference Inflection, and If today’s headline reminds you of last week’s headline, it is exactly the point we are making.

Читателям нравится, когда мы сообщаем, что новостей нет, но второе по популярности — когда мы просто подкрепляем тренд, о котором вам стоит знать. В апреле мы выделили «Точку перегиба инференса», и если сегодняшний заголовок напоминает вам заголовок прошлой недели, то именно это мы и хотим сказать.

[AINews] New AI Infra unicorns: Exa, Modal, TurboPuffer

[AINews] Новые единороги AI-инфраструктуры: Exa, Modal, TurboPuffer

With the pace of AI fundraising these days, our general policy is to only cover startups when they cross decacorn status (>$10B) - but only when confirmed, and today’s news of Fireworks’ $15B round (“in talks”, 3.75x in 7 months, our podcast here) and Baseten’s $11B round (“is raising”, 2.2x in 3 months) is a bit premature, but the pace of the pickup in Inference land and unicorn to decacorn progression is too juicy not to serve as headline story today, with the $113M OpenRouter Series C (5x volume in 6 months) as the cherry on top: if you are gonna do multimodel inference, you are gonna need a router.

При нынешних темпах AI-фандрейзинга наша общая политика — освещать стартапы только при достижении статуса декакорна (>$10 млрд), и только при подтверждении. Сегодняшние новости о раунде Fireworks на $15 млрд («ведут переговоры», рост в 3,75 раза за 7 месяцев, наш подкаст здесь) и раунде Baseten на $11 млрд («привлекает», рост в 2,2 раза за 3 месяца) несколько преждевременны, но темпы роста в сфере инференса и переход от единорогов к декакорнам слишком впечатляющи, чтобы не стать главной новостью дня. А Series C OpenRouter на $113 млн (пятикратный рост объёмов за 6 месяцев) — вишенка на торте: если вы занимаетесь мультимодельным инференсом, вам понадобится роутер.

AI News for 5/23/2026-5/26/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

AI-новости за 23–26 мая 2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и ни одного Discord-сервера. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете включить или отключить частоту email-рассылки!

AI Twitter Recap

Обзор AI Twitter

Agent Harnesses, Coding Benchmarks, and the Shift Beyond “Just the Model”

Обвязки для агентов, бенчмарки кодинга и сдвиг за пределы «просто модели»

Harness engineering is becoming the main differentiator for coding agents: Several posts converged on the same thesis: the winning stack is now model + harness + eval loop, not just a stronger base model. A long Zhihu summary argued that DeepSeek is explicitly building a harness team to close the loop between model outputs, runtime feedback, validation, and correction, with a claimed cached-input cost advantage that would support tighter interaction/verification loops. In parallel, Google’s Gemini Managed Agents guide framed agent infra as a single API call to a managed harness with sandboxing, persistence, and mounts, while LangChain’s updated create_agent docs and dair.ai’s “harness” paper summary formalized the same stack: context governance, trustworthy memory, dynamic skill routing.

Benchmarks are getting closer to real developer experience: DeepSWE, introduced as a new benchmark for agentic coding, got strong endorsement from practitioners; @theo called it “the first code bench that actually aligns with how it feels to use these models coding.” It also created more separation at the top end than public SWE leaderboards often show. Related benchmark signals: Qwen3.7 Max debuted at #4 on Code Arena: Frontend, roughly on par with Claude Opus 4.6 on agentic webdev tasks, and Alibaba amplified the result. Across the tooling stack, Anthropic shipped a security-guidance plugin for Claude Code and reported a 30–40% reduction in security-related PR comments in internal use, while OpenAI highlighted GPT-5.5 in Codex at Databricks for more reliable document parsing.

Инженерия обвязки (harness) становится главным дифференциатором для кодинг-агентов: Несколько постов сошлись на одном тезисе: выигрышный стек теперь — модель + обвязка + цикл оценки, а не просто более мощная базовая модель. Подробный обзор на Zhihu утверждал, что DeepSeek целенаправленно строит команду обвязки, чтобы замкнуть цикл между выходами модели, обратной связью среды выполнения, валидацией и коррекцией, с заявленным преимуществом по стоимости кэшированного ввода, поддерживающим более плотные циклы взаимодействия и верификации. Параллельно руководство Google по Gemini Managed Agents представило агентную инфраструктуру как один API-вызов к управляемой обвязке с песочницей, персистентностью и монтированием, а обновлённая документация LangChain по create_agent и обзор статьи об обвязках от dair.ai формализовали тот же стек: управление контекстом, надёжная память, динамическая маршрутизация навыков.Бенчмарки приближаются к реальному опыту разработчика: DeepSWE, представленный как новый бенчмарк для агентного кодинга, получил высокую оценку практиков; @theo назвал его «первым бенчмарком для кода, который действительно совпадает с ощущениями от использования этих моделей при кодинге». Он также показал бо́льшую дифференциацию на верхних позициях, чем обычно демонстрируют публичные таблицы лидеров SWE. Связанные сигналы по бенчмаркам: Qwen3.7 Max дебютировал на 4-м месте в Code Arena: Frontend, примерно на уровне Claude Opus 4.6 в агентных задачах веб-разработки, и Alibaba усилила этот результат. В инструментальном стеке Anthropic выпустила плагин рекомендаций по безопасности для Claude Code и сообщила о снижении на 30–40% комментариев по безопасности в PR при внутреннем использовании, а OpenAI представила GPT-5.5 в Codex на Databricks для более надёжного парсинга документов.

Research Agents, Long-Horizon Reasoning, and “Sleep” for Context Compression

Исследовательские агенты, долгосрочное рассуждение и «сон» для сжатия контекста

Math/science agents showed more evidence of capability overhang—conditional on the right harness: The strongest cluster of tweets was around models tackling old open problems. A mathematician reported Claude Mythos solving Erdős problem #90, with follow-up detail that the model often converged to a different, cleaner proof path than OpenAI’s earlier route. This was echoed by @_sholtodouglas, @kimmonismus, and then sharpened by Sébastien Bubeck: with an appropriate harness, both Mythos and GPT-5.5 can reproduce what an internal model had done one-shot, implying a large amount of latent capability not exposed by vanilla chat UX.

Long-horizon memory is resurfacing as a core bottleneck: The paper “Language Models Need Sleep” got notable attention. The mechanism is a sleep-like consolidation phase where recent context is converted into persistent fast weights before clearing the KV cache, moving compute into an offline pass while preserving wake-time latency. dair.ai’s summary emphasized the systems angle: this is an alternative to ever-growing KV caches for agents with long trajectories. This theme connected neatly with ongoing discussion about memory systems in agents, including Omar’s pointer to Anthropic’s memory talk and Dream feature.

Open deep-research agents and science forecasting also advanced: QUEST, a family of open 2B–35B models for long-horizon fact-seeking, citation grounding, and report synthesis, was released as a general-purpose deep research agent. On the science-evals side, Sakana/Stanford/Oxford/AI2’s CUSP benchmark found current models can often identify promising research directions but struggle much more with whether and when breakthroughs materialize.

Математические и научные агенты продемонстрировали больше свидетельств скрытого потенциала — при условии правильной обвязки: Наиболее плотный кластер твитов был посвящён моделям, решающим давние открытые задачи. Математик сообщил, что Claude Mythos решил задачу Эрдёша №90, с уточнением, что модель часто приходила к другому, более изящному пути доказательства, чем ранее предложенный маршрут OpenAI. Это было подхвачено @_sholtodouglas, @kimmonismus, а затем уточнено Sébastien Bubeck: при подходящей обвязке и Mythos, и GPT-5.5 могут воспроизвести то, что внутренняя модель делала за один проход, что указывает на большой объём скрытых способностей, не раскрываемых обычным чат-интерфейсом.Долгосрочная память вновь выходит на первый план как ключевое узкое место: Статья «Language Models Need Sleep» привлекла заметное внимание. Механизм представляет собой фазу консолидации, подобную сну, при которой недавний контекст преобразуется в постоянные быстрые веса до очистки KV-кэша, перенося вычисления в офлайн-проход при сохранении латентности в рабочем режиме. Обзор dair.ai подчеркнул системный аспект: это альтернатива постоянно растущим KV-кэшам для агентов с длинными траекториями. Тема органично связалась с продолжающимся обсуждением систем памяти в агентах, включая указание Omar на доклад Anthropic о памяти и функции Dream.Открытые агенты глубокого исследования и научное прогнозирование также продвинулись: QUEST, семейство открытых моделей от 2B до 35B для долгосрочного поиска фактов, привязки цитат и синтеза отчётов, было выпущено как агент глубокого исследования общего назначения. В области научных оценок бенчмарк CUSP от Sakana/Stanford/Oxford/AI2 показал, что современные модели часто способны определять перспективные направления исследований, но значительно хуже справляются с вопросами произойдёт ли и когда произойдёт прорыв.

Model, Optimizer, and Architecture Updates

Обновления моделей, оптимизаторов и архитектур

Optimizer work remains lively, especially around Muon variants and schedule-free training: AMUSE proposes Anytime MUon with Stable gradient Evaluation, combining Muon with schedule-free-style gradient evaluation for stable anytime training without LR decay, reporting gains at 124M / 720M / 1B scale and on ViT/ImageNet fine-tuning. Related implementation discussion came from ClashLuke’s SFMuon snippet and kellerjordan’s Modded-NanoGPT result on Newton-Muon.

Sparse attention design space continues to diversify: MiniMax teased M3 as open source, and follow-on technical commentary suggested a new block-sparse two-stage attention path. @kimmonismus summarized the reported speedups: 9.7× prefilling and 15.6× decoding at 1M tokens versus M2. @eliebakouch added that M3 appears to move back to GQA-based sparse attention with block selection on real KV, distinct from DeepSeek’s compressed-attention variants.

Vision/open model releases and ranking updates: PrismML released Bonsai Image 4B, including 1-bit and ternary variants intended to run locally on laptops and phones; a follow-up noted browser-local execution was possible at ~3GB footprint. On the closed side, Microsoft’s MAI-Image-2.5 debuted at #3 on the Image Arena, breaking a top-5 club previously dominated by OpenAI and Google, with Arena reporting a 1,254 score. Meanwhile, Artificial Analysis measured Gemini 3.5 Flash at up to ~280 output tok/s with materially stronger agentic performance, but at ~5× the cost of Gemini 3 Flash.

Работа над оптимизаторами продолжает кипеть, особенно вокруг вариантов Muon и обучения без расписания: AMUSE предлагает Anytime MUon with Stable gradient Evaluation, сочетая Muon с оценкой градиентов в стиле schedule-free для стабильного обучения в любой момент без затухания learning rate, с заявленными улучшениями на масштабах 124M / 720M / 1B и при дообучении ViT/ImageNet. Связанное обсуждение реализации включало сниппет SFMuon от ClashLuke и результаты kellerjordan по Newton-Muon в Modded-NanoGPT.Пространство дизайна разреженного внимания продолжает расширяться: MiniMax анонсировал M3 как open source, и последующие технические комментарии предполагали новый путь блочно-разреженного двухэтапного внимания. @kimmonismus обобщил заявленные ускорения: 9,7× при предзаполнении и 15,6× при декодировании на 1M токенов по сравнению с M2. @eliebakouch добавил, что M3, по-видимому, возвращается к разреженному вниманию на основе GQA с блочной селекцией на реальных KV, в отличие от вариантов со сжатым вниманием у DeepSeek.Релизы визуальных и открытых моделей, обновления рейтингов: PrismML выпустила Bonsai Image 4B, включая 1-битные и тернарные варианты, рассчитанные на локальный запуск на ноутбуках и телефонах; последующий комментарий отметил возможность запуска в браузере при объёме ~3 ГБ. На закрытой стороне MAI-Image-2.5 от Microsoft дебютировал на 3-м месте в Image Arena, ворвавшись в топ-5, ранее занятый только OpenAI и Google, с оценкой Arena в 1254 балла. Тем временем Artificial Analysis измерил Gemini 3.5 Flash на уровне до ~280 выходных токенов/с с существенно более сильной агентной производительностью, но при стоимости ~в 5 раз выше Gemini 3 Flash.

Infra, Systems, and the Semiconductor Stack

Инфраструктура, системы и полупроводниковый стек

Huawei’s “τ scaling” paper was read mostly as an engineering roadmap, not a new law: A very detailed thread argued Huawei’s “A Time Scaling Theory for Multi-Layer Electronic Systems” should be interpreted as a strategic manifesto / white paper. The core proposal is to treat time constant τ, not process node, as the unifying metric across device, chip, and datacenter scales. The most concrete claims concerned LogicFolding on a future Kirin design, including +55% density, +41% energy efficiency, and +13% frequency at fixed node, plus packaging/network ideas like a Unified Bus and Hi-ONE optical I/O. The same thread was careful to note missing validation artifacts—die photos, SEMs, workload details, yield curves—and to interpret the most eye-catching numbers as promising but unverified. Follow-up reactions also stressed that Huawei’s path may rely more on packaging and architecture than lithographic catch-up, e.g. @josiah_leee citing Jensen’s point that most of Hopper→Blackwell’s gains came from non-node optimizations.

Datacenter power and inference supply constraints are becoming first-order concerns: SemiAnalysis published on the 800VDC transition, and John Carmack recommended it, highlighting crossovers from EV power electronics into datacenter design, including high-voltage SiC parts. Separately, Epoch AI estimated a possible inference compute crunch: demand appears to be growing faster than serving capacity, especially for long-context workloads. Their rough model suggested that while current global Blackwell supply could serve today’s demand under favorable assumptions, throughput degrades sharply with longer contexts and demand growth may already be outrunning supply.

Статья Huawei о «τ-масштабировании» была воспринята скорее как инженерная дорожная карта, а не как новый закон: Очень подробный тред утверждал, что статью Huawei «A Time Scaling Theory for Multi-Layer Electronic Systems» следует интерпретировать как стратегический манифест / белую книгу. Основное предложение — рассматривать постоянную времени τ, а не технологический узел, как унифицирующую метрику на уровне устройства, чипа и дата-центра. Наиболее конкретные заявления касались LogicFolding для будущего дизайна Kirin, включая +55% плотности, +41% энергоэффективности и +13% тактовой частоты при фиксированном техпроцессе, а также идей по корпусированию и сетям, таких как Unified Bus и оптический ввод-вывод Hi-ONE. В том же треде было отмечено отсутствие артефактов валидации — фотографий кристалла, снимков SEM, деталей рабочих нагрузок, кривых выхода годных — и наиболее впечатляющие цифры были интерпретированы как многообещающие, но непроверенные. Последующие реакции также подчёркивали, что путь Huawei может больше опираться на корпусирование и архитектуру, чем на литографическое наверстывание, например @josiah_leee сослался на замечание Jensen о том, что бо́льшая часть прироста от Hopper→Blackwell была достигнута за счёт оптимизаций, не связанных с техпроцессом.Энергоснабжение дата-центров и ограничения мощностей для инференса становятся проблемами первого порядка: SemiAnalysis опубликовала материал о переходе на 800VDC, и John Carmack рекомендовал его, выделив пересечения силовой электроники электромобилей с дизайном дата-центров, включая высоковольтные SiC-компоненты. Отдельно Epoch AI оценила возможный кризис вычислительных мощностей для инференса: спрос, по-видимому, растёт быстрее, чем обслуживающие мощности, особенно для задач с длинным контекстом. Их приблизительная модель показала, что при благоприятных допущениях текущий глобальный парк Blackwell может обслужить сегодняшний спрос, однако пропускная способность резко падает при увеличении контекста, и рост спроса, возможно, уже опережает предложение.

Production Tooling and Developer Infrastructure

Производственный инструментарий и инфраструктура для разработчиков

Serving/inference stacks got meaningful performance and observability updates: vLLM merged a Rust frontend as a drop-in alternative to the Python API server, with early numbers showing ~837 req/s vs ~162 req/s on a preprocess-heavy workload in a single process. W&B launched an MCP server to let coding agents inspect experiments and training runs, with a schema-first redesign aimed at avoiding context-window blowups. Unsloth added support for running GPT, Claude, and other APIs inside its local UI, including prompt caching and code execution.

Cloudflare, OpenRouter, and vector/retrieval vendors pushed the “productionization” layer: OpenRouter announced a $113M Series B and said weekly volume had grown from 5T to 25T tokens over six months. Cloudflare relaunched its startups program with up to $350k in credits, while separate posts around Think and agent ergonomics emphasized durable turns, reconnects, stale-state handling, and recovery as key practical differentiators. On retrieval infra, Booking.com discussed scaling to 100M+ embeddings, including filtered vector search, reads-during-writes, concurrency, and human-in-the-loop evals for partner messaging agents.

Стеки обслуживания и инференса получили значимые обновления производительности и наблюдаемости: В vLLM влили Rust-фронтенд как замену Python API-серверу, с ранними показателями ~837 запросов/с против ~162 запросов/с на нагрузке с интенсивной предобработкой в одном процессе. W&B запустил MCP-сервер, позволяющий кодинг-агентам инспектировать эксперименты и обучающие запуски, с редизайном на основе схем для предотвращения переполнения контекстного окна. Unsloth добавил поддержку запуска API GPT, Claude и других в локальном интерфейсе, включая кэширование промптов и выполнение кода.Cloudflare, OpenRouter и вендоры векторного поиска продвинули слой «продакшенизации»: OpenRouter объявил о Series B на $113 млн и сообщил, что недельный объём вырос с 5 трлн до 25 трлн токенов за шесть месяцев. Cloudflare перезапустила программу для стартапов с кредитами до $350 тыс., а отдельные посты о Think и эргономике агентов подчеркнули устойчивые сессии, переподключения, обработку устаревшего состояния и восстановление как ключевые практические дифференциаторы. В области инфраструктуры для поиска Booking.com рассказал о масштабировании до 100M+ эмбеддингов, включая фильтрованный векторный поиск, чтение во время записи, конкурентный доступ и оценку с участием человека для агентов обмена сообщениями с партнёрами.

Top tweets (by engagement)

Топ-твиты (по вовлечённости)

Codex / agentic coding in practice: The highest-signal product-use tweet was @bunkaich showing Codex help reverse-engineer and patch firmware on a cheap MP3 player, with the workflow spanning chip inspection, OS extraction, binary analysis, and flashing a modified image.

DeepSWE benchmark launch: @serenaa_ge’s DeepSWE announcement became the main reference point for “does this match real coding experience?” discussion.

Claude Code security plugin: @ClaudeDevs’ release stood out because it paired a concrete product launch with an internal metric: 30–40% fewer security-related PR comments.

OpenRouter financing + production token growth: @OpenRouter’s $113M Series B is one of the clearer market signals that routing and multi-model infra are now seen as durable platform layers.

vLLM Rust frontend: @vllm_project’s merge announcement mattered for anyone hitting CPU/API-server bottlenecks in high-throughput serving.

Codex / агентный кодинг на практике: Самым содержательным твитом об использовании продукта стал пост @bunkaich, показавший, как Codex помог реверс-инжинирить и пропатчить прошивку дешёвого MP3-плеера — рабочий процесс включал осмотр чипа, извлечение ОС, анализ бинарников и прошивку модифицированного образа.Запуск бенчмарка DeepSWE: Анонс DeepSWE от @serenaa_ge стал главной точкой отсчёта для обсуждения «соответствует ли это реальному опыту кодинга».Плагин безопасности Claude Code: Релиз @ClaudeDevs выделился тем, что совместил конкретный запуск продукта с внутренней метрикой: на 30–40% меньше комментариев по безопасности в PR.Финансирование OpenRouter + рост продакшен-токенов: Series B OpenRouter на $113 млн — один из наиболее чётких рыночных сигналов того, что маршрутизация и мультимодельная инфраструктура теперь рассматриваются как устойчивые платформенные слои.Rust-фронтенд vLLM: Анонс слияния от @vllm_project оказался важен для всех, кто сталкивается с узкими местами CPU/API-сервера при высокопроизводительном обслуживании.

AI Reddit Recap

Обзор AI Reddit

/r/LocalLlama + /r/localLLM Recap

Обзор /r/LocalLlama + /r/localLLM

1. Qwen 3.7 Launch and Qwen 3.6 Local Performance

1. Запуск Qwen 3.7 и локальная производительность Qwen 3.6

Waiting for Qwen 3.7 open weight... The new King has arrived... (Activity: 1217): The image is a benchmark/marketing comparison from the Qwen3.7 blog positioning Qwen3.7-Max as a leading frontier model across agentic coding, software engineering, MCP/tool-use, reasoning, and knowledge evaluations versus Qwen3.6-Plus, DS-V4-Pro Max, GLM-5.1, Kimi K2.6, and Claude Opus-4.6 Max. The technical significance is that the slide frames Qwen3.7-Max as highly competitive with or ahead of Claude-class models on many benchmarks, though Claude Opus-4.6 Max still appears to lead on some tasks such as ClawEval and CoWorkBench. Commenters note that this is the Max model, not necessarily representative of smaller/open-weight releases, and speculate about a potential 3.7-122B-A17B MXFP4 model with 512k context for local hardware such as Strix Halo. The main debate is skepticism around open weights: commenters point out that Qwen has historically not open-weighted the Max series, so the title’s “waiting for open weight” framing may be unrealistic. Others caution not to expect a hypothetical 27B model to match the shown Max-tier benchmark results.

Several commenters distinguish Qwen Max from likely open-weight releases, noting that “Qwen has never open-weighted the Max series” and warning not to expect a smaller 27B variant to match Max-level benchmark performance. The implied technical takeaway is that any public/open-weight Qwen 3.7 release may use a different architecture/scale than the benchmarked flagship model.
One technical wishlist centers on a hypothetical Qwen 3.7 122B-A17B MTP MXFP4 model with 512k context, which commenters argue would be well-suited to Strix Halo-class local hardware. Another user references Qwen 3.5 397B-A17B NVFP4, claiming it fits on 4x RTX 6000 Pro GPUs with enough memory headroom for roughly 10 concurrent 200k-token sessions, positioning it as a potential “Opus at home” if Qwen 3.7 matches reported benchmarks.
A commenter argues that open-weight frontier releases may be less likely because highly capable local models can undermine provider monetization. They claim Qwen’s strategy has shifted from disruption toward monetized frontier competition, which could affect whether large MoE models like 397B-A17B are released openly.

Qwen3.6 35Ba3 has changed my workflows and even how I use my computer (Activity: 567): The post describes a local-agent workflow using Qwen3.6 35B a3 via pi, where the user converts repeatable procedures into “skills” generated/documented by Codex, then reuses them for VPS DevOps, docling PDF→EPUB conversion, Playwright testing, code tickets, and OS-level shell tasks. A concrete example: WhatsApp audio → transcription in AnythingLLM → content.md → locally generated landing page, then a plan.md ticket queue executed by a “manager” pi process spawning fresh-context sub-agents with pi -p @plan.md "Check the first Ticket with Status UNDONE and do it", marking tickets DONE, committing via git, and finally deploying via a VPS skill. Commenters focused on operational concerns: what hardware can run this setup, whether the agent is sandboxed/trustworthy with OS access, and how hard pi is to adopt compared with other agentic tools such as Hermes.

A user reports running unsloth/Qwen3.6-35B-A3B-MTP-GGUF via Unsloth Studio on an MS-02 with a 24GB RTX Pro 4000 Blackwell SFF GPU, consistently seeing >100 tokens/s. They compare performance to “unoptimized GGUFs” on a Mac Studio M2, using the MS-02 as a small remote GPU server for the Mac workstation, and note that future MLX support in Unsloth could improve Mac-side performance. Screenshot: preview.redd.it.

110 tok/s with 12GB VRAM on Qwen3.6 35B A3B and ik_llama.cpp (Activity: 565): The post benchmarks Qwen3.6-35B-A3B MTP using byteshape’s IQ4_XS 4.19 bpw GGUF on an RTX 4070 Super 12GB + Ryzen 7 9700X, comparing upstream llama.cpp vs ik_llama.cpp with --ctx-size 131072, q8_0 KV cache, MTP draft max 3, and p_min=0.75. Using the same mtp-bench.py workload, upstream llama.cpp averaged 89.76 tok/s with aggregate MTP accept rate 0.9393, while ik_llama.cpp averaged 110.24 tok/s over 16.64s, a claimed 23% throughput gain, despite lower aggregate accept rate 0.8749 in the updated results. The OP attributes practical fit to --fit/--fit-margin 1664 on ik_llama.cpp, with OOM mitigation by raising --fit-margin to 1792 or 2048, and notes that running the display on an iGPU frees essentially all 12GB VRAM for inference. Commenters focused on reproducibility: they requested the full upstream llama.cpp command and noted that several MTP-related PRs had merged recently, so benchmark timing may depend strongly on build date. One technical workaround suggested for single-GPU CachyOS/KDE users is a software-rendered Plasma Wayland session using LIBGL_ALWAYS_SOFTWARE=1 and GALLIUM_DRIVER=llvmpipe, reducing idle VRAM from roughly >1024MB to 126MB at the cost of slow/disabled compositor effects.

A CachyOS/KDE Wayland user described a VRAM-saving workaround for single-GPU systems: create a custom SDDM session that forces KDE Plasma to render via CPU using LIBGL_ALWAYS_SOFTWARE=1, GALLIUM_DRIVER=llvmpipe, and KWIN_COMPOSE=Q. They reported KDE Wayland idle VRAM dropping from > 1024 MB to ~126 MB, freeing nearly a gigabyte of VRAM for running the 35B model, at the cost of disabled or very slow compositor animations.
Several commenters focused on whether the reported 110 tok/s comes from ik_llama.cpp having better MTP/speculative decoding behavior than upstream llama.cpp. One noted that ik_llama.cpp’s acceptance rate was reportedly never below 0.790, while llama.cpp dropped as low as 0.477, asking for the exact llama.cpp command/settings and noting that multiple MTP-related PRs had landed in llama.cpp within the previous 24 hours.
A commenter asked about the IQ4_XS quantization used for Qwen3.6 35B A3B, noting it appears to be the lowest-memory Q4 quant and requesting details on both model quality/intelligence impact and the final VRAM/RAM split. This highlights the key tradeoff for 12 GB VRAM runs: fitting the model via aggressive quantization versus maintaining reasoning quality and avoiding excessive CPU/RAM offload bottlenecks.

Ждём открытые веса Qwen 3.7... Новый король прибыл... (Активность: 1217): Изображение — это бенчмарк/маркетинговое сравнение из блога Qwen3.7, позиционирующее Qwen3.7-Max как ведущую фронтирную модель по агентному кодингу, программной инженерии, MCP/использованию инструментов, рассуждениям и оценке знаний в сравнении с Qwen3.6-Plus, DS-V4-Pro Max, GLM-5.1, Kimi K2.6 и Claude Opus-4.6 Max. Техническая значимость в том, что слайд представляет Qwen3.7-Max как высококонкурентную или опережающую модель уровня Claude по многим бенчмаркам, хотя Claude Opus-4.6 Max всё ещё лидирует в некоторых задачах, таких как ClawEval и CoWorkBench. Комментаторы отмечают, что это модель Max, не обязательно репрезентативная для меньших/открытых релизов, и строят предположения о потенциальной модели 3.7-122B-A17B MXFP4 с контекстом 512k для локального оборудования вроде Strix Halo. Главная дискуссия — скептицизм относительно открытых весов: комментаторы указывают, что Qwen исторически не открывала веса серии Max, поэтому формулировка заголовка «ждём открытые веса» может быть нереалистичной. Другие предостерегают от ожиданий, что гипотетическая модель 27B сравняется с показанными результатами бенчмарков уровня Max.Несколько комментаторов различают Qwen Max и вероятные релизы с открытыми весами, отмечая, что «Qwen никогда не открывала веса серии Max», и предупреждая не ожидать от меньшего варианта 27B производительности уровня Max. Подразумеваемый технический вывод: любой публичный релиз Qwen 3.7 с открытыми весами может использовать другую архитектуру/масштаб, чем протестированная флагманская модель.Один технический «список пожеланий» сосредоточен на гипотетической модели Qwen 3.7 122B-A17B MTP MXFP4 с контекстом 512k, которая, по мнению комментаторов, хорошо подойдёт для локального оборудования класса Strix Halo. Другой пользователь ссылается на Qwen 3.5 397B-A17B NVFP4, утверждая, что она помещается на 4x RTX 6000 Pro GPU с достаточным запасом памяти для примерно 10 одновременных сессий с 200k токенами, позиционируя её как потенциальный «Opus дома», если Qwen 3.7 подтвердит заявленные бенчмарки.Комментатор утверждает, что релизы открытых весов фронтирных моделей могут стать менее вероятными, поскольку высокоспособные локальные модели подрывают монетизацию провайдера. По его мнению, стратегия Qwen сместилась от подрыва рынка к монетизированной фронтирной конкуренции, что может повлиять на то, будут ли крупные MoE-модели вроде 397B-A17B выпущены с открытыми весами.Qwen3.6 35Ba3 изменил мои рабочие процессы и даже то, как я использую компьютер (Активность: 567): Пост описывает локальный агентный рабочий процесс с использованием Qwen3.6 35B a3 через pi, где пользователь превращает повторяемые процедуры в «навыки», генерируемые/документируемые Codex, а затем переиспользует их для DevOps на VPS, конвертации PDF→EPUB через docling, тестирования в Playwright, кодовых тикетов и задач уровня ОС. Конкретный пример: аудио из WhatsApp → транскрипция в AnythingLLM → content.md → локально сгенерированная посадочная страница, затем очередь тикетов plan.md, исполняемая процессом-«менеджером» pi, который порождает суб-агентов со свежим контекстом через pi -p @plan.md "Check the first Ticket with Status UNDONE and do it", помечает тикеты DONE, коммитит через git и, наконец, деплоит через навык VPS. Комментаторы сосредоточились на операционных вопросах: на каком железе это запускается, изолирован ли агент и можно ли ему доверять доступ к ОС, и насколько сложно освоить pi по сравнению с другими агентными инструментами вроде Hermes.Пользователь сообщает о запуске unsloth/Qwen3.6-35B-A3B-MTP-GGUF через Unsloth Studio на MS-02 с GPU RTX Pro 4000 Blackwell SFF 24 ГБ, стабильно получая >100 токенов/с. Он сравнивает производительность с «неоптимизированными GGUF» на Mac Studio M2, используя MS-02 как небольшой удалённый GPU-сервер для Mac-рабочей станции, и отмечает, что будущая поддержка MLX в Unsloth может улучшить производительность на стороне Mac. Скриншот: preview.redd.it.110 ток/с при 12 ГБ VRAM на Qwen3.6 35B A3B и ik_llama.cpp (Активность: 565): Пост содержит бенчмарки Qwen3.6-35B-A3B MTP с использованием IQ4_XS 4.19 bpw GGUF от byteshape на RTX 4070 Super 12 ГБ + Ryzen 7 9700X, сравнивая основную ветку llama.cpp с ik_llama.cpp при --ctx-size 131072, KV-кэше q8_0, MTP draft max 3 и p_min=0.75. На одной и той же нагрузке mtp-bench.py основная llama.cpp показала в среднем 89,76 ток/с с суммарным коэффициентом принятия MTP 0,9393, тогда как ik_llama.cpp показала в среднем 110,24 ток/с за 16,64 с — заявленный прирост пропускной способности 23%, несмотря на более низкий суммарный коэффициент принятия 0,8749 в обновлённых результатах. Автор связывает практическое размещение модели с --fit/--fit-margin 1664 в ik_llama.cpp, с предотвращением OOM путём повышения --fit-margin до 1792 или 2048, и отмечает, что запуск дисплея на iGPU освобождает практически все 12 ГБ VRAM для инференса. Комментаторы сосредоточились на воспроизводимости: они запросили полную команду основной llama.cpp и отметили, что несколько PR, связанных с MTP, были влиты недавно, поэтому результаты бенчмарка могут сильно зависеть от даты сборки. Один технический обходной путь для пользователей CachyOS/KDE с одним GPU — это сессия Plasma Wayland с программным рендерингом через LIBGL_ALWAYS_SOFTWARE=1 и GALLIUM_DRIVER=llvmpipe, снижающая потребление VRAM в простое с примерно >1024 МБ до 126 МБ ценой медленных/отключённых эффектов композитора.Пользователь CachyOS/KDE Wayland описал обходной путь для экономии VRAM на системах с одним GPU: создать пользовательскую сессию SDDM, которая заставляет KDE Plasma рендерить через CPU с помощью LIBGL_ALWAYS_SOFTWARE=1, GALLIUM_DRIVER=llvmpipe и KWIN_COMPOSE=Q. Он сообщил о снижении потребления VRAM в простое KDE Wayland с > 1024 МБ до ~126 МБ, освободив почти гигабайт VRAM для запуска модели 35B ценой отключённых или очень медленных анимаций композитора.Несколько комментаторов обсуждали, обусловлен ли заявленный результат 110 ток/с лучшим поведением MTP/спекулятивного декодирования в ik_llama.cpp по сравнению с основной llama.cpp. Один отметил, что коэффициент принятия ik_llama.cpp, по сообщениям, никогда не опускался ниже 0,790, тогда как llama.cpp падала до 0,477, и запросил точную команду/настройки llama.cpp, отметив, что несколько PR, связанных с MTP, были влиты в llama.cpp за предыдущие 24 часа.Комментатор спросил о квантизации IQ4_XS, использованной для Qwen3.6 35B A3B, отметив, что это, по-видимому, наименее требовательная к памяти Q4-квантизация, и запросил подробности о влиянии на качество/интеллект модели и итоговом распределении VRAM/RAM. Это подчёркивает ключевой компромисс для запуска на 12 ГБ VRAM: размещение модели через агрессивную квантизацию в сравнении с сохранением качества рассуждений и предотвращением узких мест при выгрузке на CPU/RAM.

Keep reading with a 7-day free trial

Продолжайте читать с 7-дневным бесплатным пробным периодом

Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.

Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву публикаций.