newsmode
search
Меню
arrow_back Назад
rss_feedLatent Space ·28.05.2026 open_in_new

[AINews] Cognition raises $1B in $26B Series D

#AI Agents #Ai Infrastructure #Venture Funding
auto_awesomeКраткое саммари

Cognition закрыла раунд Series D на $1B при оценке $26B — спустя 8 месяцев после $10B Series C компания стоит в 2,5 раза дороже и стала крупнейшей независимой агентной AI-лабораторией. ARR проектируется выше $1B к концу года, текущий run-rate — $492M, корпоративное использование выросло более чем в 10× с начала года. В выпуске также: оптимизация инференса смещается на архитектурный уровень (EAGLE 3.1, DeepSeek V4-Pro с Compressed Sparse Attention, MiMo от Xiaomi), а стек агентов смещается от качества модели к связке model-harness-memory (LangChain Deep Agents v0.6, запуск Trajectory с $15M на пост-тренинг агентов). На бенчмарках ITBench-AA от Artificial Analysis и IBM все фронтирные модели набрали меньше 50%, лидирует Claude Opus 4.7 с 47%, за ним GPT-5.5 с 46%. Среди релизов: ESMFold2 с атласом из 6,8B белков, Gemini Embedding 2, Surya OCR 2, а также консолидация кодинг-агентов в полноценные продуктовые стеки с корпоративными контролями.

translate EN + RU EN RU

[AINews] Cognition raises $1B in $26B Series D

[AINews] Cognition привлекла $1B в раунде Series D при оценке $26B

coding is an uncapped TAM market

кодинг — рынок с неограниченным TAM

We last wrote about Cognition in September’s $10B Series C when Smol.ai also joined Cognition and AINews was eventually moved here to Latent Space. 8 months later, it is worth 2.5x more, and officially the largest remaining independent agent lab in AI, a thesis we mapped out last year. With official ARR disclosures (now projecting >$1B ARR by EOY) you can map out the growth, which looks oddly similar to the WTF Happened in 2025 charts (this isn’t a coincidence):

В прошлый раз мы писали о Cognition в сентябрьском Series C на $10B , когда Smol.ai также присоединилась к Cognition, а AINews в итоге переехал сюда, в Latent Space. Спустя 8 месяцев компания стоит в 2,5 раза дороже и официально является крупнейшей оставшейся независимой агентной лабораторией в AI — тезис, который мы сформулировали в прошлом году. С официальным раскрытием ARR (сейчас прогнозируется >$1B ARR к концу года) можно проследить рост, который странным образом похож на графики WTF Happened in 2025 (это не совпадение):

In the enterprise SaaS business, ARR is a trailing indicator of utilization, as are the logos of some of the toughest/most discerning customers in the enterprise and startup ecosystem (including Exa and Modal, featured last week)

В бизнесе enterprise SaaS ARR — это запаздывающий индикатор использования, как и логотипы некоторых из самых требовательных и разборчивых клиентов в корпоративной и стартап-экосистеме (включая Exa и Modal, о которых мы рассказывали на прошлой неделе)

We will release more on the Cognition podcast tomorrow.

Завтра выпустим больше материалов в подкасте Cognition.

AI News for 5/26/2026-5/27/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

AI News за 26.05.2026–27.05.2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и никаких новых Discord. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, AINews теперь раздел Latent Space. Вы можете включать/отключать частоту email-рассылок!

AI Twitter Recap

AI Twitter Recap

Inference Efficiency, Serving Architectures, and Cost Curves

Эффективность инференса, архитектуры обслуживания и кривые стоимости

  • Inference optimization is increasingly architectural, not just kernel-level: EAGLE 3.1 improves speculative decoding robustness by stabilizing hidden-state feedback and reducing attention drift at deeper decode steps, with explicit emphasis on long-context acceptance length and real-world serving reliability; the team also highlighted collaboration with vLLM and TorchSpec. At the kernel/system layer, Perplexity open-sourced a rebuilt Unigram tokenizer that cuts CPU utilization 5–6× and reaches 63 µs at 514 tokens with zero heap allocations, while Qwen3.5 on TokenSpeed reportedly hits 580 tokens/s for agentic workloads via joint optimization across Alibaba, LightSeek, NVIDIA, Mooncake, and FlashAttention-4 contributors. Supporting libraries also improved: MaxSim v2 adds backprop and reports 10.33× faster on H200 and 11.94× on A100 versus naïve PyTorch.

  • Price cuts are being justified by structural KV-cache and attention changes: Several posts converged on the same theme: recent API price cuts from Chinese labs look sustainable because they reflect lower serving cost per token, not temporary subsidy. @kimmonismus summarized how DeepSeek V4-Pro uses hybrid attention with Compressed Sparse Attention and Heavily Compressed Attention to bring 1M-token KV cache to ~10% of V3.2 and single-token inference FLOPs to 27%, while still routing 49B active params out of 1.6T total. Xiaomi’s MiMo similarly reduces cache traffic using SWA plus hierarchical cache management. That was corroborated directly by @_LuoFuli, who said MiMo’s deepest input-cache-hit price cut comes from 5× cached token capacity, roughly 80% lower caching cost, and an architectural 1:7 Full:SWA sparsity ratio. The broader takeaway: long-context inference economics are now being pushed by attention design + cache hierarchy + routing, not just cheaper hardware.

    • Оптимизация инференса всё чаще становится архитектурной, а не только уровня ядер: EAGLE 3.1 повышает устойчивость спекулятивного декодирования за счёт стабилизации обратной связи скрытых состояний и снижения смещения внимания на более глубоких шагах декодирования, с явным акцентом на длину принимаемого контекста и реальную надёжность обслуживания; команда также подчеркнула сотрудничество с vLLM и TorchSpec. На уровне ядер/системы Perplexity открыла исходники переписанного Unigram tokenizer, который снижает использование CPU в 5–6× и достигает 63 мкс при 514 токенах с нулевыми heap-аллокациями, тогда как Qwen3.5 на TokenSpeed, по сообщениям, достигает 580 токенов/с на агентных нагрузках за счёт совместной оптимизации с участием Alibaba, LightSeek, NVIDIA, Mooncake и контрибьюторов FlashAttention-4. Вспомогательные библиотеки также улучшились: MaxSim v2 добавляет обратное распространение и сообщает о 10,33× ускорении на H200 и 11,94× на A100 относительно наивного PyTorch.Снижение цен оправдывается структурными изменениями в KV-кэше и attention: Несколько постов сошлись на одной теме: недавние снижения цен API от китайских лабораторий выглядят устойчивыми, поскольку отражают более низкую стоимость обслуживания на токен, а не временную субсидию. @kimmonismus резюмировал, как DeepSeek V4-Pro использует гибридное внимание с Compressed Sparse Attention и Heavily Compressed Attention, чтобы довести KV-кэш на 1M токенов до ~10% от V3.2, а FLOPs инференса одного токена — до 27%, при этом продолжая маршрутизировать 49B активных параметров из 1,6T общих. MiMo от Xiaomi аналогично снижает трафик кэша с помощью SWA и иерархического управления кэшем. Это напрямую подтвердил @_LuoFuli, сказавший, что самое глубокое снижение цены на попадание во входной кэш у MiMo достигается за счёт 5× ёмкости кэшированных токенов, примерно 80% более низкой стоимости кэширования и архитектурного соотношения разреженности Full:SWA 1:7. Общий вывод: экономика инференса с длинным контекстом теперь движется дизайном внимания + иерархией кэша + маршрутизацией, а не только более дешёвым железом.

    Agents, Harnesses, Memory, and Continual Learning

    Агенты, harness-системы, память и непрерывное обучение

  • The stack is shifting from “model quality” to “model-harness-memory fit”: A substantial cluster of tweets focused on practical agent engineering. LangChain shipped Deep Agents v0.6 with Delta Channels, cutting checkpoint storage for a 200-turn coding session from 5.3 GB to 129 MB, and also launched computer use in Fleet, plus Context Hub for versioned agent context/skills. LangSmith Engine was framed as automating the eval → diagnosis → fix loop, with multiple practitioners emphasizing its value for turning trace feedback into reusable online/offline evaluators. In parallel, @Vtrivedy10 made the clearest formulation of the day: task-harness fit matters as much as model quality, and bespoke vertical systems outperform generic harnesses by narrowing tools, prompts, and context to the task.

  • Continual learning is re-emerging as a product category, not just a research topic: The biggest announcement here was Trajectory’s launch: a platform for using product usage signals and agent traces to continuously post-train large agentic models, with $15M in funding and design partners including Clay, Harvey, Decagon, Mercor, and Rogo. Baseten said it supports these deployments with FP8/NVFP4 quantization and autoscaled H100 infra, including a cited overnight deployment of a 397B-parameter model. The same trend appeared in open tooling: an open-source memory-centric agent built on LangChain/LangGraph was praised by multiple builders for explicit retrieval/storage/reasoning/learning separation, and RLM’s minimal training harness shows small teams can now RL-tune long-context agents in a day on 8×A100. The throughline is that “post-deployment learning” is moving from aspiration to infra.

    • Стек смещается от «качества модели» к «соответствию модель-harness-память»: Значительный кластер твитов был посвящён практической инженерии агентов. LangChain выпустил Deep Agents v0.6 с Delta Channels, сокращающим хранилище чекпоинтов для кодинг-сессии из 200 ходов с 5,3 ГБ до 129 МБ, а также запустил использование компьютера в Fleet и Context Hub для версионируемого контекста и навыков агента. LangSmith Engine позиционируется как автоматизация цикла оценка → диагностика → исправление, причём многие практики подчёркивали его ценность для превращения обратной связи трассировок в переиспользуемые онлайн/офлайн-оценщики. Параллельно @Vtrivedy10 чётче всех сформулировал мысль дня: соответствие задачи и harness важно не меньше качества модели, и заточенные вертикальные системы превосходят универсальные harness за счёт сужения инструментов, промптов и контекста под задачу.Непрерывное обучение возрождается как продуктовая категория, а не только тема исследований: Главным анонсом здесь стал запуск Trajectory: платформа использует сигналы использования продукта и трассировки агентов для непрерывного post-training крупных агентных моделей, с $15M финансирования и партнёрами по дизайну, среди которых Clay, Harvey, Decagon, Mercor и Rogo. Baseten сообщила, что поддерживает такие развёртывания с помощью FP8/NVFP4-квантизации и автомасштабируемой инфры H100, включая упомянутое ночное развёртывание модели на 397B параметров. Та же тенденция проявилась в открытых инструментах: открытый агент с упором на память, построенный на LangChain/LangGraph, был отмечен многими разработчиками за явное разделение retrieval/storage/reasoning/learning, а минимальный обучающий harness RLM показывает, что небольшие команды теперь могут RL-донастраивать длинноконтекстных агентов за день на 8×A100. Сквозная мысль: «обучение после развёртывания» переходит из мечты в инфру.

    Benchmarks, Scaling Laws, and Training Methods

    Бенчмарки, законы масштабирования и методы обучения

  • New benchmarks are increasingly about long-horizon, messy, real-world workflows: DeepSWE was highlighted as a SWE/agent benchmark with 113 tasks across 91 repos in 5 languages, using a minimalist bash-only harness and shorter prompts that nevertheless require 5.5× more code and touch 7 files on average than SWE-Bench Pro. In enterprise operations, Artificial Analysis and IBM launched ITBench-AA, an SRE benchmark over Kubernetes incident response where all frontier models scored below 50%; Claude Opus 4.7 led at 47%, GPT-5.5 followed at 46%, and GLM-5.1 Reasoning led open weights at 40%. Another useful reliability angle came from AgingBench, which frames deployed agent degradation as a lifespan problem caused by compression, interference, and memory updates.

  • Training efficiency research remains active across both theory and systems: Sakana AI’s DiffusionBlocks was one of the most technically interesting releases: it reinterprets forward passes as diffusion-like denoising steps so deep nets can be trained one block at a time, dramatically reducing memory while matching end-to-end performance across ViTs, DiTs, masked diffusion, autoregressive transformers, and recurrent-depth transformers. On the RL systems side, Snowflake introduced ZoRRo, claiming up to 3.5× faster long-context RL and 3.2× longer context windows by eliminating redundant rollout computation, alongside the specialized Arctic-Text2SQL-R2 enterprise SQL model. On the theory front, Tiberiu Musat’s preprint argues minimum neural weight norm matches minimum program length up to a log factor for fixed-precision networks, while Unified Neural Scaling Law proposes a multivariate functional form intended to extrapolate neural scaling behavior more accurately than prior fits.

    • Новые бенчмарки всё чаще про долгие, неаккуратные, реальные рабочие процессы: DeepSWE выделили как SWE/агентный бенчмарк с 113 задачами в 91 репозитории на 5 языках, использующий минималистичный bash-only harness и более короткие промпты, которые тем не менее требуют в 5,5× больше кода и затрагивают в среднем 7 файлов по сравнению с SWE-Bench Pro. В сфере корпоративных операций Artificial Analysis и IBM запустили ITBench-AA, SRE-бенчмарк по реагированию на инциденты в Kubernetes, где все фронтирные модели набрали менее 50%; Claude Opus 4.7 лидирует с 47%, GPT-5.5 следует с 46%, а GLM-5.1 Reasoning лидирует среди open weights с 40%. Ещё один полезный ракурс надёжности — AgingBench, который рассматривает деградацию развёрнутого агента как проблему срока жизни, вызванную сжатием, интерференцией и обновлениями памяти.Исследования эффективности обучения остаются активными и в теории, и в системах: DiffusionBlocks от Sakana AI стал одним из самых технически интересных релизов: метод переинтерпретирует прямые проходы как шаги диффузионного шумоподавления, позволяя обучать глубокие сети по одному блоку за раз, резко снижая память при сохранении сквозной производительности на ViT, DiT, masked diffusion, авторегрессивных трансформерах и recurrent-depth трансформерах. Со стороны RL-систем Snowflake представила ZoRRo, заявляя об ускорении длинноконтекстного RL до 3,5× и увеличении контекстных окон в 3,2× за счёт устранения избыточных вычислений роллаутов, наряду со специализированной моделью Arctic-Text2SQL-R2 для корпоративного SQL. Со стороны теории препринт Тибериу Мусата утверждает, что минимальная норма весов нейросети совпадает с минимальной длиной программы с точностью до логарифмического фактора для сетей фиксированной точности, а Unified Neural Scaling Law предлагает многомерную функциональную форму, призванную точнее предыдущих экстраполировать поведение нейросетевого масштабирования.

    Model and Modality Releases: Biology, Vision, OCR, and Embedded AI

    Релизы моделей и модальностей: биология, зрение, OCR и встроенный AI

  • Protein modeling had a standout day: ESMFold2 was announced as an open scientific engine for protein structure prediction and design, with strong reported results on protein interactions and antibodies, plus an accompanying atlas of 6.8B proteins and 1.1B predicted structures. The release emphasized both practical design outcomes—miniprotein binders and single-chain antibodies across five therapeutic targets—and mechanistic interpretability findings about emergent protein representations. The release was echoed by @proteinrosh and contextualized by @cgeorgiaw, who noted the atlas exceeds AlphaFold DB in scale.

  • A wave of smaller but practical multimodal/open releases landed: Google DeepMind shared the white paper for Gemini Embedding 2, described as a native multimodal embedding model supporting unified representations over text, image, audio, and video. NVIDIA’s LocateAnything combines Qwen2.5-3B + Moon-ViT for high-speed grounding, with a claimed 10× speedup for dense object detection. Hugging Face integrated Roboflow’s RF-DETR, positioning it as real-time detection/segmentation that outperforms YOLO-style systems. For document pipelines, Surya OCR 2 ships as a 650M model with 83.3% OLMOCR bench, 87% on an internal 91-language benchmark, and 5 pages/s on RTX 5090; LiteParse v2 rewrites parsing in Rust for up to 100× speedups and edge/browser deployment via WASM. On-device AI also got a nod with Google’s new Coral board for local speech, vision, and control demos.

    • День моделирования белков выдался выдающимся: ESMFold2 был анонсирован как открытый научный движок для предсказания и дизайна структуры белков, с сильными заявленными результатами по взаимодействиям белков и антителам, плюс сопутствующий атлас из 6,8B белков и 1,1B предсказанных структур. Релиз подчёркивает как практические результаты дизайна — минибелковые связыватели и одноцепочечные антитела для пяти терапевтических мишеней — так и находки механистической интерпретируемости об эмерджентных представлениях белков. Релиз поддержал @proteinrosh, а контекст добавил @cgeorgiaw, отметив, что атлас превосходит AlphaFold DB по масштабу.Появилась волна меньших, но практичных мультимодальных/открытых релизов: Google DeepMind опубликовала white paper по Gemini Embedding 2, описанному как нативная мультимодальная embedding-модель, поддерживающая единые представления для текста, изображений, аудио и видео. LocateAnything от NVIDIA сочетает Qwen2.5-3B + Moon-ViT для высокоскоростного grounding, с заявленным ускорением в 10× для плотного детектирования объектов. Hugging Face интегрировала RF-DETR от Roboflow, позиционируя её как realtime detection/segmentation, превосходящую системы в стиле YOLO. Для документных пайплайнов Surya OCR 2 выходит как модель на 650M с 83,3% на OLMOCR bench, 87% на внутреннем 91-языковом бенчмарке и 5 страниц/с на RTX 5090; LiteParse v2 переписывает парсинг на Rust для ускорения до 100× и edge/browser-развёртывания через WASM. On-device AI тоже получил отдельный кивок — новая плата Google Coral для локальных демо речи, зрения и управления.

    Developer Platforms, Enterprise Controls, and Coding-Agent Productization

    Платформы для разработчиков, корпоративные контроли и продуктизация кодинг-агентов

  • Coding agents are consolidating into full product stacks with enterprise controls: OpenAI continued tightening Codex’s product surface: GPT-5.2 and GPT-5.3-Codex are being sunset in Codex in favor of GPT-5.5, while enterprise features now include private MCP connectivity over outbound-only HTTPS, Workload Identity Federation, and expanded Admin API controls for spend alerts, allowlists, retention policies, and hosted tool management. OpenAI also published a concrete case study on self-improving tax agents with Codex, centered on tracing reviewer corrections back into evals and fixes.

  • Competition in coding agents is now visibly about reliability, workflow breadth, and enterprise adoption: Claude Code shared a reliability/performance update and easier bug-report capture, while GitHub kept pushing the “agentized IDE” direction with Copilot Dev Days and MCP positioning. The biggest commercial datapoint was Cognition: >$1B raised at a $26B valuation, enterprise usage up >10× YTD, and $492M run-rate revenue, paired with a growing customer list and strong endorsements from users like Exa. Meanwhile, smaller infra/product moves suggest the ecosystem is broadening: Cua Driver for Windows brings background computer use to Windows agents; Cloudflare’s agent platform was repeatedly praised for “fractional computing” economics; and Grok Build’s worktree support targets multi-agent code swarms at repo scale.

    • Кодинг-агенты консолидируются в полноценные продуктовые стеки с корпоративными контролями: OpenAI продолжила ужесточать продуктовую поверхность Codex: GPT-5.2 и GPT-5.3-Codex выводятся из Codex в пользу GPT-5.5, а корпоративные функции теперь включают приватную MCP-подключаемость по исходящему HTTPS, Workload Identity Federation и расширенные Admin API-контроли для алертов по тратам, allowlist'ов, политик хранения и управления хостинговыми инструментами. OpenAI также опубликовала конкретный кейс по самосовершенствующимся налоговым агентам на Codex, в центре которого — прокидывание исправлений ревьюеров обратно в evals и фиксы.Конкуренция в кодинг-агентах теперь явно идёт за надёжность, широту workflow и enterprise-внедрение: Claude Code поделился апдейтом по надёжности/производительности и более удобной фиксацией багов, а GitHub продолжает двигаться в сторону «агентизированной IDE» с Copilot Dev Days и позиционированием MCP. Самым крупным коммерческим датапойнтом стала Cognition: >$1B привлечено при оценке $26B, корпоративное использование выросло >10× с начала года и $492M run-rate revenue, в паре с растущим списком клиентов и сильными отзывами от пользователей вроде Exa. Тем временем меньшие инфра/продуктовые движения говорят о расширении экосистемы: Cua Driver для Windows приносит фоновое использование компьютера в Windows-агенты; агентная платформа Cloudflare неоднократно отмечалась за экономику «дробных вычислений»; а поддержка worktree в Grok Build нацелена на мультиагентные кодовые рои масштаба репозитория.

    Top tweets (by engagement)

    Топовые твиты (по вовлечённости)

  • Cognition’s scale-up: Cognition announced >$1B raised, $26B valuation, and $492M run-rate revenue, one of the clearest signals yet that coding agents are converting into large enterprise businesses.

  • Claude Code reliability push: Anthropic’s ClaudeDevs posted a high-engagement update on responsiveness, reliability, and better feedback collection—evidence that product quality and trust are now central battlegrounds.

  • Sakana AI’s DiffusionBlocks: @hardmaru drew major attention to block-wise training that can match end-to-end performance while dramatically lowering memory requirements.

  • ESMFold2 release: @alexrives announced one of the day’s most substantive science releases: open protein modeling at atlas scale with therapeutic design implications.

  • OpenAI enterprise controls + MCP: @OpenAIDevs on private MCP and related admin/security updates reflects where frontier APIs are competing for large-org adoption.

    • Масштабирование Cognition: Cognition объявила о >$1B привлечения, оценке $26B и $492M run-rate revenue — один из самых ясных сигналов, что кодинг-агенты превращаются в крупные корпоративные бизнесы.Усиление надёжности Claude Code: ClaudeDevs от Anthropic опубликовал апдейт с высокой вовлечённостью по отзывчивости, надёжности и улучшенному сбору обратной связи — свидетельство того, что качество продукта и доверие теперь центральные поля битвы.DiffusionBlocks от Sakana AI: @hardmaru привлёк большое внимание к поблочному обучению, которое может сравняться по производительности со сквозным, резко снижая требования к памяти.Релиз ESMFold2: @alexrives анонсировал один из самых содержательных научных релизов дня: открытое моделирование белков масштаба атласа с прикладными последствиями для терапевтического дизайна.Корпоративные контроли OpenAI + MCP: @OpenAIDevs о приватном MCP и связанных админ/security-обновлениях отражает, где фронтирные API конкурируют за внедрение в крупных организациях.

    AI Reddit Recap

    AI Reddit Recap

    /r/LocalLlama + /r/localLLM Recap

    /r/LocalLlama + /r/localLLM Recap

    1. Low-Bit Local AI on Consumer Hardware

    1. Low-Bit локальный AI на потребительском железе

  • PrismML just released Binary and Ternary Bonsai Image 4B: 1-bit/ternary text-to-image diffusion transformers that can even run 100% locally in your browser on WebGPU. (Activity: 759): PrismML released Binary and Ternary Bonsai Image 4B, described as 1-bit/ternary text-to-image diffusion-transformer variants with ~3GB checkpoints, Apache-2.0 licensing, and a WebGPU browser demo (HF collection, demo). The post compares them to FLUX.2 Klein 4B at ~16GB; a top technical comment claims Bonsai Image is primarily a quantized/post-trained derivative of FLUX.2 Klein 4B, with insufficient attribution outside the whitepaper. The main debate is attribution/branding: one commenter argues PrismML is rebranding quantized/fine-tuned base models as “Bonsai” while minimizing credit to original labs, comparing it to releasing a quant of Qwen as a new model. Another commenter asks whether it can run on CPU with 16GB RAM, but no technical answer is provided in the supplied comments.

    • A commenter alleges PrismML’s “Bonsai-Image” is not a newly trained base model, but a binary/ternary quantization of FLUX.2 Klein 4B with additional post-training to recover quality. They argue the project’s HF demo/model pages and GitHub omit clear attribution to the original FLUX model/team, with the original model reportedly mentioned only in the whitepaper.

    • A technical usability note says the browser/WebGPU model requires roughly ~2 GB to download, which is relevant for fully local inference despite the 1-bit/ternary compression claims. Another user asks whether it can run on CPU with 16 GB RAM, but no concrete benchmark or compatibility answer is provided in the thread.

  • Got tired of OOM errors on my 4GB GPU. Wrote a custom Rust bare-metal engine and hit 66.8 TPS with a 4B model (BitNet 1.58b on RTX 3050). (Activity: 390): OP claims a custom Rust/C++ LLM inference engine, Cluaiz, runs prism-ml/Bonsai-4B-gguf with 1.58-bit quantization on an RTX 3050 4GB, reaching 66.8 tokens/s, and reports ~30–33 TPS for Gemma/Qwen 4B variants without OOM via dynamic KV-cache management. No reproducible repo or benchmark artifacts were provided in the post yet; commenters pointed to the apparent project links (GitHub, site) and questioned vague claims like “direct-to-silicon” access, noting this may simply mean ahead-of-time native compilation rather than any unusual GPU/driver-level mechanism. The attached Reddit video could not be independently accessed due to Reddit HTTP 403 restrictions. Top comments were strongly skeptical, characterizing the writeup and repo language as pseudo-technical/AI-generated and arguing the stated achievements amount to basic native compilation plus a single-machine demo. Commenters also challenged the project’s licensing/copyright wording under Apache 2.0 and asked for concrete implementation details behind the claimed low-level hardware access.

    • Commenters challenged the technical claims in the linked repo (github.com/cluaiz/cluaiz, cluaiz.com), arguing that descriptions like “direct silicon access”, “bare-metal engine,” and “copyrighted Apache licensed software” appear to be marketing or LLM-generated pseudo-technical language rather than concrete implementation details. One commenter asked whether “direct silicon access” merely means ahead-of-time native compilation in Rust, rather than any real low-level GPU programming beyond normal CUDA/driver APIs.

    • Several commenters argued that the claimed outcome should be compared against existing tooling, especially llama.cpp, which already supports low-memory inference and quantized models on consumer GPUs. The critique was that OOM issues on a 4GB RTX 3050 are often solvable through proper llama.cpp configuration rather than writing a new engine, so the claimed 66.8 TPS with a 4B BitNet 1.58b model needs reproducible benchmarks and configuration details to be meaningful.

    • PrismML только что выпустила Binary and Ternary Bonsai Image 4B: 1-битные/троичные text-to-image диффузионные трансформеры, которые могут работать на 100% локально в браузере через WebGPU. (Активность: 759): PrismML выпустила Binary and Ternary Bonsai Image 4B, описанные как 1-битные/троичные варианты text-to-image диффузионных трансформеров с чекпойнтами ~3GB, лицензией Apache-2.0 и WebGPU-демо в браузере (коллекция HF, демо). Пост сравнивает их с FLUX.2 Klein 4B на ~16GB; топовый технический комментарий утверждает, что Bonsai Image — в первую очередь квантованная/пост-тренированная производная от FLUX.2 Klein 4B с недостаточным указанием авторства вне whitepaper. Главный спор — атрибуция/брендинг: один комментатор утверждает, что PrismML ребрендирует квантованные/файнтюнинговые базовые модели как «Bonsai», минимизируя кредит оригинальным лабораториям, сравнивая это с выпуском квантованной Qwen как новой модели. Другой комментатор спрашивает, может ли это работать на CPU с 16GB RAM, но технического ответа в предоставленных комментариях нет.Комментатор утверждает, что «Bonsai-Image» от PrismML — это не новая обученная базовая модель, а бинарная/троичная квантизация FLUX.2 Klein 4B с дополнительным post-training для восстановления качества. Они утверждают, что страницы HF-демо/модели проекта и GitHub не дают чёткой атрибуции оригинальной модели/команде FLUX, а оригинальная модель упоминается, как сообщается, только в whitepaper.Техническое замечание по юзабилити говорит, что браузерная/WebGPU модель требует примерно ~2 ГБ для загрузки, что важно для полностью локального инференса несмотря на заявления о 1-битном/троичном сжатии. Другой пользователь спрашивает, может ли она работать на CPU с 16 ГБ RAM, но конкретного бенчмарка или ответа о совместимости в треде нет.Устал от OOM-ошибок на моей 4GB GPU. Написал кастомный bare-metal движок на Rust и достиг 66.8 TPS с 4B моделью (BitNet 1.58b на RTX 3050). (Активность: 390): OP заявляет, что кастомный движок инференса LLM на Rust/C++ под названием Cluaiz запускает prism-ml/Bonsai-4B-gguf с квантизацией 1.58-bit на RTX 3050 4GB, достигая 66.8 токенов/с, и сообщает о ~30–33 TPS для вариантов Gemma/Qwen 4B без OOM за счёт динамического управления KV-кэшем. Воспроизводимого репозитория или артефактов бенчмарков в посте пока не предоставлено; комментаторы указали на видимые ссылки проекта (GitHub, сайт) и поставили под сомнение размытые утверждения вроде «прямо в кремний» доступа, отметив, что это может попросту означать ahead-of-time нативную компиляцию, а не какой-то необычный механизм уровня GPU/драйвера. Прикреплённое видео Reddit не удалось проверить независимо из-за ограничений HTTP 403 на Reddit. Топовые комментарии были резко скептичны, характеризуя текст и язык репозитория как псевдо-технический/AI-сгенерированный и утверждая, что заявленные достижения сводятся к базовой нативной компиляции плюс демо на одной машине. Комментаторы также оспорили формулировки про лицензирование/авторское право в Apache 2.0 и попросили конкретных деталей реализации за заявленным низкоуровневым доступом к железу.Комментаторы оспорили технические заявления в репозитории по ссылке (github.com/cluaiz/cluaiz, cluaiz.com), утверждая, что описания вроде «прямой доступ к кремнию», «bare-metal движок» и «copyrighted Apache licensed software» выглядят маркетингом или LLM-сгенерированным псевдо-техническим языком, а не конкретными деталями реализации. Один комментатор спросил, означает ли «прямой доступ к кремнию» всего лишь ahead-of-time нативную компиляцию на Rust, а не какое-то реальное низкоуровневое программирование GPU вне обычных CUDA/драйверных API.Несколько комментаторов утверждали, что заявленный результат следует сравнивать с уже существующими инструментами, особенно llama.cpp, которая уже поддерживает low-memory инференс и квантованные модели на потребительских GPU. Критика заключалась в том, что проблемы OOM на 4GB RTX 3050 часто решаются правильной настройкой llama.cpp, а не написанием нового движка, поэтому заявленные 66.8 TPS на 4B модели BitNet 1.58b требуют воспроизводимых бенчмарков и деталей конфигурации, чтобы быть значимыми.

    2. Qwen 3.5/3.6 Local Model Releases and Coding Tests

    2. Релизы локальных моделей Qwen 3.5/3.6 и кодинг-тесты

  • Qwen3.5 35B A3B uncensored heretic Native MTP Preserved is Out Now With the Full 785 MTPs Preserved and Retained, Available in Safetensors, GGUFs. NVFP4, NVFP4 GGUFs and GPTQ-Int4 Formats (Activity: 602): llmfan46 released Qwen3.5-35B-A3B-uncensored-heretic-v2-Native-MTP-Preserved, a decensored derivative of Qwen/Qwen3.5-35B-A3B made with Heretic v1.3.0 / Magnitude-Preserving Orthogonal Ablation-style edits targeting attn.o_proj, attn.out_proj, and mlp.down_proj, while preserving all 785 native MTP tensors. The model card reports refusals reduced from 92/100 to 14/100, KL divergence 0.0487 vs base, and MMLU dropping only from 84.12% to 83.72% over 7,021 questions; releases include Safetensors, GGUF, NVFP4, NVFP4 GGUF, and GPTQ-Int4 variants. The author argues Qwen3.5 and Qwen3.6 both use the qwen35 architecture but are tuned for different regimes—Qwen3.5 for general assistance, Qwen3.6 for agentic/coding—and notes abliteration KL/quality behavior differs substantially between the families. Commenters appreciated the unusual availability of an NVFP4 GGUF build, with one noting they could not find comparable releases even from Unsloth. Another tester agreed with the author’s positioning, describing Qwen3.6 as closer to “3.5 coder+” rather than a simple across-the-board successor to Qwen3.5.

    • One commenter highlighted the practical value of the NVFP4 GGUF build, noting that this format is hard to find elsewhere: “I seriously can’t find anyone else doing that, not even Unsloth.” This is technically relevant because NVFP4 GGUF availability can matter for users targeting newer NVIDIA-oriented low-precision inference workflows while still using GGUF-based runtimes.

    • A tester compared Qwen3.5 and Qwen3.6, arguing that 3.6 feels more like “3.5 coder+” than a straightforward general upgrade. They suggested the short time between releases makes a broad capability leap unlikely, implying 3.6 may be more specialized toward coding rather than a simple successor to 3.5.

  • Okay 27B made me a believer (Activity: 541): OP reports that a 27B Qwen-family model used via Opencode generated a near-complete HTML5 Breakout-style game in one shot from three reference files describing console APIs, gamepad controls, and a TypeScript shader. The output was immediately playable, with working controls, sound, metadata, save/stat/heartbeat API integration, and only required one follow-up for customization plus one glitch fix; a commenter recommends enabling MTP/speculative decoding with 2–3 draft tokens for speed. Another heavy user says the model performs best below 64K context, degrades noticeably past 64K, and “really drops off” after 128K, recommending periodic summarization-to-file and session resets for long agentic coding tasks. Commenters characterize the dense 27B as unusually strong for local coding—near-Sonnet class for web-app one-shots—while one user found 35B A3B less capable despite its size/routing advantages. The main caution is that long-context agentic runs can induce loops or “stupidity,” so users should manage context aggressively.

    • A commenter recommended enabling MTP/speculative decoding for better throughput, suggesting an MTP value of 2 or 3 as a practical speed/quality tradeoff. This is a deployment-level optimization rather than a model-quality claim, useful for users running the 27B model locally.

    • One user reported that the 27B model’s effective reasoning quality drops noticeably with long contexts: best below 64K tokens, degraded past 64K, and “really drops off after 128K.” Their workaround for long-horizon agentic tasks is to periodically summarize state into a file, restart the harness/session, and reload the summary to recover model quality and avoid loops.

    • A benchmark operator said Qwen 27B was such an outlier that they rechecked their methodology, placing it roughly on par with GPT-5.2 or Sonnet 4.5 in their rankings while noting it struggles at larger context sizes, likely due to parameter-count limits. They linked their data at gertlabs.com/rankings.

    • Qwen3.5 35B A3B uncensored heretic Native MTP Preserved уже доступна — с полными сохранёнными 785 MTP, в форматах Safetensors, GGUF, NVFP4, NVFP4 GGUF и GPTQ-Int4 (Активность: 602): llmfan46 выпустила Qwen3.5-35B-A3B-uncensored-heretic-v2-Native-MTP-Preserved, дeцензурированную производную Qwen/Qwen3.5-35B-A3B, сделанную с помощью Heretic v1.3.0 / правок в стиле Magnitude-Preserving Orthogonal Ablation, нацеленных на attn.o_proj, attn.out_proj и mlp.down_proj, при этом сохраняя все 785 нативных MTP-тензоров. Карточка модели сообщает о снижении отказов с 92/100 до 14/100, KL-дивергенции 0.0487 относительно базы и падении MMLU всего с 84.12% до 83.72% на 7,021 вопросах; релизы включают Safetensors, GGUF, NVFP4, NVFP4 GGUF и GPTQ-Int4 варианты. Автор утверждает, что Qwen3.5 и Qwen3.6 используют одну архитектуру qwen35, но настроены для разных режимов — Qwen3.5 для общего ассистирования, Qwen3.6 для агентных/кодинг-задач — и отмечает, что поведение KL/качества при abliteration существенно различается между семействами. Комментаторы оценили необычное наличие сборки NVFP4 GGUF, причём один отметил, что не смог найти сопоставимых релизов даже у Unsloth. Другой тестер согласился с позиционированием автора, описав Qwen3.6 как нечто более близкое к «3.5 coder+», а не к простому всестороннему преемнику Qwen3.5.Один комментатор подчеркнул практическую ценность сборки NVFP4 GGUF, отметив, что этот формат сложно найти где-либо ещё: «Серьёзно, не могу найти никого другого, кто этим занимается, даже Unsloth». Это технически важно, поскольку доступность NVFP4 GGUF может играть роль для пользователей, нацеленных на новые NVIDIA-ориентированные workflow низкой точности с использованием GGUF-рантаймов.Тестер сравнил Qwen3.5 и Qwen3.6, утверждая, что 3.6 ощущается скорее как «3.5 coder+», чем как прямой общий апгрейд. Они предположили, что короткое время между релизами делает широкий скачок в способностях маловероятным, подразумевая, что 3.6 может быть более специализированной под кодинг, а не простым преемником 3.5.Окей, 27B сделала меня верующим (Активность: 541): OP сообщает, что модель 27B семейства Qwen, используемая через Opencode, сгенерировала почти полную HTML5 Breakout-подобную игру с одного раза из трёх референсных файлов, описывающих API консоли, управление геймпадом и TypeScript-шейдер. Результат был сразу играбельным, с рабочим управлением, звуком, метаданными, интеграцией save/stat/heartbeat API, и потребовал лишь одного доп. запроса для кастомизации плюс одного исправления глитча; комментатор рекомендует включить MTP/спекулятивное декодирование с 2–3 draft-токенами для скорости. Другой активный пользователь говорит, что модель лучше всего работает ниже 64K контекста, заметно деградирует после 64K и «по-настоящему сваливается» после 128K, рекомендуя периодическую суммаризацию в файл и сброс сессии для длинных агентных кодинг-задач. Комментаторы характеризуют плотную 27B как необычно сильную для локального кодинга — близко к классу Sonnet для one-shot веб-приложений — при том что один пользователь нашёл 35B A3B менее способной, несмотря на её преимущества по размеру/маршрутизации. Главная оговорка — что долгие агентные прогоны могут вызывать циклы или «тупение», поэтому пользователям стоит агрессивно управлять контекстом.Комментатор рекомендовал включить MTP/спекулятивное декодирование для лучшей пропускной способности, предлагая значение MTP 2 или 3 как практичный компромисс скорости/качества. Это оптимизация уровня развёртывания, а не утверждение о качестве модели, полезное для пользователей, запускающих модель 27B локально.Один пользователь сообщил, что эффективное качество рассуждений модели 27B заметно падает при длинных контекстах: лучше всего ниже 64K токенов, деградирует после 64K и «по-настоящему сваливается после 128K». Их обходной путь для долгих агентных задач — периодически суммаризировать состояние в файл, перезапускать harness/сессию и подгружать саммари, чтобы восстановить качество модели и избежать циклов.Оператор бенчмарка сказал, что Qwen 27B оказался настолько выбивающимся из ряда, что они перепроверили методологию, поставив её примерно на уровень GPT-5.2 или Sonnet 4.5 в своих рейтингах, отмечая, что она хуже справляется при больших размерах контекста, вероятно из-за ограничений по числу параметров. Они дали ссылку на свои данные на gertlabs.com/rankings.

    Keep reading with a 7-day free trial

    Продолжайте чтение с 7-дневным бесплатным пробным периодом

    Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.

    Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву постов.