[AINews] Replit Agent 4: The Knowledge Work Agent
Выпуск AINews посвящён запуску Replit Agent 4 — превращению Replit из платформы для кодинга в полноценный пакет для интеллектуального труда с canvas, приложениями, сайтами, слайдами и видео. За последние 6 месяцев оценка Replit утроилась до $9 млрд, а сам пивот вписывается в ключевой тренд 2026 года: создатели кодинг-агентов расширяют их на всё новые задачи знаниевой работы (Pi → OpenClaw, Claude Code → Cowork, Notion Custom Agents). В обзоре также: открытая модель NVIDIA Nemotron 3 Super (120B/~12B активных, контекст 1M, гибридная Mamba-Transformer/SSM Latent MoE, до 2,2x быстрее GPT-OSS-120B в FP4); запуск Perplexity «Personal Computer» на Mac mini и оркестрация 20 моделей и 400+ приложений для Enterprise; создание The Anthropic Institute во главе с Джеком Кларком и слухи о ранней рекурсивной самооптимизации (по статье TIME, 70–90% кода будущих моделей пишет Claude, Claude в 427 раз быстрее людей-наблюдателей). Отдельно разобраны исследования по оценке агентов (PostTrainBench, EvoSkill, AgentIR), мультимодальные модели (Gemini Embedding 2, Qwen3.5, Reka Edge) и сбой авторизации Claude Code как риск инфраструктуры — «провалы интеллекта».
[AINews] Replit Agent 4: The Knowledge Work Agent
[AINews] Replit Agent 4: агент для интеллектуального труда
Replit Agent 4 lets us reflect on a couple disparate releases.
Replit Agent 4 даёт повод осмыслить пару разрозненных релизов.
Replit just tripled in valuation to $9B in the last 6 months. You can accuse Amjad Masad of many things, but you cannot deny he and his team’s incredible pulse on what the “current meta” in tech is:
Replit только что утроил свою оценку до $9 млрд за последние 6 месяцев. Амджада Масада можно обвинять во многом, но нельзя отрицать невероятное чутьё его команды на то, что является «текущей метой» в технологиях:
Perhaps if you’re not close to Replit (eg you never saw their 2015 Master Plan or their Documentary), you might watch that 8 minute video and think it is a generic AI platform launch like any other. But this Replit is unrecognizable from the “coding with some AI tacked on” platform that Replit was just 2 years ago, with a bunch of now veritably antiquated conventional wisdoms of the time:
Возможно, если вы далеки от Replit (например, никогда не видели их мастер-план 2015 года или их документальный фильм), вы посмотрите это 8-минутное видео и решите, что это рядовой запуск AI-платформы, каких много. Но этот Replit не узнать после платформы в духе «кодинг с прикрученным сбоку AI», какой Replit был всего 2 года назад, с целым набором уже откровенно устаревших общепринятых истин того времени:
Now that software engineering is approximately solved, where does a coding platform go? Well for Replit, it means going up the stack to be a fully integrated productivity suite, with a canvas, apps, sites, slides, videos, and others.
Теперь, когда разработка ПО более-менее решена, куда двигаться кодинг-платформе? Что ж, для Replit это означает подъём вверх по стеку, чтобы стать полностью интегрированным пакетом для продуктивности — с canvas, приложениями, сайтами, слайдами, видео и прочим.
This is a smart pivot that is inline with one of the most dominant themes of 2026 - now that coding agents have solved coding, it is the same coding agent builders that are expanding their scope to more and more knowledge work tasks, including Pi → OpenClaw, Claude Code → Cowork, and every model lab working on Excel and PowerPoint integrations, and Notion building Custom Agents for every other knowledge work integration in the world.
Это умный пивот, который вписывается в одну из самых доминирующих тем 2026 года: теперь, когда кодинг-агенты решили задачу кодинга, те же создатели кодинг-агентов расширяют их охват на всё больше и больше задач интеллектуального труда, включая Pi → OpenClaw, Claude Code → Cowork, каждую модельную лабораторию, работающую над интеграциями с Excel и PowerPoint, и Notion, создающий Custom Agents для всех прочих интеграций интеллектуального труда в мире.
Our Running Trends List of 2026 in AI
Наш текущий список трендов AI 2026 года
We have been somewhat accumulating a list of AI Trends that Matter in 2026 and it has slowly emerged through our coverage this year:
Мы понемногу накапливали список значимых AI-трендов 2026 года, и он постепенно вырисовывался по ходу нашего освещения событий этого года:
Coding Agents → Knowledge Work Agents (today’s piece)
Death of IDE → “Dark” Software Factories - with no code review
AI research automation (aka RSI, sometimes “AI Scientist”)
World Models (AMI, Adversarial)
“AI for Science” finally working
Разрыв в кодинге/рассуждениях в декабре 2025Кодинг-агенты → агенты интеллектуального труда (сегодняшний материал)Смерть IDE → «тёмные» софт-фабрики — без ревью кодаАвтоматизация AI-исследований (она же RSI, иногда «AI-учёный»)Мировые модели (AMI, Adversarial)Дефицит памяти и стек на кастомных ASIC (включая Taalas)Великое переслияние AI против SaaS«AI для науки» наконец заработалМасштабирование без шлака
AI News for 3/10/2026-3/11/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!
AI News за 10.03.2026–11.03.2026. Мы проверили 12 сабреддитов, 544 твиттера и никаких Discord-серверов сверх этого. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете подписаться/отписаться от частоты писем!
AI Twitter Recap
Обзор AI-твиттера
NVIDIA’s Nemotron 3 Super Release and the Open-Model Efficiency Push
Релиз NVIDIA Nemotron 3 Super и движение за эффективность открытых моделей
Nemotron 3 Super was the clearest technical release of the day: a 120B parameter / ~12B active open model with 1M context, a hybrid Mamba-Transformer / SSM Latent MoE architecture, and explicit support for agentic workloads. NVIDIA positioned it as unusually open — weights, data, recipe, infra details — and performance-focused for Blackwell-era deployment, with claims of up to 2.2x faster inference than GPT-OSS-120B in FP4 and large throughput gains over prior Nemotron releases (announcement via @ctnzr, tech perspective via @kuchaev, Wired reporting on NVIDIA’s broader open-model investment).
Third-party reactions converged on the same theme: strong capability-per-active-parameter and unusually high serving speed. @ArtificialAnlys scored it 36 on the AA Intelligence Index, ahead of gpt-oss-120b (33) but behind Qwen3.5-122B-A10B (42), while noting ~10% higher throughput per GPU than GPT-OSS-120B and launch-day serving speeds of up to 484 tok/s. Community and infra support landed immediately across vLLM, llama.cpp, Ollama, Together, Baseten, W&B Inference, LangChain, and Unsloth GGUFs.
The most interesting technical discussion was about why it is fast. @ctnzr highlighted native multi-token prediction (MTP) as a key inference optimization: provisional multi-token guesses get verified on subsequent passes, exploiting otherwise-unused GPU compute at small batch sizes. @bnjmn_marie also quantified a major KV-cache advantage versus Qwen3.5-122B: roughly 8,192 bytes/token in BF16 for Nemotron’s attention KV term versus 24,576 bytes/token for Qwen3.5-122B, making long-context serving materially lighter.
Nemotron 3 Super стал самым явным техническим релизом дня: открытая модель на 120B параметров / ~12B активных с контекстом 1M, гибридной архитектурой Mamba-Transformer / SSM Latent MoE и явной поддержкой агентских нагрузок. NVIDIA позиционировала её как необычно открытую — веса, данные, рецепт, детали инфраструктуры — и ориентированную на производительность для развёртывания эпохи Blackwell, с заявлениями о до 2,2x более быстром инференсе, чем у GPT-OSS-120B в FP4 и значительном приросте пропускной способности по сравнению с прошлыми релизами Nemotron (анонс от @ctnzr, техническая перспектива от @kuchaev, репортаж Wired о более широких инвестициях NVIDIA в открытые модели).Реакции третьих сторон сошлись на одной теме: сильная способность на активный параметр и необычно высокая скорость обслуживания. @ArtificialAnlys оценил её на 36 по AA Intelligence Index, впереди gpt-oss-120b (33), но позади Qwen3.5-122B-A10B (42), отметив при этом ~10% более высокую пропускную способность на GPU, чем у GPT-OSS-120B, и скорости обслуживания в день запуска до 484 tok/s. Поддержка со стороны сообщества и инфраструктуры подоспела сразу — vLLM, llama.cpp, Ollama, Together, Baseten, W&B Inference, LangChain и Unsloth GGUF.Самое интересное техническое обсуждение касалось того, почему она быстрая. @ctnzr выделил нативное предсказание нескольких токенов (MTP) как ключевую оптимизацию инференса: предварительные догадки сразу о нескольких токенах верифицируются на последующих проходах, задействуя иначе простаивающие вычисления GPU при малых размерах батча. @bnjmn_marie также количественно оценил серьёзное преимущество KV-кэша по сравнению с Qwen3.5-122B: примерно 8 192 байт/токен в BF16 для члена внимания KV у Nemotron против 24 576 байт/токен у Qwen3.5-122B, что делает обслуживание длинного контекста значительно легче.
Agent Infrastructure, Orchestration, and the “Bigger IDE” Thesis
Инфраструктура агентов, оркестрация и тезис «большей IDE»
The strongest product trend was a shift from “chat with a model” to persistent agent runtimes and orchestration layers. @karpathy argued the “age of the IDE is over” framing is wrong; instead, “we’re going to need a bigger IDE” where the unit of work becomes an agent rather than a file, and later extended that into the notion of legible, forkable agentic orgs with real-time observability and control (follow-up, org legibility thread).
Multiple launches fit that framing. Perplexity announced Personal Computer, an always-on local/cloud hybrid that runs on a Mac mini, works across local files/apps/sessions, and can be controlled remotely (launch, waitlist). It also expanded Computer for Enterprise, describing orchestration across 20 specialized models and 400+ apps (enterprise launch, API platform update). Separately, Replit Agent 4 pitched a more collaborative, canvas-like workflow with parallel agents for apps, sites, and slides (launch), while Base44 Superagents emphasized “batteries included” integrations with Gmail, Slack, Stripe, CRM, and more for nontechnical users (launch).
The engineering discussion is increasingly around the harness, not just the model. @Vtrivedy10 described a fast-moving design space where improved models unlocked product experiences that were previously too brittle, with a self-improving loop of evals/metrics → autonomous harness edits → hill climbing. LangChain added autonomous context compression to Deep Agents so models can compact at task boundaries instead of hard token thresholds (announcement), while @OpenAIDevs published a technical writeup on computer access for agents, covering execution loops, filesystem context, network access, and guardrails.
Самым сильным продуктовым трендом стал сдвиг от «чата с моделью» к персистентным средам выполнения агентов и слоям оркестрации. @karpathy утверждал, что формулировка «эпоха IDE окончена» ошибочна; наоборот, «нам понадобится IDE побольше», где единицей работы становится агент, а не файл, и позже развил это в идею читаемых, форкаемых агентских организаций с наблюдаемостью и управлением в реальном времени (продолжение, тред о читаемости организаций).Несколько запусков укладываются в эту рамку. Perplexity анонсировала Personal Computer — постоянно работающий локально-облачный гибрид, который запускается на Mac mini, работает с локальными файлами/приложениями/сессиями и управляется удалённо (запуск, лист ожидания). Также расширили Computer for Enterprise, описав оркестрацию 20 специализированных моделей и 400+ приложений (корпоративный запуск, обновление API-платформы). Отдельно Replit Agent 4 предложил более совместный, canvas-подобный рабочий процесс с параллельными агентами для приложений, сайтов и слайдов (запуск), тогда как Base44 Superagents сделал акцент на интеграциях «всё включено» с Gmail, Slack, Stripe, CRM и прочим для нетехнических пользователей (запуск).Инженерное обсуждение всё больше идёт вокруг harness (обвязки), а не только модели. @Vtrivedy10 описал быстро меняющееся пространство проектирования, где улучшенные модели разблокировали продуктовые сценарии, ранее слишком хрупкие, с самоулучшающейся петлёй оценки/метрики → автономные правки harness → подъём по холму. LangChain добавил автономное сжатие контекста в Deep Agents, чтобы модели могли уплотнять контекст на границах задач, а не по жёстким порогам токенов (анонс), тогда как @OpenAIDevs опубликовали технический разбор компьютерного доступа для агентов, охватывающий циклы выполнения, контекст файловой системы, доступ к сети и ограничители.
Anthropic, Claude-Centric Workflows, and Early RSI Anxiety
Anthropic, рабочие процессы вокруг Claude и ранняя тревога по поводу RSI
A major meta-story was Anthropic’s institutional framing of powerful AI. The company launched The Anthropic Institute, led by Jack Clark in a new Head of Public Benefit role, with a mandate spanning ML engineering, economics, and social science to shape the public conversation around advanced AI (launch, leadership note, Jack Clark on role change).
At the same time, several tweets amplified concerns that Anthropic may be seeing early recursive-self-improvement dynamics internally. The most substantive references came indirectly via discussion of a TIME article: @kimmonismus summarized claims that 70–90% of the code used in developing future models is now written by Claude, model release cadence has compressed from months to weeks, and some researchers think fully automated AI research could be as little as a year away. @Hangsiin highlighted one especially striking line: Claude being 427x faster than human overseers at some internal tasks, with nested parallel usage patterns already common.
This narrative had an immediate practical counterpoint: operational dependence on Claude Code. A login/auth outage triggered visible developer pain, with @Yuchenj_UW joking that Silicon Valley productivity fell 90%, @dejavucoder reporting inability to log in, and @HamelHusain describing fallback to token-based access. The outage even prompted @karpathy to note his autoresearch labs got wiped out in the OAuth outage, framing future frontier-model service interruptions as potential “intelligence brownouts.”
Крупным мета-сюжетом стало институциональное оформление Anthropic темы мощного AI. Компания запустила The Anthropic Institute под руководством Джека Кларка в новой роли главы по общественной пользе (Head of Public Benefit), с мандатом, охватывающим ML-инженерию, экономику и социальные науки, чтобы формировать публичный разговор вокруг продвинутого AI (запуск, заметка о руководстве, Джек Кларк о смене роли).В то же время несколько твитов усилили опасения, что Anthropic, возможно, наблюдает раннюю динамику рекурсивной самооптимизации внутри компании. Самые содержательные отсылки пришли косвенно через обсуждение статьи TIME: @kimmonismus резюмировал утверждения, что 70–90% кода, используемого при разработке будущих моделей, теперь пишет Claude, темп выпуска моделей сжался с месяцев до недель, а некоторые исследователи считают, что полностью автоматизированные AI-исследования могут быть всего в году от нас. @Hangsiin выделил особенно поразительную строчку: Claude в 427 раз быстрее людей-наблюдателей на некоторых внутренних задачах, причём вложенные паттерны параллельного использования уже распространены.У этого нарратива был немедленный практический контрапункт: операционная зависимость от Claude Code. Сбой входа/авторизации вызвал заметную боль разработчиков — @Yuchenj_UW пошутил, что продуктивность Кремниевой долины упала на 90%, @dejavucoder сообщил о невозможности войти, а @HamelHusain описал переход на доступ по токенам. Сбой даже побудил @karpathy отметить, что его лаборатории авто-исследований были стёрты во время сбоя OAuth, представив будущие перебои в обслуживании фронтир-моделей как потенциальные «провалы интеллекта» (intelligence brownouts).
Research on Agent Evals, Retrieval, Post-Training, and Self-Improvement
Исследования по оценке агентов, поиску, постобучению и самоулучшению
Several papers focused on what looks like the next bottleneck: measuring and improving agent systems, rather than just base-model quality. @karinanguyen_ released PostTrainBench v1.0, a benchmark for whether frontier agents can post-train language models in a simplified setting, explicitly aimed at tracking progress toward AI R&D automation / recursive self-improvement. One notable ablation from the thread: for GPT-5.1 Codex Max, medium reasoning effort beat high, because extra tokens caused context compaction and hurt performance (ablation details).
On the agent-learning side, @omarsar0 highlighted EvoSkill, where an executor/proposer/skill-builder triad discovers and refines reusable skills from failures; on OfficeQA it reportedly improved Claude Code + Opus 4.5 from 60.6% to 67.9% exact match. @dair_ai shared AgentIR, a reasoning-aware retriever that jointly embeds an agent’s reasoning trace with its query; they report 68% accuracy on BrowseComp-Plus, versus 52% for larger conventional embedding models and 37% for BM25.
There was also renewed emphasis on agent reliability as a security problem even without adversaries. @random_walker argued many AI-agent failures arise from unreliability rather than explicit attacks, pointing to a Princeton response to NIST on the need to define, measure, and mitigate that failure mode. Combined with the growing emphasis on eval craft — e.g. @gabriberton calling eval creation the most useful skill in the age of code agents — the center of gravity keeps shifting toward measurement, harnesses, and production feedback loops.
Несколько работ сфокусировались на том, что выглядит как следующее узкое место: измерение и улучшение агентских систем, а не просто качество базовой модели. @karinanguyen_ выпустила PostTrainBench v1.0 — бенчмарк, проверяющий, могут ли фронтир-агенты проводить постобучение языковых моделей в упрощённой постановке, явно нацеленный на отслеживание прогресса к автоматизации AI R&D / рекурсивному самоулучшению. Одна примечательная абляция из треда: для GPT-5.1 Codex Max средний уровень reasoning-усилий обошёл высокий, потому что лишние токены вызывали уплотнение контекста и ухудшали результат (детали абляции).Со стороны обучения агентов @omarsar0 выделил EvoSkill, где триада «исполнитель/предлагатель/строитель навыков» обнаруживает и оттачивает переиспользуемые навыки на основе неудач; на OfficeQA это, как сообщается, улучшило Claude Code + Opus 4.5 с 60,6% до 67,9% точного совпадения. @dair_ai поделился AgentIR — ретривером, учитывающим рассуждения, который совместно встраивает трассу рассуждений агента вместе с его запросом; они сообщают о 68% точности на BrowseComp-Plus против 52% у более крупных обычных embedding-моделей и 37% у BM25.Также вновь подчёркивалась надёжность агентов как проблема безопасности даже без злоумышленников. @random_walker утверждал, что многие сбои AI-агентов возникают из-за ненадёжности, а не из-за явных атак, указывая на ответ Принстона NIST о необходимости определять, измерять и смягчать этот режим отказа. В сочетании с растущим вниманием к мастерству оценки — например, @gabriberton назвал создание оценок самым полезным навыком в эпоху кодинг-агентов — центр тяжести продолжает смещаться к измерению, harness'ам и петлям обратной связи в продакшене.
Multimodal Models, Embeddings, and Physical/Visual AI
Мультимодальные модели, эмбеддинги и физический/визуальный AI
On the multimodal side, Google’s Gemini Embedding 2 drew practical pricing analysis rather than benchmark talk. @osanseviero summarized the release: embeddings for text, images, video, audio, PDFs, plus Matryoshka embeddings for lower-dimensional storage. @neural_avb offered the most useful deployment note: text pricing appears high relative to competitors, suggesting the model is best reserved for multimodal retrieval; video embedding costs can explode unless clients aggressively lower FPS before upload.
Qwen3.5’s multimodal architecture also got a detailed community breakdown from @ZhihuFrontier: a hybrid attention stack mixing Gated DeltaNet linear attention and Gated full attention, with a 397B A17B MoE variant and 27B dense variant, 262k native context extensible toward 1M, and MTP in training. That thread is useful mostly as a compact survey of where attention innovation is going: hybrid linear/full attention, GQA, DSA, and MoE routing are now core design axes.
In vision/physical AI, Reka Edge launched as a production-focused VLM for physical AI, claiming 3x fewer input tokens and 65% faster throughput than leading 8B models across image/video understanding, object detection, and tool use (launch). Google also shared two healthcare deployments: an AI system that identified 25% of interval breast cancers missed by standard screening (Google) and a real-world study of AMIE for conversational clinical reasoning that found it safe, feasible, and well-received by patients (Google Research).
Что касается мультимодальности, Gemini Embedding 2 от Google вызвал скорее практический анализ цен, чем разговоры о бенчмарках. @osanseviero резюмировал релиз: эмбеддинги для текста, изображений, видео, аудио, PDF, плюс Matryoshka-эмбеддинги для хранения в меньшей размерности. @neural_avb дал самую полезную заметку по развёртыванию: цена на текст выглядит высокой относительно конкурентов, что говорит о том, что модель лучше приберечь для мультимодального поиска; затраты на эмбеддинг видео могут взрываться, если клиенты агрессивно не снизят FPS перед загрузкой.Мультимодальная архитектура Qwen3.5 также получила подробный разбор от сообщества от @ZhihuFrontier: стек гибридного внимания, смешивающий линейное внимание Gated DeltaNet и Gated full attention, с вариантом 397B A17B MoE и 27B dense, нативным контекстом 262k, расширяемым до 1M, и MTP в обучении. Этот тред полезен главным образом как компактный обзор того, куда движется инновация во внимании: гибридное линейное/полное внимание, GQA, DSA и MoE-маршрутизация теперь являются ключевыми осями дизайна.В сфере визуального/физического AI запустили Reka Edge — ориентированный на продакшен VLM для физического AI, заявляющий в 3 раза меньше входных токенов и на 65% более высокую пропускную способность, чем ведущие 8B-модели, в задачах понимания изображений/видео, детекции объектов и использования инструментов (запуск). Google также поделилась двумя развёртываниями в здравоохранении: AI-системой, выявившей 25% интервальных раков молочной железы, пропущенных стандартным скринингом (Google), и реальным исследованием AMIE для диалогового клинического рассуждения, которое признали безопасным, осуществимым и хорошо принятым пациентами (Google Research).
Top tweets (by engagement)
Топ твитов (по вовлечённости)
Perplexity’s “Personal Computer”: always-on local/cloud agent on a Mac mini with remote control and local app/file access (launch).
Anthropic Institute / Jack Clark’s new role: Anthropic formalizes a public-benefit and public-discourse effort around powerful AI (Anthropic, @jackclarkSF).
Replit Agent 4: collaborative, multi-agent canvas for shipping apps/sites/slides (announcement).
NVIDIA Nemotron 3 Super: open 120B/12B-active hybrid model with 1M context and day-0 ecosystem support (@ctnzr).
Claude Code outage as infra risk: frontier-model auth failure visibly disrupting real engineering workflows (@karpathy, @Yuchenj_UW).
«Personal Computer» от Perplexity: постоянно работающий локально/облачный агент на Mac mini с удалённым управлением и доступом к локальным приложениям/файлам (запуск).Anthropic Institute / новая роль Джека Кларка: Anthropic формализует усилия по общественной пользе и публичному дискурсу вокруг мощного AI (Anthropic, @jackclarkSF).Replit Agent 4: совместный мультиагентный canvas для выпуска приложений/сайтов/слайдов (анонс).NVIDIA Nemotron 3 Super: открытая модель 120B/12B-активных, гибридная, с контекстом 1M и поддержкой экосистемы с нулевого дня (@ctnzr).Сбой Claude Code как инфраструктурный риск: сбой авторизации фронтир-модели заметно нарушил реальные инженерные процессы (@karpathy, @Yuchenj_UW).
AI Reddit Recap
Обзор AI-Reddit
/r/LocalLlama + /r/localLLM Recap
Обзор /r/LocalLlama + /r/localLLM
1. Qwen Model Releases and Benchmarks
1. Релизы и бенчмарки моделей Qwen
M5 Max just arrived - benchmarks incoming (Activity: 2188): The post discusses the arrival and benchmarking of the M5 Max 128GB 14” laptop, focusing on testing various machine learning models using the mlx_lm tool. The models tested include Qwen3.5-122B-A10B-4bit, Qwen3-Coder-Next-8bit, Qwen3.5-27B-Claude-4.6-Opus-Distilled-MLX-6bit, and gpt-oss-120b-MXFP4-Q8. The benchmarks reveal performance metrics such as tokens-per-second and peak memory usage for different prompt sizes. The author initially faced issues with BatchGenerator but resolved them by using a fresh Python environment and stream_generate. The results show varying performance across models, with peak memory usage ranging from 25.319 GB to 92.605 GB and generation speeds from 14.225 to 87.873 tokens-per-second. Commenters are eager for the benchmark results, with one expressing interest in the performance of the Qwen 3.5 27b MLX models. Another commenter humorously notes the anticipation for the benchmarks.
The benchmarks for the M5 Max 128GB 14” using
mlx_lm.generateshow varying performance across different models and configurations. For instance, the Qwen3.5-122B-A10B-4bit model achieves a prompt throughput of1,239.7 t/sat 16K context with a peak memory usage of73.8 GB. In contrast, the Qwen3-Coder-Next-8bit model reaches1,887.2 t/sat 32K context, but with higher memory consumption at89.7 GB.The Qwen3.5-27B-Claude-4.6-Opus-Distilled-MLX-6bit model shows a significant drop in generation throughput, with only
14.9 t/sat 32K context and a peak memory usage of30.0 GB. This suggests a trade-off between model complexity and performance, as more distilled models may require less memory but also offer reduced throughput.The gpt-oss-120b-MXFP4-Q8 model demonstrates impressive performance with a prompt throughput of
2,710.5 t/sat 16K context and a relatively low peak memory usage of64.9 GB. This indicates that the model is optimized for high throughput while maintaining efficient memory usage, making it suitable for applications requiring fast processing speeds.
Qwen3.5-35B-A3B Uncensored (Aggressive) — GGUF Release (Activity: 1019): The release of Qwen3.5-35B-A3B Aggressive on Hugging Face is notable for its uncensored nature, maintaining the original model’s capabilities without refusals (0/465 refusals). This model features 35B parameters with ~3B active, utilizing a mixture of experts (MoE) with 256 experts and 8+1 active per token. It supports multimodal inputs (text, image, video) and employs hybrid attention mechanisms (Gated DeltaNet + softmax in a 3:1 ratio). The model includes various quantization formats like BF16, Q8_0, and Q6_K, and is optimized for vision support with mmproj. Recommended sampling parameters include temp=1.0, top_k=20, and presence_penalty=1.5. Users are advised to use the --jinja flag with llama.cpp for optimal performance. The community appreciates the release, with users expressing gratitude for the developer’s efforts and anticipation for trying the model once all components, like Q4_K_M, are available.
Velocita84 raises a critical point about the need for evaluating Kullback-Leibler Divergence (KLD) to substantiate claims of ‘no capability loss’ in the Qwen3.5-35B-A3B model. This metric is essential for quantifying the difference between the probability distributions of the original and modified models, ensuring that the aggressive uncensoring does not degrade performance.
Iory1998 highlights concerns about potential quality degradation, particularly in handling long context scenarios. This is a common issue with large language models where modifications, such as aggressive uncensoring, might impact the model’s ability to maintain coherence and accuracy over extended text inputs. The commenter questions how the modified model compares to the original in these aspects.
No-Statistician-374 mentions the anticipation for the Q4_K_M version of the model, indicating a community interest in different quantization formats. This suggests that users are keen on exploring various configurations to optimize performance and resource usage, reflecting the technical community’s focus on balancing model size and computational efficiency.
M5 Max только что приехал — бенчмарки на подходе (Активность: 2188): В посте обсуждается прибытие и бенчмаркинг ноутбука M5 Max 128GB 14” с упором на тестирование различных ML-моделей с помощью инструмента mlx_lm. Среди протестированных моделей — Qwen3.5-122B-A10B-4bit, Qwen3-Coder-Next-8bit, Qwen3.5-27B-Claude-4.6-Opus-Distilled-MLX-6bit и gpt-oss-120b-MXFP4-Q8. Бенчмарки раскрывают такие метрики производительности, как токены в секунду и пиковое потребление памяти для разных размеров промпта. Автор поначалу столкнулся с проблемами с BatchGenerator, но решил их, использовав свежее окружение Python и stream_generate. Результаты показывают разнящуюся производительность по моделям, с пиковым потреблением памяти от 25,319 ГБ до 92,605 ГБ и скоростями генерации от 14,225 до 87,873 токенов в секунду. Комментаторы с нетерпением ждут результатов бенчмарков, один из них выражает интерес к производительности моделей Qwen 3.5 27b MLX. Другой комментатор с юмором отмечает ожидание бенчмарков.Бенчмарки для M5 Max 128GB 14” с использованием mlx_lm.generate показывают разнящуюся производительность по разным моделям и конфигурациям. Например, модель Qwen3.5-122B-A10B-4bit достигает пропускной способности промпта 1 239,7 t/s при контексте 16K с пиковым потреблением памяти 73,8 ГБ. Напротив, модель Qwen3-Coder-Next-8bit достигает 1 887,2 t/s при контексте 32K, но при более высоком потреблении памяти 89,7 ГБ.Модель Qwen3.5-27B-Claude-4.6-Opus-Distilled-MLX-6bit демонстрирует значительное падение пропускной способности генерации — всего 14,9 t/s при контексте 32K и пиковом потреблении памяти 30,0 ГБ. Это указывает на компромисс между сложностью модели и производительностью, поскольку более дистиллированные модели могут требовать меньше памяти, но и давать меньшую пропускную способность.Модель gpt-oss-120b-MXFP4-Q8 демонстрирует впечатляющую производительность с пропускной способностью промпта 2 710,5 t/s при контексте 16K и относительно низким пиковым потреблением памяти 64,9 ГБ. Это говорит о том, что модель оптимизирована под высокую пропускную способность при сохранении эффективного использования памяти, что делает её подходящей для приложений, требующих быстрой обработки.Qwen3.5-35B-A3B Uncensored (Aggressive) — релиз GGUF (Активность: 1019): Релиз Qwen3.5-35B-A3B Aggressive на Hugging Face примечателен своей нецензурированностью, сохраняя возможности оригинальной модели без отказов (0/465 отказов). Эта модель имеет 35B параметров с ~3B активных, используя смесь экспертов (MoE) с 256 экспертами и 8+1 активными на токен. Она поддерживает мультимодальные входы (текст, изображение, видео) и использует механизмы гибридного внимания (Gated DeltaNet + softmax в соотношении 3:1). Модель включает различные форматы квантизации, такие как BF16, Q8_0 и Q6_K, и оптимизирована для поддержки зрения с mmproj. Рекомендуемые параметры сэмплинга включают temp=1.0, top_k=20 и presence_penalty=1.5. Пользователям советуют использовать флаг --jinja с llama.cpp для оптимальной производительности. Сообщество ценит релиз, пользователи выражают благодарность за усилия разработчика и предвкушение попробовать модель, как только станут доступны все компоненты, например Q4_K_M.Velocita84 поднимает критически важный момент о необходимости оценки дивергенции Кульбака-Лейблера (KLD), чтобы подкрепить заявления об «отсутствии потери возможностей» у модели Qwen3.5-35B-A3B. Эта метрика существенна для количественной оценки разницы между распределениями вероятностей оригинальной и модифицированной моделей, гарантируя, что агрессивное снятие цензуры не ухудшает производительность.Iory1998 обращает внимание на опасения по поводу потенциального ухудшения качества, особенно при работе с длинным контекстом. Это распространённая проблема больших языковых моделей, где модификации, такие как агрессивное снятие цензуры, могут влиять на способность модели сохранять связность и точность на протяжённых текстовых входах. Комментатор задаётся вопросом, как модифицированная модель сравнивается с оригинальной в этих аспектах.No-Statistician-374 упоминает ожидание версии модели Q4_K_M, что свидетельствует об интересе сообщества к разным форматам квантизации. Это говорит о том, что пользователи стремятся исследовать различные конфигурации для оптимизации производительности и использования ресурсов, отражая фокус технического сообщества на балансе между размером модели и вычислительной эффективностью.
Keep reading with a 7-day free trial
Продолжайте читать с 7-дневным бесплатным пробным периодом
Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.
Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву постов.