newsmode
search
Меню
arrow_back Назад
rss_feedLatent Space ·15.05.2026 open_in_new

[AINews] Everything is Conductor

#AI Agents #Developer Tools #Embodied Ai
auto_awesomeКраткое саммари

Выпуск AINews посвящён тренду «agent-first» интерфейсов для кодинга: GitHub представил новое десктоп-приложение GitHub Copilot App, повторяющее форм-фактор Conductor, который активно хвалит Garry Tan из Y Combinator. OpenAI продвигает Codex в мобильном приложении ChatGPT, добавил Remote SSH, хуки и программный доступ для Business/Enterprise. LangChain выпустил инфраструктурный стек: SmithDB для трасс агентов, LangSmith Engine для автоматического анализа сбоев и LangChain Labs с фокусом на continual learning. Бурную реакцию вызвали ограничения Anthropic для Claude Code: Theo отменил подписку и призвал к донатам open-source, что подсветило риски подписочных harness'ов. Figure показала 24+ часа непрерывной автономной работы гуманоида Helix-02 на сортировке без телеуправления. Среди исследовательских релизов: ZAYA1-8B-Diffusion от Zyphra (ускорение декодирования 4.6–7.7x), Toto 2.0 от Datadog (5 open-weights моделей для временных рядов), а Opus 4.7 и GPT-5.5 в эксперименте Prime Intellect превзошли человеческий бейзлайн на nanoGPT speedrun.

translate EN + RU EN RU

[AINews] Everything is Conductor

[AINews] Everything is Conductor

an ultra quiet day lets us highlight a smaller trend.

сверхтихий день позволяет подсветить менее заметный тренд.

If you’re interested in how AI is improving Healthcare, tune in to our first pod on it out today, and if you want to meet other top engineers in the field, apply to speak!

Если вам интересно, как AI улучшает здравоохранение, послушайте наш первый подкаст на эту тему, выходящий сегодня, а если хотите познакомиться с другими топовыми инженерами в этой области, подавайте заявку на выступление!

There’s an ongoing joke in evolutionary biology that “Everything is Crab”: the Crab form factor has independently evolved at least 7 times on earth:

В эволюционной биологии есть устойчивая шутка, что «Everything is Crab»: форм-фактор краба независимо появлялся на Земле как минимум 7 раз:

The proximate cause of today’s op-ed is GitHub announcing the new GitHub App - as Oren Melamed says, “If you are code first you might wanna stay on good ol’ VS Code, but if you are agent first and GitHub first you are in for a treat!”

Непосредственный повод сегодняшней колонки — GitHub анонсировал новое приложение GitHub App. Как говорит Oren Melamed: «Если вы code first, возможно, вам стоит остаться на старом добром VS Code, но если вы agent first и GitHub first — вас ждёт настоящее удовольствие!»

Hmm. That looks familiar…

Хм. Это что-то напоминает…

This is of course very nice for Conductor, which pioneered this form factor, and now has a loudly vocal fan in Garry Tan, the AI pilled CEO of Y Combinator:

Это, конечно, очень приятно для Conductor, который первым внедрил этот форм-фактор, а теперь имеет громко высказывающегося фаната в лице Garry Tan, AI-pilled CEO Y Combinator:

Now for two billion dollar questions:

Теперь два вопроса на миллиард долларов:

  • if you pioneered a form factor, how do you monetize it while others copy it?

  • what’s next after this one?

    • если вы первыми внедрили форм-фактор, как его монетизировать, пока его копируют другие? что будет следующим после этого?

    For those interested in alternate histories, here’s what happened with the Kanban board form factor that briefly trended last year:

    Для интересующихся альтернативной историей — вот что случилось с форм-фактором Kanban-доски, который ненадолго стал трендом в прошлом году:

    And here is Maggie Appleton breaking down the design thinking behind GitHub Ace:

    А вот Maggie Appleton разбирает дизайн-мышление за GitHub Ace:

    AI News for 5/13/2026-5/14/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

    AI News за 13.05.2026–14.05.2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и больше никаких Discord-серверов. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете подписаться/отписаться от разных частот email-рассылки!

    AI Twitter Recap

    AI Twitter Recap

    Coding Agent Tooling: Codex Mobile, GitHub’s New App, VS Code Multi-Agent UX, and Hermes/Codex Interop

    Инструментарий кодинг-агентов: Codex Mobile, новое приложение GitHub, мультиагентный UX в VS Code и интероп Hermes/Codex

  • OpenAI pushed Codex further into day-to-day workflows: the biggest product launch in this set was Codex in the ChatGPT mobile app, letting users start tasks, review outputs, approve commands, and steer execution remotely while Codex continues running on a laptop, Mac mini, or devbox. OpenAI also noted Remote SSH is now generally available for managed remote environments, and later added hooks plus programmatic access tokens for Business/Enterprise automation around the Codex loop (OpenAI, OpenAI follow-up, @OpenAIDevs on mobile workflow, @OpenAIDevs on Remote SSH, @OpenAIDevs on hooks/tokens). Separately, OpenAI published a technical writeup on the Wi`ndows sandbox for Codex, focused on the tradeoff between utility and constrained machine access for coding agents (OpenAI Devs, @gdb).

  • The broader IDE/app ecosystem is converging on “agent-first” UX: GitHub announced a technical preview of the GitHub Copilot App, described as a desktop environment for parallel workstreams, repo/PR lifecycle management, and model flexibility (GitHub, @adrianmg, @OrenMe). VS Code shipped a new Agents window for multi-agent, multi-project workflows, browser/mobile support via vscode.dev/agents, BYOK improvements, and token-efficiency features like compressed terminal output (VS Code, remote/browser support, BYOK updates, terminal compression). On the open side, Nous/Hermes Agent added Codex runtime integration, effectively routing OpenAI-backed turns through Codex CLI/app-server and reusing ChatGPT subscription-backed execution in Hermes sessions (Nous Research, @Teknium, @HermesAgentTips). Kimi also shipped Kimi Web Bridge, a browser extension exposing human-like web interaction to Kimi Code CLI, Claude Code, Cursor, Codex, Hermes, and others (Moonshot AI).

    • OpenAI ещё глубже интегрировал Codex в повседневные рабочие процессы: крупнейший продуктовый запуск в этой подборке — Codex в мобильном приложении ChatGPT, который позволяет запускать задачи, просматривать вывод, одобрять команды и удалённо управлять исполнением, пока Codex продолжает работать на ноутбуке, Mac mini или devbox. OpenAI также сообщил, что Remote SSH стал общедоступным для управляемых удалённых сред, а позже добавил хуки и программные токены доступа для автоматизации цикла Codex в Business/Enterprise (OpenAI, продолжение OpenAI, @OpenAIDevs про мобильный workflow, @OpenAIDevs про Remote SSH, @OpenAIDevs про хуки/токены). Отдельно OpenAI опубликовал технический разбор Windows-песочницы для Codex, посвящённый компромиссу между полезностью и ограниченным доступом к машине для кодинг-агентов (OpenAI Devs, @gdb). Более широкая экосистема IDE/приложений сходится к «agent-first» UX: GitHub анонсировал техническое превью GitHub Copilot App, описанного как десктопная среда для параллельных рабочих потоков, управления жизненным циклом repo/PR и гибкости в выборе моделей (GitHub, @adrianmg, @OrenMe). VS Code выпустил новое окно Agents для мультиагентных, многопроектных сценариев, поддержку браузера/мобильного через vscode.dev/agents, улучшения BYOK и фичи экономии токенов вроде сжатого вывода терминала (VS Code, поддержка remote/браузера, обновления BYOK, сжатие терминала). На open-стороне Nous/Hermes Agent добавил интеграцию с runtime Codex, фактически маршрутизируя ходы на бэкенде OpenAI через Codex CLI/app-server и переиспользуя исполнение на базе подписки ChatGPT в сессиях Hermes (Nous Research, @Teknium, @HermesAgentTips). Kimi также выпустил Kimi Web Bridge — браузерное расширение, дающее человекоподобное взаимодействие с веб-страницами для Kimi Code CLI, Claude Code, Cursor, Codex, Hermes и других (Moonshot AI).

    Agent Infrastructure and Self-Improvement Loops: LangSmith Engine, SmithDB, Sandboxes, and Continual Learning

    Инфраструктура агентов и циклы самоулучшения: LangSmith Engine, SmithDB, песочницы и continual learning

  • LangChain’s launch stack was the most substantive agent-infra release cluster: SmithDB is a database purpose-built for agent trace data, while LangSmith Engine consumes traces, clusters failures, identifies likely code issues, and proposes fixes/evals—turning observability into an improvement loop rather than passive inspection (@hwchase17, @caspar_br on Engine, @bentannyhill). Community commentary emphasized SmithDB’s architectural shift toward object storage and a custom storage/query path for this workload shape (@caspar_br on SmithDB, @ngates_, Chinese summary).

  • LangChain also announced LangChain Labs, an applied research effort around continual learning for agents, with the thesis that production traces should become training signal, evals, and targeted capability improvements over long horizons (LangChain, @jakebroekhuizen, @willccbb, Prime Intellect partnership).

  • Execution isolation for agents continues to mature: W&B/CoreWeave launched CoreWeave Sandboxes for isolated execution in RL, tool use, and eval workloads, explicitly testing destructive commands like rm -rf / at scale (Weights & Biases). In a similar spirit, open-source/local dev tooling surfaced around agent debugging: @benhylak highlighted a free local agent debugging stack with traces exposed to Codex/Claude Code for automated eval authoring.

    • Стек запусков LangChain стал самым содержательным кластером релизов агентской инфраструктуры: SmithDB — база данных, спроектированная специально под данные трасс агентов, а LangSmith Engine потребляет трассы, кластеризует сбои, находит вероятные проблемы в коде и предлагает фиксы/evals — превращая observability в цикл улучшения, а не в пассивную инспекцию (@hwchase17, @caspar_br про Engine, @bentannyhill). Комментарии сообщества подчёркивали архитектурный сдвиг SmithDB в сторону объектного хранилища и кастомного пути storage/query под такую форму нагрузки (@caspar_br про SmithDB, @ngates_, китайское саммари). LangChain также анонсировал LangChain Labs — прикладной исследовательский проект вокруг continual learning для агентов, с тезисом, что продакшен-трассы должны становиться обучающим сигналом, evals и точечными улучшениями способностей на длинных горизонтах (LangChain, @jakebroekhuizen, @willccbb, партнёрство с Prime Intellect). Изоляция исполнения для агентов продолжает развиваться: W&B/CoreWeave запустили CoreWeave Sandboxes для изолированного исполнения в нагрузках RL, tool use и evals, явно тестируя деструктивные команды вроде rm -rf / в большом масштабе (Weights & Biases). В том же духе появился open-source/локальный dev-тулинг для отладки агентов: @benhylak подсветил бесплатный локальный стек отладки агентов с трассами, доступными для Codex/Claude Code для автоматического написания evals.

    Anthropic Claude Code Restrictions and the Developer Backlash

    Ограничения Anthropic для Claude Code и реакция разработчиков

  • The sharpest ecosystem reaction was to Anthropic restricting/reshaping Claude Code usage, especially for third-party wrappers and high-volume programmatic workflows. Theo’s thread became the focal point: he argued users of T3 Code were effectively hit with dramatic rate-limit reductions despite integrating through the officially supported path, and he subsequently cancelled his subscription while encouraging others to post cancellation screenshots for open-source donations (@theo initial thread, subscription cancellation, donation thread, T3 Code clarification). Other prominent builders echoed the complaint that Anthropic had effectively cut off open-source devs/apps and destabilized harnesses built around claude -p (@theo, @andersonbcdefg).

  • There was also a more strategic counterargument: some users argued Anthropic does not owe developers heavily subsidized flat-fee tokens for third-party apps, and that the ecosystem will likely shift toward more explicit API economics and smarter routing between expensive and cheap models (Sentdex, @tadasayy). Still, the visible churn signal was nontrivial, including users estimating meaningful ARR loss from reply-thread cancellations alone (@thegenioo, Uncle Bob Martin, Theo later). For agent engineers, the practical takeaway is straightforward: subscription-backed harnesses are not stable platform primitives; provider/model abstraction and BYOK paths look increasingly mandatory.

    • Самая резкая реакция экосистемы была на ограничения/переработку Anthropic использования Claude Code, особенно для сторонних обёрток и высоконагруженных программных workflow. Тред Theo стал фокальной точкой: он утверждал, что пользователи T3 Code фактически получили драматическое снижение rate-limit, несмотря на интеграцию через официально поддерживаемый путь, после чего отменил свою подписку и призвал других выкладывать скриншоты отмены ради донатов open-source (@theo, исходный тред, отмена подписки, тред с донатами, уточнение про T3 Code). Другие заметные билдеры повторили жалобу, что Anthropic фактически отрезал open-source-разработчиков/приложения и дестабилизировал harness'ы, построенные вокруг claude -p (@theo, @andersonbcdefg). Был и более стратегический контраргумент: некоторые пользователи утверждали, что Anthropic ничего не должен разработчикам в виде сильно субсидированных flat-fee токенов для сторонних приложений, и что экосистема, скорее всего, сдвинется к более явной API-экономике и умной маршрутизации между дорогими и дешёвыми моделями (Sentdex, @tadasayy). Тем не менее видимый сигнал оттока был немалым, включая оценки пользователей о значимой потере ARR только по отменам в reply-тредах (@thegenioo, Uncle Bob Martin, Theo позже). Для агентских инженеров практический вывод прост: harness'ы на подписочной основе не являются стабильными платформенными примитивами; абстракция провайдера/модели и BYOK-пути выглядят всё более обязательными.

    Robotics and Embodied AI: Figure’s 24/7 Sorting Stream and the Broader Automation Signal

    Робототехника и Embodied AI: 24/7 стрим сортировки от Figure и более широкий сигнал автоматизации

  • Figure’s livestream dominated robotics discussion. The company first showed 8 hours of fully autonomous, unsupervised work, then extended to a 24/7 livestream, eventually reporting 24+ hours of continuous autonomous operation without failure, around human-parity throughput on small package sorting, and operation by Helix-02 running entirely onboard with automatic resets for OOD cases—explicitly claiming no teleoperation (Figure CEO Brett Adcock, 24h update, detailed technical clarifications, Day 2 livestream). The repeated “Bob, Frank, and Gary” updates were fluffier, but the core signal was sustained autonomous operation at production-like uptime.

  • Interpretation split between skepticism about Figure specifically and broader conviction about robotics acceleration. Some commenters argued that critics were underestimating what these demonstrations imply for near-term labor substitution, while others noted skepticism was directed more at Figure than at robotics as a category (@cloneofsimo, @iScienceLuvr, @kimmonismus). Either way, this was one of the clearest “continuous uptime” demos in the batch.

    • Прямая трансляция Figure доминировала в обсуждении робототехники. Компания сначала показала 8 часов полностью автономной, неконтролируемой работы, затем расширила её до 24/7 livestream, в итоге сообщив о 24+ часах непрерывной автономной работы без сбоев, около пропускной способности на уровне человека в сортировке мелких посылок и работе под управлением Helix-02, запущенного полностью на борту с автоматическими ресетами для OOD-случаев — явно заявляя об отсутствии телеуправления (CEO Figure Brett Adcock, обновление через 24ч, детальные технические уточнения, Day 2 livestream). Повторяющиеся апдейты про «Bob, Frank, and Gary» были более пушистыми, но основной сигнал — устойчивая автономная работа с почти продакшен-аптаймом. Интерпретация разделилась между скептицизмом конкретно к Figure и более широкой верой в ускорение робототехники. Часть комментаторов утверждала, что критики недооценивают, что такие демонстрации значат для замещения труда в ближайшей перспективе, тогда как другие отмечали, что скептицизм был направлен скорее на Figure, чем на робототехнику как категорию (@cloneofsimo, @iScienceLuvr, @kimmonismus). В любом случае это было одно из самых чётких демо «непрерывного аптайма» в подборке.

    Research, Benchmarks, and Open Models: Diffusion LMs, Time-Series FMs, Mechanistic Interpretability, and RL/Search

    Исследования, бенчмарки и открытые модели: diffusion LM, time-series FM, механистическая интерпретируемость и RL/поиск

  • A few technically significant model/research releases stood out:

    • Zyphra’s ZAYA1-8B-Diffusion-Preview claims a 4.6–7.7x decoding speedup versus autoregressive generation with limited quality loss, making the usual case that diffusion LMs enable cheaper rollouts and richer generation modes (Zyphra).

    • Datadog’s Toto 2.0 released 5 open-weights time-series forecasting models from 4M to 2.5B params under Apache 2.0, claiming #1 on BOOM, GIFT-Eval, and TIME and, more importantly, evidence that scaling laws may finally hold cleanly for TSFMs (Datadog, @atalwalkar, @ClementDelangue).

    • Goodfire’s interpretability post argued that Llama uses a geometric “shape-rotating calculator” / Fourier-feature-like mechanism for arithmetic, with steering-based evidence rather than pure post-hoc description (GoodfireAI, follow-up).

  • On RL/search and optimizer-style progress, several threads were notable: a survey framing LLM RL as rollout engineering across Generate / Filter / Control / Replay rather than just PPO-vs-GRPO (The Turing Post); Pedagogical RL using privileged information to actively find useful rollouts (Souradip Chakraborty, @lateinteraction); and Prime Intellect’s autonomous optimizer search on the nanoGPT speedrun benchmark, where Opus 4.7 reached 2930 steps and GPT-5.5 2950, beating the 2990 human baseline after ~10k runs / ~14k H200 hours (Prime Intellect, @eliebakouch). Also noteworthy: Kimi K2.6 was reported as #1 open-weight model on Finance Agent Benchmark V2 (Moonshot AI), and Ring-2.6-1T got day-0 vLLM support as an open release (vLLM).

    • Выделилось несколько технически значимых релизов моделей/исследований: ZAYA1-8B-Diffusion-Preview от Zyphra заявляет о ускорении декодирования в 4.6–7.7x по сравнению с авторегрессионной генерацией при ограниченной потере качества, продвигая привычный тезис, что diffusion LM делают rollout'ы дешевле и обогащают режимы генерации (Zyphra). Toto 2.0 от Datadog выпустил 5 open-weights моделей прогнозирования временных рядов от 4M до 2.5B параметров под Apache 2.0, заявляя о #1 на BOOM, GIFT-Eval и TIME и, что важнее, о свидетельстве того, что scaling laws наконец могут чисто выполняться для TSFM (Datadog, @atalwalkar, @ClementDelangue). Пост по интерпретируемости от Goodfire утверждает, что Llama использует геометрический «shape-rotating calculator» / механизм типа Fourier-features для арифметики, со свидетельствами на основе steering, а не чистого пост-хок описания (GoodfireAI, продолжение). По части RL/поиска и прогресса в стиле оптимизаторов были заметны несколько тредов: обзор, представляющий LLM RL как rollout engineering по осям Generate / Filter / Control / Replay, а не просто PPO vs GRPO (The Turing Post); Pedagogical RL, использующий привилегированную информацию для активного поиска полезных rollout'ов (Souradip Chakraborty, @lateinteraction); и автономный поиск оптимизатора Prime Intellect на бенчмарке nanoGPT speedrun, где Opus 4.7 достиг 2930 шагов, а GPT-5.5 — 2950, превысив человеческий бейзлайн в 2990 после ~10k запусков / ~14k H200-часов (Prime Intellect, @eliebakouch). Также примечательно: Kimi K2.6 заявлен как #1 open-weight модель на Finance Agent Benchmark V2 (Moonshot AI), а Ring-2.6-1T получил day-0 поддержку vLLM как открытый релиз (vLLM).

    Top Tweets (by engagement)

    Топ-твиты (по вовлечённости)

  • OpenAI’s Codex mobile launch was the clearest product winner by engagement and practical relevance: remote control/review of running coding-agent sessions from ChatGPT mobile (OpenAI).

  • Theo’s Claude Code backlash threads captured the strongest developer sentiment shift around platform risk and subscription-backed agent workflows (@theo, @theo donations thread).

  • Figure’s autonomous humanoid sorting livestream remained one of the most discussed embodied-AI demos, especially once it crossed the 24-hour mark with detailed claims about onboard policy execution and no teleop (Brett Adcock).

  • GitHub’s Copilot App and LangChain’s Engine/SmithDB/Labs were the most important non-OpenAI tooling launches for agent engineers this cycle (GitHub, LangChain, @hwchase17).

  • Prime Intellect’s autonomous optimizer-search result is worth watching as a concrete example of coding agents being looped into open-ended ML optimization, not just app dev (Prime Intellect).

    • Запуск Codex Mobile от OpenAI был самым явным продуктовым победителем по вовлечённости и практической релевантности: удалённое управление/просмотр запущенных сессий кодинг-агента из мобильного ChatGPT (OpenAI). Треды Theo с критикой Claude Code уловили самый сильный сдвиг настроений разработчиков вокруг платформенных рисков и подписочных агентских workflow (@theo, тред @theo с донатами). Прямая трансляция сортировки автономным гуманоидом Figure осталась одним из самых обсуждаемых embodied-AI демо, особенно после того как она перешагнула 24-часовую отметку с детальными заявлениями про исполнение политики на борту и отсутствие телеопа (Brett Adcock). GitHub Copilot App и Engine/SmithDB/Labs от LangChain были самыми важными не-OpenAI запусками инструментария для агентских инженеров в этом цикле (GitHub, LangChain, @hwchase17). Результат автономного поиска оптимизатора от Prime Intellect стоит держать в поле зрения как конкретный пример того, как кодинг-агентов вовлекают в open-ended ML-оптимизацию, а не только в разработку приложений (Prime Intellect).

    AI Reddit Recap

    AI Reddit Recap

    /r/LocalLlama + /r/localLLM Recap

    /r/LocalLlama + /r/localLLM Recap

    1. Qwen 3.6 Local Inference Speedups and Quantization

    1. Ускорение локального инференса Qwen 3.6 и квантизация

  • Multi-Token Prediction (MTP) for Qwen on LLaMA.cpp + TurboQuant (Activity: 514): A patched llama.cpp fork adds Multi-Token Prediction (MTP) support for Qwen plus TurboQuant, reporting 21 tok/s → 34 tok/s on a MacBook Pro M5 Max 64GB, with a claimed 90% MTP acceptance rate; note the raw speedup is ~62%, not 40%. Code is published at AtomicBot-ai/atomic-llama-cpp-turboquant, with GGUF MTP quantizations for Qwen 3.6 27B/35B in the AtomicChat/qwen-36-udt-mtp HF collection. Commenters questioned the TurboQuant framing, arguing it is often slower than f16, q8, or q4; one noted a TurboQuant PR to llama.cpp was rejected because existing Q4 KV-quant rotation support already covered most benefits, with gains mainly at Q3 where quality degradation becomes a concern. Others asked for quality/eval data, since higher speculative/MTP acceptance and tokens/s do not alone establish output parity.

    • Several commenters argued that TurboQuant is not generally faster in llama.cpp, with one noting it can be slower than f16, q8, or q4. A prior TurboQuant PR to llama.cpp was reportedly rejected because llama.cpp already implements rotations for Q4 KV-cache quantization, where standard Q4 was faster and showed little gain; TurboQuant may only help around Q3, but with notable quality degradation.

    • Users distinguished between speed, quality, and context tradeoffs: MTP without TurboQuant was suggested for speed, while standard Q4_1 or Q4_0 quantization was recommended for longer context/quality retention. One commenter questioned whether TurboQuant had any Mac-specific advantage, implying the benefit is hardware- or workload-dependent rather than broadly useful.

    • A commenter recommended using dflash instead of built-in MTP, claiming it is 30–40% faster. They also mentioned that a pull request for this already existed, suggesting the implementation work may duplicate prior llama.cpp integration efforts.

    • Multi-Token Prediction (MTP) для Qwen на LLaMA.cpp + TurboQuant (Активность: 514): Пропатченный форк llama.cpp добавляет поддержку Multi-Token Prediction (MTP) для Qwen плюс TurboQuant, с показателями 21 tok/s → 34 tok/s на MacBook Pro M5 Max 64GB, при заявленной частоте принятия MTP 90%; обратите внимание, сырое ускорение составляет ~62%, а не 40%. Код опубликован в AtomicBot-ai/atomic-llama-cpp-turboquant, с GGUF MTP-квантизациями для Qwen 3.6 27B/35B в HF-коллекции AtomicChat/qwen-36-udt-mtp. Комментаторы поставили под сомнение позиционирование TurboQuant, утверждая, что он часто медленнее f16, q8 или q4; один отметил, что PR с TurboQuant в llama.cpp был отклонён, поскольку существующая поддержка ротации Q4 KV-квантизации уже покрывала большую часть выгод, а прирост заметен в основном на Q3, где деградация качества становится проблемой. Другие просили данные по качеству/evals, поскольку более высокая частота принятия speculative/MTP и tokens/s сами по себе не доказывают паритет вывода. Несколько комментаторов утверждали, что TurboQuant в llama.cpp не быстрее в общем случае, причём один отметил, что он может быть медленнее f16, q8 или q4. Прежний PR TurboQuant в llama.cpp, по сообщениям, был отклонён, потому что llama.cpp уже реализует ротации для квантизации Q4 KV-кеша, где стандартный Q4 был быстрее и показывал малый выигрыш; TurboQuant может помогать только в районе Q3, но с заметной деградацией качества. Пользователи разделяли компромиссы между скоростью, качеством и контекстом: MTP без TurboQuant предлагался для скорости, тогда как стандартная квантизация Q4_1 или Q4_0 рекомендовалась для удержания качества/длинного контекста. Один комментатор задался вопросом, есть ли у TurboQuant какое-либо преимущество специфичное для Mac, подразумевая, что выгода зависит от железа или нагрузки, а не широко полезна. Комментатор рекомендовал использовать dflash вместо встроенного MTP, утверждая, что он на 30–40% быстрее. Также упомянуто, что pull request для этого уже существовал, что намекает, что работа по имплементации может дублировать прежние усилия по интеграции в llama.cpp.

    Keep reading with a 7-day free trial

    Продолжайте чтение с 7-дневным бесплатным пробным периодом

    Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.

    Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву постов.