rss_feedLatent Space ·13.05.2026 open_in_newОригинал

[AINews] The End of Finetuning

#Ai Infrastructure #Frontier Models #LLM Engineering

auto_awesomeКраткое саммари

OpenAI объявила о прекращении поддержки своих API для файнтюнинга, что символизирует более широкий тренд в индустрии AI-инженерии — отказ от дообучения моделей в пользу длинных промптов и других подходов. При этом топовые компании вроде Cursor и Cognition (оценка $25 млрд) наращивают использование RLFT открытых моделей. В обзоре AI-новостей за 11–12 мая 2026 года освещаются новые исследовательские бенчмарки, прорывы в оптимизации обучения (SOAP-Muon, Lighthouse Attention), развёртывание инференса на платформах Blackwell GB200, релизы мультимодальных моделей (Perceptron Mk1, jina-embeddings-v5), а также серьёзная атака на цепочку поставок Mini Shai-Hulud, затронувшая пакеты TanStack, Mistral AI, Guardrails AI и другие. В сообществе LocalLLaMA обсуждают модели Qwen 3.6 с поддержкой MTP, запуск триллионнопараметрической модели на Intel Optane, а также работу трансформера на Game Boy Color.

translate EN + RU EN RU

[AINews] The End of Finetuning

[AINews] Конец файнтюнинга

a quiet day lets us reflect on whither finetuning

спокойный день позволяет порассуждать о судьбе файнтюнинга

The proximal cause of today’s op-ed is OpenAI’s deprecation of their finetuning APIs.

Непосредственным поводом для сегодняшней колонки стало решение OpenAI прекратить поддержку своих API для файнтюнинга.

For years, OpenAI stood out among the big labs for their finetuning support, and many many many talks and content pieces and AI engineers promoted how you can get some variant of “get o1 performance at 4o prices” and insisting that it was an important part of the toolkit.

На протяжении многих лет OpenAI выделялась среди крупных лабораторий своей поддержкой файнтюнинга, и множество докладов, материалов и AI-инженеров продвигали идею о том, как можно получить некий вариант «производительности o1 по ценам 4o», настаивая на том, что это важная часть инструментария.

Now the tide is out, Anthropic will probably raise at a higher valuation than OpenAI for the first time ever, and Finetuning is the next casualty of the 2026 Side Quest massacre (after Sora). If you assume an extreme GPU crunch, that makes sense, but even without dramatic compute constraints, the modal 80% of the AI Engineering industry was probably trending there anyway, with Jeremy Howard calling it out on the pod as early as 2023.

Теперь волна отступила, Anthropic, вероятно, впервые в истории привлечёт раунд по более высокой оценке, чем OpenAI, а файнтюнинг стал очередной жертвой побочных квестов 2026 года (после Sora). Если допустить экстремальный дефицит GPU, это логично, но даже без драматических ограничений на вычислительные ресурсы основная масса — 80% индустрии AI-инженерии — вероятно, двигалась в этом направлении в любом случае, и Jeremy Howard говорил об этом в подкасте ещё в 2023 году.

The End of Finetuning — with Jeremy Howard of Fast.ai

Конец файнтюнинга — с Jeremy Howard из Fast.ai

The “End” of a thing for most people does NOT mean the “End” of a thing period - and in fact the top tier, like Cursor and Cognition (whose $25B round is now public discussion) have both INCREASED open model RLFT and usage, rather than decreased. Open Model finetunes may also be central to the Custom ASIC Thesis, but if Taalas’ model and continued P/D Disaggregation inference solutions are any indication, then maybe Just Very Long Prompts (like Claude’s Constitution) are all you need…

«Конец» чего-либо для большинства людей НЕ означает «конец» в абсолютном смысле — и на самом деле лидеры, такие как Cursor и Cognition (чей раунд на $25 млрд теперь стал достоянием общественности), напротив, НАРАЩИВАЮТ RLFT и использование открытых моделей, а не сокращают. Файнтюны открытых моделей также могут быть ключевым элементом тезиса о кастомных ASIC, но если модель Taalas и продолжающееся развитие решений P/D-дизагрегации для инференса — хоть какой-то индикатор, то, возможно, достаточно просто очень длинных промптов (вроде Конституции Claude)…

AI News for 5/11/2026-5/12/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

AI-новости за 11/05/2026–12/05/2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и ни одного Discord-сервера. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем: AINews теперь является разделом Latent Space. Вы можете подписаться или отписаться от email-уведомлений!

AI Twitter Recap

Обзор AI-Twitter

Research Benchmarks, Hard Evals, and Agentic Science Systems

Исследовательские бенчмарки, сложные оценки и агентные научные системы

Research-level reasoning benchmarks keep getting harder: Soohak introduces 439 research-level math problems authored from scratch by 64 mathematicians (including 38 faculty), explicitly targeting capabilities above standard olympiad-style math. In medical evaluation, @SophontAI released Medmarks v1.0, expanding its open medical benchmark suite from 20→30 benchmarks and 46→61 models. There’s also growing sentiment that old evals are saturating: @polynoamial argues benchmarks with uniformly high scores should be retired in favor of lower-scoring, frontier-challenging tests.

Agentic systems are starting to move benchmark frontiers in science and math: Google DeepMind’s AI Co-Mathematician is described as an asynchronous, stateful research workbench for mathematicians, reportedly reaching 48% on FrontierMath Tier 4 while supporting ideation, literature discovery, computational analysis, theorem verification, and formal outputs. In theoretical physics, physics-intern boosts Gemini 3.1 Pro from 17.7% to 31.4% on CritPt via decomposition into specialized agents. On coding/program synthesis, ProgramBench’s first task was reportedly solved by GPT-5.5 high/xhigh, with xhigh outperforming Opus 4.7 xhigh across metrics.

Retrieval and search benchmarks are rewarding small, specialized models: LightOn’s Agent-ModernColBERT stacks another ~10% over Reason-ModernColBERT on BrowseComp-Plus while keeping the retriever at 149M parameters, with claims of matching or exceeding much larger model-based systems when paired with a generator. Related discussion from @xuzihuan4 asks whether lexical retrieval may suffice in agentic search loops when agents can iteratively refine their own queries.

Исследовательские бенчмарки рассуждений продолжают усложняться: Soohak представляет 439 задач исследовательского уровня по математике, написанных с нуля 64 математиками (включая 38 преподавателей), нацеленных на способности выше стандартного олимпиадного уровня. В области медицинских оценок @SophontAI выпустил Medmarks v1.0, расширив свой открытый набор медицинских бенчмарков с 20 до 30 и с 46 до 61 модели. Также растёт мнение о том, что старые оценки исчерпали себя: @polynoamial утверждает, что бенчмарки с одинаково высокими баллами следует отправить на пенсию в пользу более сложных тестов для передовых моделей.Агентные системы начинают двигать границы бенчмарков в науке и математике: AI Co-Mathematician от Google DeepMind описывается как асинхронная рабочая среда с состоянием для математиков, которая достигает 48% на FrontierMath Tier 4, поддерживая генерацию идей, поиск литературы, вычислительный анализ, верификацию теорем и формальные выводы. В теоретической физике physics-intern повышает результат Gemini 3.1 Pro с 17,7% до 31,4% на CritPt за счёт декомпозиции на специализированных агентов. В кодировании/синтезе программ первая задача ProgramBench была решена GPT-5.5 high/xhigh, при этом xhigh превзошёл Opus 4.7 xhigh по всем метрикам.Бенчмарки по поиску и извлечению вознаграждают маленькие специализированные модели: Agent-ModernColBERT от LightOn набирает ещё ~10% сверх Reason-ModernColBERT на BrowseComp-Plus, сохраняя размер ретривера в 149M параметров, и заявляет о сопоставимости или превосходстве над гораздо более крупными модельными системами при использовании совместно с генератором. В связанном обсуждении @xuzihuan4 задаётся вопросом, может ли лексический поиск быть достаточным в агентных циклах, когда агенты могут итеративно уточнять собственные запросы.

Training, Optimization, and Scaling-Law Techniques

Обучение, оптимизация и методы масштабирования

Optimizer work continues to compress training cost and improve small-scale experimentation: Several tweets centered on fast variants of SOAP/Muon-style updates. @torchcompiled applied tangent-step + Stiefel manifold retraction to SOAP basis updates, with follow-up discussion on drift checks and QR fallback for stability. In the Modded-NanoGPT community, SOAP-Muon set a new record at 3150 steps (-60), while an earlier MuLoCo-style outer Nesterov SGD wrap on NorMuonH also improved results, both backed by p-value reporting.

Formal methods and superoptimization are beginning to merge with ML systems work: @leloykun described a Lean4-to-TileLang tensor program superoptimizer that can automatically discover kernels such as FlashAttention2, FlashNorm, and split-k matmul, reporting roughly 1.8× geomean speedup on A100s. The same framework is positioned to jointly search over kernels, optimizers, hyperparameter transfer rules, and scaling laws.

Scaling laws and training metrics are being re-examined: @che_shr_cat argues the classic “20 tokens per parameter” framing is tokenizer-dependent and that scaling should be measured in bytes, not tokens. Separately, @JJitsev emphasized that prescriptive scaling laws are valuable not just for prediction, but as a systematic basis for comparing learning procedures across scales.

Training-time-only efficiency tricks are getting more interesting: Lighthouse Attention from Nous is highlighted as a subquadratic training wrapper around vanilla attention that can be removed near the end of training after a recovery phase, preserving standard deployment-time inference while reducing long-context pretraining cost. In a similar spirit, Renderers from Prime Intellect addresses the token/message impedance mismatch between RL trainers and agent environments, claiming >3× throughput on popular open models.

Работа над оптимизаторами продолжает снижать стоимость обучения и улучшать эксперименты на малых масштабах: несколько твитов были посвящены быстрым вариантам обновлений SOAP/Muon. @torchcompiled применил шаг по касательной + ретракцию на многообразие Штифеля к обновлениям базиса SOAP, с последующим обсуждением проверок на дрейф и QR-откатом для стабильности. В сообществе Modded-NanoGPT SOAP-Muon установил новый рекорд на 3150 шагах (−60), а более ранняя обёртка внешним Nesterov SGD в стиле MuLoCo поверх NorMuonH также улучшила результаты — оба подкреплены отчётами по p-value.Формальные методы и суперооптимизация начинают сливаться с системной работой в ML: @leloykun описал суперооптимизатор тензорных программ из Lean4 в TileLang, который автоматически находит ядра, такие как FlashAttention2, FlashNorm и split-k matmul, и сообщает о примерно 1,8× ускорении по геометрическому среднему на A100. Тот же фреймворк позиционируется для совместного поиска по ядрам, оптимизаторам, правилам переноса гиперпараметров и законам масштабирования.Законы масштабирования и метрики обучения пересматриваются: @che_shr_cat утверждает, что классическая формулировка «20 токенов на параметр» зависит от токенизатора, и масштабирование следует измерять в байтах, а не токенах. Отдельно @JJitsev подчеркнул, что прескриптивные законы масштабирования ценны не только для прогнозирования, но и как систематическая основа для сравнения процедур обучения на разных масштабах.Трюки для повышения эффективности только на этапе обучения становятся всё интереснее: Lighthouse Attention от Nous представлен как субквадратичная обёртка для обучения поверх обычного внимания, которую можно убрать к концу обучения после фазы восстановления, сохраняя стандартный инференс при снижении стоимости предобучения на длинных контекстах. В аналогичном духе Renderers от Prime Intellect решает проблему несоответствия токенов и сообщений между RL-тренерами и агентными средами, заявляя о >3× пропускной способности на популярных открытых моделях.

Inference Systems, Serving Stacks, and Runtime Infrastructure

Системы инференса, стеки обслуживания и инфраструктура времени выполнения

Blackwell racks are emerging as the reference platform for large-MoE serving: Perplexity published details on serving post-trained Qwen3 235B on NVIDIA GB200 NVL72 systems, arguing GB200 is a major inference step up over Hopper for large MoEs. Their benchmarks cite NVLS all-reduce latency dropping from 586.1µs on H200 to 313.3µs on GB200, and MoE prefill combine at EP=4 dropping from 730.1µs to 438.5µs, with better decode throughput at high token rates. @AravSrinivas framed this as materially changing prefill/decode disaggregation for serving large MoEs.

Inference orchestration is increasingly specialized, not “just Kubernetes”: Modal argues inference needs a dedicated stack, citing work on compute management, cloud-native caching, CRIU, and GPU checkpointing. That positioning got an immediate real-world endorsement from Perceptron, which said all Mk1 inference runs on Modal because native video, structured outputs, and hybrid reasoning create unusual cold-start and scaling requirements.

OSS inference economics continue to improve fast: SemiAnalysis reported that clustering multiple B200 8-GPU machines over RoCEv2 CX-7 with PD disaggregation can lift per-GPU token throughput by up to 7×, implying comparable cost-per-token reductions. On the vector DB side, Qdrant 1.18 added TurboQuant, claiming recall near scalar quantization with 2× less memory, alongside memory monitoring and named-vector lifecycle operations.

Agent runtimes are becoming version-control-like substrates: A standout systems idea was Stanford’s Shepherd, summarized by @ai_satoru_chan, which treats agent execution more like Git: first-class tasks, effects, scopes, and traces; exact replay; branching; rollback; and formal guarantees in Lean. Claimed results include live-supervision gains on CooperBench from 28.8%→54.7%, plus faster counterfactual optimization and tree-RL rollouts.

Стойки Blackwell становятся эталонной платформой для обслуживания больших MoE-моделей: Perplexity опубликовала детали обслуживания дообученной Qwen3 235B на системах NVIDIA GB200 NVL72, утверждая, что GB200 — серьёзный шаг вперёд для инференса по сравнению с Hopper для больших MoE. Их бенчмарки показывают снижение задержки NVLS all-reduce с 586,1 мкс на H200 до 313,3 мкс на GB200, а MoE prefill combine при EP=4 — с 730,1 мкс до 438,5 мкс с лучшей пропускной способностью декодирования при высоких скоростях генерации токенов. @AravSrinivas представил это как существенное изменение для дизагрегации prefill/decode при обслуживании крупных MoE.Оркестрация инференса становится всё более специализированной — это не «просто Kubernetes»: Modal утверждает, что для инференса нужен выделенный стек, ссылаясь на работу по управлению вычислениями, облачному кэшированию, CRIU и чекпоинтингу GPU. Эта позиция сразу получила подтверждение от Perceptron, которые заявили, что весь инференс Mk1 работает на Modal, поскольку нативное видео, структурированные выводы и гибридное рассуждение создают нестандартные требования к холодному старту и масштабированию.Экономика инференса на открытых моделях продолжает быстро улучшаться: SemiAnalysis сообщает, что объединение нескольких машин B200 8-GPU через RoCEv2 CX-7 с PD-дизагрегацией может увеличить пропускную способность токенов на GPU до 7×, что подразумевает сопоставимое снижение стоимости за токен. На стороне векторных БД Qdrant 1.18 добавил TurboQuant, обещая полноту, близкую к скалярному квантованию, при вдвое меньшем потреблении памяти, а также мониторинг памяти и операции жизненного цикла именованных векторов.Среды выполнения агентов становятся субстратами, подобными системам контроля версий: выделяющаяся системная идея — Shepherd от Стэнфорда, описанная @ai_satoru_chan, которая трактует выполнение агентов подобно Git: полноценные задачи, эффекты, области действия и трейсы; точное воспроизведение; ветвление; откат и формальные гарантии на Lean. Заявленные результаты включают рост при живом наблюдении на CooperBench с 28,8% до 54,7%, а также более быструю контрфактуальную оптимизацию и tree-RL-раскрутки.

Product and Model Releases: Multimodal, Video, Retrieval, and Embeddings

Продуктовые и модельные релизы: мультимодальность, видео, поиск и эмбеддинги

Perceptron Mk1 was the most substantive new model release in the set: @perceptroninc launched Perceptron Mk1 as a model for frontier video and embodied reasoning, with native video support at up to 2 FPS, temporal grounding, multimodal in-context learning, and structured spatial outputs. OpenRouter’s summary notes a 32k multimodal context and first-class outputs like points, boxes, polygons, and clips. The release is framed less as a generic VLM and more as a physical-world reasoning stack.

Google and Meta both pushed multimodal interaction layers rather than standalone model specs: Google DeepMind’s AI-enabled mouse pointer demos reimagine the cursor as a contextual pointing interface tied to Gemini, allowing users to point at on-screen content and speak shorthand instructions. In parallel, Meta announced Meta AI voice conversations powered by Muse Spark, adding interruption, language switching, image generation, and live camera-grounded interaction.

Embedding and retrieval model updates were notable: Jina released jina-embeddings-v5-omni, a universal embedding model for text, images, audio, and video, in 1.57B and 0.95B variants, both with Matryoshka truncation and backward compatibility with existing v5-text indexes. Meta quietly released Sapiens2, a family of human-centric high-resolution ViTs spanning 0.1B→5B params for pose estimation, segmentation, normals, and pointmaps.

Diffusion and image tooling kept moving: Hugging Face’s Diffusers 0.38.0 added new pipelines including Ace-Step 1.5, LongCat-AudioDiT, and Ernie-Image, plus support for Flash Attention 4, FlashPack loading, and Ring Anything for context parallelism. Other research releases included ELF: Embedded Language Flows, a continuous-space text diffusion model, and Tencent’s Pixal3D for pixel-aligned 3D generation.

Perceptron Mk1 стал самым значимым релизом новой модели в этой подборке: @perceptroninc запустил Perceptron Mk1 как модель для передового видео- и телесного рассуждения с нативной поддержкой видео до 2 FPS, временной привязкой, мультимодальным обучением в контексте и структурированными пространственными выводами. Обзор OpenRouter отмечает 32k мультимодального контекста и первоклассные выходные данные — точки, рамки, полигоны и клипы. Релиз позиционируется не как универсальная VLM, а скорее как стек рассуждений о физическом мире.Google и Meta продвигали мультимодальные интерактивные слои, а не отдельные спецификации моделей: демо AI-курсора от Google DeepMind переосмысливает указатель мыши как контекстный интерфейс указания, связанный с Gemini, позволяя пользователям указывать на экранный контент и давать краткие голосовые инструкции. Параллельно Meta анонсировала голосовые диалоги Meta AI на базе Muse Spark с поддержкой перебивания, переключения языков, генерации изображений и взаимодействия с камерой в реальном времени.Обновления моделей эмбеддингов и поиска были заметными: Jina выпустила jina-embeddings-v5-omni — универсальную модель эмбеддингов для текста, изображений, аудио и видео в вариантах на 1,57 млрд и 0,95 млрд параметров с усечением по принципу матрёшки и обратной совместимостью с существующими индексами v5-text. Meta тихо выпустила Sapiens2 — семейство ViT высокого разрешения, ориентированных на человека, от 0,1 до 5 млрд параметров для оценки поз, сегментации, нормалей и карт точек.Диффузионные модели и инструменты для изображений продолжали развиваться: Diffusers 0.38.0 от Hugging Face добавил новые пайплайны, включая Ace-Step 1.5, LongCat-AudioDiT и Ernie-Image, а также поддержку Flash Attention 4, FlashPack loading и Ring Anything для параллелизма контекста. Другие исследовательские релизы включали ELF: Embedded Language Flows — модель диффузии текста в непрерывном пространстве, и Pixal3D от Tencent для попиксельно-выровненной 3D-генерации.

Agents, Tooling, and Developer Workflow

Агенты, инструменты и рабочие процессы разработчиков

Agent products are shifting from demos to operational platforms: OpenAI teased Symphony as a system where every open task gets a running Codex agent, and separately highlighted computer use for Codex to work across apps without full takeover. LangChain re-open-sourced its revamped Chat LangChain app, describing it as a production Q&A agent handling nearly 2T tokens/week.

Long-running-agent state management is becoming a first-class systems problem: LangGraph’s new DeltaChannel snapshots aim to replace full-state checkpointing for scalable durable execution; LangChain says the same mechanism now powers message histories and file storage in deepagents v0.6. The broader pattern also shows up in Google’s Gemini Interactions API guide, where encrypted thought signatures preserve reasoning context across turns in both stateful and stateless modes without forcing developers to manage signature injection manually.

Synthetic data and RL environment generation are being operationalized: @Vtrivedy10 offered a useful practitioner perspective: targeted synthetic data extraction from model weights is hard at scale, especially for underrepresented distributions like long sequences, and effective pipelines need programmatic tests, verifiers, judges, and agentic long-horizon framing. On the infrastructure side, Tau2-Infinity formalizes autonomous mining of hard tool-use tasks for RL post-training via DAG walks or world-generation from failure hypotheses.

Top tweets (by engagement, filtered for technical relevance):

Gemini as an OS-level intelligence layer: Google’s Gemini Intelligence, Googlebook, and AI pointer demos collectively point to agentic UX moving from chat windows into the operating system.
Isomorphic Labs funding: @demishassabis announced $2.1B in new funding for AI-driven drug discovery, one of the largest capital commitments in this dataset tied directly to an applied AI platform.
Speech-to-speech benchmarking: Artificial Analysis’ τ-Voice benchmark found even the best S2S models solve only about half of realistic customer service scenarios, with Grok Voice Think Fast 1.0 leading at 52.1%.
Claude Opus 4.7 fast mode: Anthropic’s fast mode release reached APIs and Claude Code, with Cursor noting 2.5× speed at 6× cost, a concrete new point on the latency/price frontier.

Агентные продукты переходят от демонстраций к операционным платформам: OpenAI анонсировала Symphony — систему, в которой на каждую открытую задачу приходится работающий агент Codex, а также отдельно представила использование компьютера для Codex для работы с приложениями без полного перехвата управления. LangChain повторно открыла исходный код обновлённого приложения Chat LangChain, описав его как продакшен-агент для вопросов и ответов, обрабатывающий почти 2T токенов в неделю.Управление состоянием долгоживущих агентов становится полноценной системной задачей: новые снимки DeltaChannel от LangGraph призваны заменить полное чекпоинтирование состояния для масштабируемого устойчивого выполнения; LangChain сообщает, что тот же механизм теперь обеспечивает хранение историй сообщений и файлов в deepagents v0.6. Та же тенденция прослеживается в руководстве по Gemini Interactions API от Google, где зашифрованные подписи thought сохраняют контекст рассуждений между ходами как в режимах с состоянием, так и без него, не заставляя разработчиков вручную управлять инъекцией подписей.Генерация синтетических данных и RL-сред вводится в эксплуатацию: @Vtrivedy10 поделился полезной практической перспективой: целевое извлечение синтетических данных из весов модели сложно на масштабе, особенно для малопредставленных распределений вроде длинных последовательностей, а эффективные пайплайны требуют программных тестов, верификаторов, судей и агентного обрамления на длинном горизонте. На стороне инфраструктуры Tau2-Infinity формализует автономный майнинг сложных задач по использованию инструментов для RL-пост-обучения через обход DAG или генерацию миров на основе гипотез об ошибках.Топ-твиты (по вовлечённости, отфильтрованные по технической релевантности):Gemini как интеллектуальный слой уровня ОС: Gemini Intelligence, Googlebook и демо AI-указателя от Google совокупно указывают на то, что агентный UX перемещается из окон чата в операционную систему.Финансирование Isomorphic Labs: @demishassabis объявил о $2,1 млрд нового финансирования на разработку лекарств с помощью ИИ — одно из крупнейших вложений капитала в этой выборке, напрямую связанное с прикладной AI-платформой.Бенчмаркинг речь-в-речь: бенчмарк τ-Voice от Artificial Analysis показал, что даже лучшие S2S-модели решают лишь около половины реалистичных сценариев обслуживания клиентов, а лидирует Grok Voice Think Fast 1.0 с 52,1%.Быстрый режим Claude Opus 4.7: релиз быстрого режима от Anthropic вышел в API и Claude Code, а Cursor отметил 2,5× скорость при 6× стоимости — конкретную новую точку на границе задержка/цена.

Security, Supply Chain, and Safer Coding

Безопасность, цепочка поставок и защищённое программирование

The most urgent operational story was the Mini Shai-Hulud supply-chain attack: @IntCyberDigest reported the campaign had expanded beyond TanStack to hit OpenSearch, Mistral AI, Guardrails AI, UiPath, and others across npm and PyPI, specifically targeting AI developer tooling. The noteworthy technical detail is persistence: it allegedly hooks into Claude Code (.claude/settings.json) and VS Code (.vscode/tasks.json) so the compromise can re-execute on future tool events even after package removal. Guardrails AI later confirmed its 0.10.1 package was compromised and quarantined within about 2 hours.

Actionable mitigations surfaced quickly: @ramimacisabird noted that beyond minimumReleaseAge, teams should enable blockExoticSubdeps to prevent remote GitHub references from slipping into dependency graphs. @elithrar reiterated that GitHub’s pull_request_target remains one of the sharpest CI/CD footguns for fork-based PR automation. And at the workstation level, @andersonbcdefg recommended moving secrets out of ubiquitous local .env files into a proper secrets manager.

Safer codegen is becoming its own research track: Stanford-aligned work on SecureForge targets vulnerability discovery/prevention in LLM-generated code via prompt optimization, while the corresponding paper listing frames it as a bridge between codegen and security evaluation. The broader point: coding agents are now strong enough that supply-chain hardening and secure-generation evaluation need to be treated as core infra, not side concerns.

Самой срочной операционной историей стала атака на цепочку поставок Mini Shai-Hulud: @IntCyberDigest сообщил, что кампания расширилась за пределы TanStack и затронула OpenSearch, Mistral AI, Guardrails AI, UiPath и других через npm и PyPI, целенаправленно атакуя инструменты для AI-разработчиков. Примечательная техническая деталь — персистентность: атака предположительно внедряется в Claude Code (.claude/settings.json) и VS Code (.vscode/tasks.json), чтобы компрометация могла повторно выполняться при будущих событиях инструментов даже после удаления пакета. Guardrails AI позднее подтвердила, что пакет версии 0.10.1 был скомпрометирован и помещён в карантин примерно за 2 часа.Практические меры противодействия появились быстро: @ramimacisabird отметил, что помимо minimumReleaseAge командам следует включать blockExoticSubdeps, чтобы предотвратить попадание удалённых ссылок на GitHub в графы зависимостей. @elithrar напомнил, что pull_request_target на GitHub остаётся одной из самых опасных ловушек CI/CD для автоматизации PR на основе форков. А на уровне рабочей станции @andersonbcdefg рекомендовал перенести секреты из повсеместных локальных файлов .env в полноценный менеджер секретов.Безопасная кодогенерация становится самостоятельным направлением исследований: работа из Стэнфорда над SecureForge нацелена на обнаружение и предотвращение уязвимостей в коде, сгенерированном LLM, через оптимизацию промптов, а соответствующий список публикаций позиционирует это как мост между кодогенерацией и оценкой безопасности. Более широкий вывод: агенты для кодирования теперь достаточно сильны, чтобы укрепление цепочки поставок и оценка безопасности генерации стали основной инфраструктурой, а не второстепенными задачами.

AI Reddit Recap

Обзор AI-Reddit

/r/LocalLlama + /r/localLLM Recap

Обзор /r/LocalLlama + /r/localLLM

1. Qwen 3.6 MTP and Long-Context Local Evals

1. Qwen 3.6 MTP и локальные оценки длинного контекста

MTP on Unsloth (Activity: 727): The image is a Hugging Face activity screenshot showing Unsloth AI publishing/updating MTP-preserved GGUF builds: unsloth/Qwen3.6-27B-GGUF-MTP and unsloth/Qwen3.6-35B-A3B-GGUF-MTP. The technical significance is that these GGUFs retain the MTP / next-token-prediction auxiliary layer, but users reportedly still need to checkout and build a specific llama.cpp MTP PR rather than relying on default llama.cpp support. One commenter hit a runtime/model-load assertion, GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0"), suggesting tooling or metadata support is still fragile for these MTP GGUFs. Commenters are mainly waiting on upstream inference support, with one joking about constantly refreshing llama.cpp and vLLM GitHub repos. There is also uncertainty over whether MTP is supported “out of the box” in llama.cpp; the post indicates it is not yet.

A user compiling/running the new 27B GGUF model reports a hard assertion failure in qwen35_mtp.cpp: GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0") failed. This suggests the GGUF/model metadata being loaded is missing or not exposing nextn_predict_layers, which is required for Qwen3.5 MTP execution in the current implementation.
Several commenters are tracking whether llama.cpp and vLLM have landed native MTP support, with one explicitly asking whether llama.cpp now supports MTP “out of the box.” The thread implies support is still in flux across backends and that users are watching upstream repositories for compatibility with GGUF MTP models.
One technical takeaway is that MTP support in GGUF is viewed as important for local inference, especially for Qwen-style variants such as the mentioned 35B A3B model. A commenter highlights the 35B A3B variant as interesting specifically because of expected context-length improvements.

The Qwen 3.6 35B A3B hype is real!!! (Activity: 713): A user benchmarked Qwen 3.6 35B A3B, Qwen 3.6 27B, Gemma 4 26B A4B, and Nemotron 3 Nano on a niche paper-to-code comprehension task, feeding each model an academic paper plus accompanying research code via long-context mechanisms such as gated delta nets, hybrid Mamba2, and sliding-window attention. In their detailed findings, all four small/local open-weight models substantially outperformed prior small-model baselines such as Devstral Small 2, with Qwen 3.6 35B A3B judged strongest; Devstral Small 2 could not fit the long-context workload in 32GB VRAM/RAM. Commenters noted practical tradeoffs: Qwen 35B is preferred for long-context/refactoring but can be verbose/slow in thinking mode, while Gemma 26B is faster for code fixes/chats; at q4, one user reports ~20GB for Qwen 35B and ~15GB for Gemma 26B, allowing both to stay loaded. Another commenter criticized the evaluation for not documenting inference settings, which limits reproducibility.

Several users compared local workflows using Gemma 26B and Qwen 35B, noting that both can be kept resident simultaneously at q4 quantization because Qwen 35B is about 20 GB and Gemma 26B about 15 GB. One commenter uses Gemma 26B thinking mode for quick code fixes/chat and Qwen 35B thinking mode for longer-context refactoring, but reports Qwen 35B has high latency due to excessive reasoning verbosity before final output.
A coding-focused report claimed Qwen 27B can handle large projects (100k+ LOC) effectively when bootstrapped by a stronger model/coding agent for initial project setup, then switched to Qwen for continued work. The user found little practical difference between Qwen 27B and DeepSeek V4 for their use case, though Qwen occasionally entered loops requiring manual interruption and continuation prompting.
One commenter emphasized that Qwen 27B/35B performance is sensitive to inference configuration, specifically temperature/sampling parameters and avoiding overly aggressive quantization of either the model weights or KV cache. Another asked for the missing run settings, implying the original claims are hard to evaluate without details like quantization level, sampler settings, context length, backend, or hardware.

MTP на Unsloth (Активность: 727): Изображение — скриншот активности на Hugging Face, показывающий публикацию/обновление Unsloth AI GGUF-сборок с сохранением MTP: unsloth/Qwen3.6-27B-GGUF-MTP и unsloth/Qwen3.6-35B-A3B-GGUF-MTP. Техническая значимость в том, что эти GGUF сохраняют вспомогательный MTP-слой / слой предсказания следующего токена, но пользователям по-прежнему нужно скачать и собрать конкретный PR для llama.cpp с поддержкой MTP, а не полагаться на стандартную поддержку llama.cpp. Один комментатор столкнулся с ошибкой утверждения при загрузке модели: GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0"), что свидетельствует о хрупкости инструментария или поддержки метаданных для этих MTP GGUF. Комментаторы в основном ждут поддержки от основных репозиториев, один шутит о постоянном обновлении страниц llama.cpp и vLLM на GitHub. Также есть неопределённость, поддерживается ли MTP «из коробки» в llama.cpp; пост указывает, что пока нет.Пользователь, компилирующий и запускающий новую модель 27B GGUF, сообщает о критической ошибке утверждения в qwen35_mtp.cpp: GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0") failed. Это свидетельствует о том, что загружаемые метаданные GGUF/модели не содержат или не предоставляют nextn_predict_layers, что необходимо для выполнения Qwen3.5 MTP в текущей реализации.Несколько комментаторов отслеживают, добавили ли llama.cpp и vLLM нативную поддержку MTP: один прямо спрашивает, поддерживает ли теперь llama.cpp MTP «из коробки». Из обсуждения следует, что поддержка по-прежнему нестабильна во всех бэкендах и пользователи наблюдают за основными репозиториями на предмет совместимости с моделями GGUF MTP.Один технический вывод состоит в том, что поддержка MTP в GGUF считается важной для локального инференса, особенно для вариантов в стиле Qwen, таких как упомянутая модель 35B A3B. Комментатор выделяет вариант 35B A3B как интересный именно из-за ожидаемого улучшения длины контекста.Хайп вокруг Qwen 3.6 35B A3B — это реальность!!! (Активность: 713): Пользователь протестировал Qwen 3.6 35B A3B, Qwen 3.6 27B, Gemma 4 26B A4B и Nemotron 3 Nano на нишевой задаче понимания «статья → код», загружая в каждую модель академическую статью вместе с сопутствующим исследовательским кодом через механизмы длинного контекста — gated delta nets, гибридный Mamba2 и скользящее внимание. В подробных результатах все четыре малых/локальных модели с открытыми весами существенно превзошли прежние бейзлайны малых моделей, такие как Devstral Small 2, а Qwen 3.6 35B A3B оказалась сильнейшей; Devstral Small 2 не смогла вместить задачу с длинным контекстом в 32 ГБ VRAM/RAM. Комментаторы отметили практические компромиссы: Qwen 35B предпочтительна для длинного контекста/рефакторинга, но может быть многословной/медленной в режиме рассуждения, тогда как Gemma 26B быстрее для исправления кода/чата; при q4 один пользователь сообщает ~20 ГБ для Qwen 35B и ~15 ГБ для Gemma 26B, что позволяет держать обе модели загруженными. Другой комментатор раскритиковал оценку за отсутствие документации по параметрам инференса, что ограничивает воспроизводимость.Несколько пользователей сравнили локальные рабочие процессы с Gemma 26B и Qwen 35B, отметив, что обе можно держать загруженными одновременно при квантизации q4, так как Qwen 35B занимает около 20 ГБ, а Gemma 26B — около 15 ГБ. Один комментатор использует режим рассуждения Gemma 26B для быстрых исправлений кода/чата, а режим рассуждения Qwen 35B — для рефакторинга с длинным контекстом, но отмечает высокую задержку у Qwen 35B из-за чрезмерной многословности рассуждений перед итоговым ответом.Отчёт, ориентированный на кодирование, утверждает, что Qwen 27B способна работать с крупными проектами (100k+ строк кода), если начальную настройку проекта выполняет более мощная модель/кодирующий агент, а затем на продолжение работы переключается Qwen. Пользователь обнаружил минимальную практическую разницу между Qwen 27B и DeepSeek V4 для его задач, хотя Qwen иногда входила в циклы, требующие ручного прерывания и повторного запуска.Один комментатор подчеркнул, что производительность Qwen 27B/35B чувствительна к конфигурации инференса, в частности к параметрам температуры/семплирования и к недопустимости слишком агрессивного квантования как весов модели, так и KV-кеша. Другой запросил отсутствующие настройки запуска, подразумевая, что исходные утверждения сложно оценить без данных об уровне квантизации, настройках семплера, длине контекста, бэкенде или оборудовании.

2. Memory-Tiered and Power-Efficient Local Inference

2. Многоуровневая память и энергоэффективный локальный инференс

Computer build using Intel Optane Persistent Memory - Can run 1 trillion parameter model at over 4 tokens/sec (Activity: 964): The image shows the internals of a high-memory Xeon workstation/server build using Intel Optane DC Persistent Memory DIMMs, matching the post’s claim of running Kimi K2.5, a ~1T parameter MoE model, locally at about 4 tokens/s via llama.cpp hybrid GPU/CPU inference. The key technical point is the use of 768GB Optane PMem in Memory Mode, where Optane appears as system RAM and 192GB DDR4 ECC DRAM acts as cache, allowing the model’s sparse expert weights to reside in PMem while attention/dense/shared expert/routing tensors fit on an RTX 3060 12GB using override-tensor or ngl auto/cmoe. Image Commenters noted that a higher-core-count Cascade Lake Xeon, such as an ES 8260/QQ89, could improve throughput, and debated whether Optane Storage Mode plus mmap might outperform Memory Mode. Others found the build impressive but questioned whether 4 tokens/s is practically tolerable for interactive use.

A detailed hardware note suggests performance may improve with a higher-core-count Cascade Lake Xeon, e.g. QQ89 ES / Xeon Gold 8260-class 24-core, versus the current Xeon Gold 6246 12-core. The commenter also proposes benchmarking Optane PMem in storage mode + mmap versus memory mode, noting that memory mode uses DRAM as a transparent cache and requires pages to be swapped back into DRAM before CPU execution, so it is not equivalent to normal RAM latency.
One commenter provides a concise Optane PMem platform compatibility breakdown: LGA3647 Skylake/Cascade Lake uses 1st-gen Optane NMA at 2666 MT/s, while LGA4189 uses 2nd-gen NMB, running at 2666 on Cooper Lake and 3200 on Ice Lake. They also note that mixing Optane with DRAM on Cascade Lake can downclock affected channels to 2666, and that many Xeons from this era have a 1 TB total memory limit across DRAM + Optane, unless using high-memory SKUs or later platforms.
A technical caveat is raised that while ~4 tokens/sec generation on a trillion-parameter model may be tolerable for some uses, prompt processing/prefill speed is likely to be much worse on this kind of memory hierarchy. Another comment estimates the full used-market build cost at roughly $2060–$2500, including a Xeon Gold 6246, TYAN S5630GMRE-CGN, RTX 3060 12GB, 192 GB DDR4 ECC RDIMM, and 768 GB Intel Optane DCPMM.

Stop wasting electricity (Activity: 905): A user benchmarked llama.cpp llama-server on an RTX 4090 with Qwen3.6-27B-UD-Q4_K_XL.gguf, full GPU offload (-ngl all), FlashAttention enabled, q4_0 K/V cache quantization, 32 threads, and a 262144 context, varying the GPU power cap via sudo nvidia-smi -pl N. They report the GPU was consistently power-limited and that reducing the power limit can substantially lower power/heat/noise with little to no decode / token-generation (tg) throughput loss; a commenter notes prefill (pp) is more sensitive, with roughly 15–20% performance loss when dropping from 450W to 270W, model-dependent. Commenters were mainly interested in separating decode vs prefill behavior, since decode appears power-insensitive while prefill degrades more noticeably. One RTX 5090 user said they already cap power for hardware-safety concerns and may reduce it further based on these results.

Users focused on the performance impact of GPU power limiting: decode/token generation (tg) reportedly is not the bottleneck, while prefill (pp) takes a larger hit. One commenter quantified the tradeoff as only about 15–20% prefill performance loss when reducing power from 450W to 270W, depending on the model, suggesting substantial efficiency gains from aggressive power caps.

Сборка компьютера на Intel Optane Persistent Memory — запуск модели с 1 триллионом параметров со скоростью более 4 токенов/с (Активность: 964): На изображении показана начинка высокопамятной рабочей станции/сервера на Xeon с модулями Intel Optane DC Persistent Memory DIMM, что соответствует заявлению поста о локальном запуске Kimi K2.5 — MoE-модели с ~1T параметров — со скоростью около 4 токена/с через гибридный GPU/CPU-инференс llama.cpp. Ключевой технический момент — использование 768 ГБ Optane PMem в режиме Memory Mode, где Optane выступает как системная RAM, а 192 ГБ DDR4 ECC DRAM работает как кеш, позволяя разреженным весам экспертов модели находиться в PMem, в то время как тензоры внимания/плотные/общие эксперты/маршрутизации помещаются на RTX 3060 12 ГБ через override-tensor или ngl auto/cmoe. Изображение Комментаторы отметили, что Xeon Cascade Lake с большим количеством ядер, например ES 8260/QQ89, мог бы повысить пропускную способность, и обсуждали, не превзойдёт ли Optane в Storage Mode плюс mmap режим Memory Mode. Другие нашли сборку впечатляющей, но усомнились, терпимы ли 4 токена/с для интерактивного использования.Детальное замечание по оборудованию предполагает, что производительность может возрасти с Xeon Cascade Lake с большим числом ядер, например QQ89 ES / Xeon Gold 8260-класса 24-ядерный, по сравнению с текущим Xeon Gold 6246 12-ядерным. Комментатор также предлагает протестировать Optane PMem в storage mode + mmap по сравнению с memory mode, отмечая, что memory mode использует DRAM как прозрачный кеш и требует возврата страниц в DRAM перед выполнением на CPU, поэтому это не эквивалент обычной задержки RAM.Один комментатор даёт краткую сводку совместимости платформ с Optane PMem: LGA3647 Skylake/Cascade Lake использует Optane 1-го поколения NMA на 2666 MT/с, а LGA4189 — 2-го поколения NMB, работающий на 2666 с Cooper Lake и 3200 с Ice Lake. Также отмечается, что совмещение Optane с DRAM на Cascade Lake может снизить частоту затронутых каналов до 2666, и что многие Xeon этой эры имеют ограничение 1 ТБ суммарной памяти (DRAM + Optane), если не используются SKU с высокой памятью или более поздние платформы.Высказана техническая оговорка: хотя ~4 токена/с генерации на триллионнопараметрической модели может быть терпимо для некоторых применений, скорость обработки промптов/префилла, вероятно, будет значительно хуже при такой иерархии памяти. Другой комментарий оценивает полную стоимость сборки на б/у рынке примерно в $2060–$2500, включая Xeon Gold 6246, TYAN S5630GMRE-CGN, RTX 3060 12 ГБ, 192 ГБ DDR4 ECC RDIMM и 768 ГБ Intel Optane DCPMM.Хватит тратить электричество (Активность: 905): Пользователь протестировал llama.cpp llama-server на RTX 4090 с Qwen3.6-27B-UD-Q4_K_XL.gguf, полной выгрузкой на GPU (-ngl all), включённым FlashAttention, квантизацией K/V кеша q4_0, 32 потоками и контекстом 262144, варьируя ограничение мощности GPU через sudo nvidia-smi -pl N. Он сообщает, что GPU стабильно упирался в лимит мощности, и снижение лимита может существенно уменьшить энергопотребление/нагрев/шум при минимальной или нулевой потере скорости декодирования/генерации токенов (tg); комментатор отмечает, что префилл (pp) более чувствителен — примерно 15–20% потери производительности при снижении с 450 Вт до 270 Вт, в зависимости от модели. Комментаторы в основном интересовались разделением поведения декодирования и префилла, поскольку декодирование выглядит нечувствительным к мощности, тогда как префилл заметно деградирует. Один пользователь RTX 5090 заявил, что уже ограничивает мощность из соображений безопасности оборудования и может снизить её ещё больше по результатам этих тестов.Пользователи сосредоточились на влиянии ограничения мощности GPU на производительность: декодирование/генерация токенов (tg) по всей видимости не является узким местом, тогда как префилл (pp) страдает заметнее. Один комментатор оценил компромисс: лишь около 15–20% потери производительности префилла при снижении мощности с 450 Вт до 270 Вт, в зависимости от модели, что предполагает существенный выигрыш в эффективности от агрессивного ограничения мощности.

3. Ultra-Small On-Device Transformer Experiments

3. Сверхмалые эксперименты с трансформерами на устройствах

I got a real transformer language model running locally on a stock Game Boy Color! (Activity: 368): The image (jpeg) shows a stock Game Boy Color running a local TinyStories transformer demo, with the screen displaying TINYSTORIES Q8 GBC and Prompt tokenized. Per the post, this is Andrej Karpathy’s TinyStories-260K converted to INT8/fixed-point math in a GBDK-2020 MBC5 ROM, with weights in bank-switched cartridge ROM and the KV cache stored in cartridge SRAM due to the GBC’s tiny work RAM. The author notes it is extremely slow and produces mostly gibberish because of aggressive quantization/approximations, but the core local transformer prefill + autoregressive generation loop works on-device with no PC, phone, Wi-Fi, link cable, or cloud inference: github.com/maddiedreese/gbc-transformer. Comments are mostly enthusiastic praise; one commenter said it made them want to run a model on an N64, and another linked a related/joke Game Boy language-model project, gbalm.

A commenter linked a prior Game Boy language-model project, gbalm (code), indicating there has been earlier experimentation with extremely constrained on-device LM inference on Nintendo handheld hardware. This is relevant as a comparison point for implementation approaches and feasibility on non-GPU, retro 8-bit-class systems.
One technical question centered on why CUDA/ROCm-style GPU stacks are not required here: the commenter notes that typical LLM inference is associated with mature GPU compilers, yet this demo runs on hardware comparable to “a potato.” The implicit point is that sufficiently tiny transformer models can be executed with hand-written or highly simplified CPU-style inference loops, though at very low throughput, and that portability to unsupported accelerators such as future Chinese GPUs would depend more on having a basic compute backend than full CUDA compatibility.

Needle: We Distilled Gemini Tool Calling Into a 26M Model (Activity: 271): Cactus Compute released Needle, an MIT-licensed 26M parameter single-shot tool-calling model distilled from Gemini-synthesized data, claiming 6000 tok/s prefill and 1200 tok/s decode on consumer devices; weights are on Hugging Face and code/docs are on GitHub. Architecturally it uses “Simple Attention Networks” — attention plus gating with no MLP/FFN layers — arguing that function calling is mostly retrieval/assembly over provided tool schemas rather than memorized reasoning; training used 200B pretraining tokens on 16 TPU v6e for 27h plus 2B synthesized function-calling tokens in 45m (architecture writeup). The authors claim it beats FunctionGemma-270M, Qwen-0.6B, Granite-350M, and LFM2.5-350M on single-shot function calling, while acknowledging those larger models have broader conversational capacity. Commenters framed the model as potentially useful as a lightweight router that dispatches queries/tools or escalates to a larger LLM, with one asking whether the same architecture could support high-quality summarization. A technical concern was raised about uploaded pickle files due to Python-specific dependency and deserialization security risks.

A commenter framed the 26M distilled tool-calling model as a lightweight router/gating model: it could decide whether a query should be sent to a larger LLM and with which parameters, effectively reducing expensive model calls to cases where they are needed. They also speculated whether the same architecture could generalize to constrained summarization workflows, though no benchmark evidence was provided in the thread.
One technical thread focused on the authors’ claimed “no FFN” result: for tasks with external structured knowledge such as RAG, tool use, and retrieval-augmented generation, the model may not need feed-forward layers to store factual knowledge if relevant facts are already present in context. A commenter extrapolated this into a pipeline where a small post-trained model routes requests to RAG and then uses retrieved context to generate a natural-language answer.
Several implementation/security concerns were raised: one commenter noted that publishing pickle files is increasingly avoided because of Python-specific dependency issues and arbitrary-code-execution risk during deserialization. Another pointed out that Gemini has had visible tool-calling quirks, including system-prompt-like reasoning about avoiding cat and preferring tools such as grep_search, raising the possibility that a distilled dataset could inherit provider-specific tool-use biases if not cleaned carefully.

Я запустил настоящую языковую модель-трансформер локально на стандартном Game Boy Color! (Активность: 368): На изображении (jpeg) показан стандартный Game Boy Color, запускающий локальную демонстрацию трансформера TinyStories, с надписью на экране TINYSTORIES Q8 GBC и Prompt tokenized. Согласно посту, это TinyStories-260K Андрея Карпатого, конвертированная в INT8/целочисленную арифметику в ROM формата GBDK-2020 MBC5, с весами в банковом ROM картриджа и KV-кешем в SRAM картриджа из-за крошечной рабочей RAM Game Boy Color. Автор отмечает, что работает крайне медленно и выдаёт в основном бессмыслицу из-за агрессивного квантования/аппроксимаций, но основной цикл локального трансформерного префилла + авторегрессивной генерации работает на устройстве без ПК, телефона, Wi-Fi, Link Cable или облачного инференса: github.com/maddiedreese/gbc-transformer. Комментарии в основном восторженные; один комментатор заявил, что это вдохновляет его запустить модель на N64, а другой дал ссылку на связанный/шуточный проект языковой модели для Game Boy — gbalm.Комментатор привёл ссылку на предыдущий проект языковой модели для Game Boy — gbalm (код), что указывает на более ранние эксперименты с крайне ограниченным инференсом LM на портативном оборудовании Nintendo. Это актуально как точка сравнения подходов к реализации и осуществимости на не-GPU, ретро 8-битных системах.Один технический вопрос касался того, почему здесь не требуется GPU-стек типа CUDA/ROCm: комментатор замечает, что типичный инференс LLM ассоциируется со зрелыми GPU-компиляторами, а эта демонстрация работает на оборудовании, сопоставимом с «картофелиной». Неявный вывод в том, что достаточно маленькие модели-трансформеры можно выполнять с помощью написанных вручную или сильно упрощённых CPU-циклов инференса, хотя и с очень низкой пропускной способностью, а портируемость на неподдерживаемые ускорители вроде будущих китайских GPU будет зависеть скорее от наличия базового вычислительного бэкенда, нежели от полной совместимости с CUDA.Needle: мы дистиллировали вызов инструментов Gemini в модель на 26M параметров (Активность: 271): Cactus Compute выпустила Needle — MIT-лицензированную модель на 26M параметров для однократного вызова инструментов, дистиллированную из данных, синтезированных Gemini, с заявленными 6000 токенов/с на префилле и 1200 токенов/с на декодировании на потребительских устройствах; веса доступны на Hugging Face, а код/документация — на GitHub. Архитектурно она использует «Simple Attention Networks» — внимание плюс вентильная функция без слоёв MLP/FFN — на основе идеи о том, что вызов функций — это в основном извлечение/сборка по предоставленным схемам инструментов, а не запомненные рассуждения; обучение потребовало 200 млрд токенов предобучения на 16 TPU v6e за 27 ч плюс 2 млрд синтезированных токенов вызова функций за 45 мин (описание архитектуры). Авторы заявляют, что модель превосходит FunctionGemma-270M, Qwen-0.6B, Granite-350M и LFM2.5-350M в однократном вызове функций, признавая при этом, что более крупные модели обладают более широкими разговорными возможностями. Комментаторы представили модель как потенциально полезный лёгкий маршрутизатор, который распределяет запросы/инструменты или эскалирует к более крупной LLM, при этом один спросил, может ли та же архитектура поддерживать высококачественную суммаризацию. Было высказано техническое замечание о загруженных файлах pickle из-за зависимости от Python и рисков безопасности при десериализации.Комментатор представил дистиллированную модель вызова инструментов на 26M параметров как лёгкую модель-маршрутизатор/вентиль: она могла бы решать, отправлять ли запрос к более крупной LLM и с какими параметрами, фактически сокращая дорогие вызовы модели до случаев, когда они действительно необходимы. Также высказано предположение, что та же архитектура может обобщаться на ограниченные рабочие процессы суммаризации, хотя в обсуждении не приведено доказательств на бенчмарках.Одна техническая ветка обсуждения сосредоточилась на заявленном авторами результате «без FFN»: для задач с внешними структурированными знаниями, таких как RAG, использование инструментов и генерация с извлечением, модели может не требоваться слоёв прямого распространения для хранения фактических знаний, если релевантные факты уже присутствуют в контексте. Комментатор экстраполировал это в пайплайн, где небольшая дообученная модель маршрутизирует запросы к RAG, а затем использует извлечённый контекст для генерации ответа на естественном языке.Было поднято несколько замечаний по реализации/безопасности: один комментатор отметил, что публикация pickle-файлов всё реже практикуется из-за зависимости от Python и риска выполнения произвольного кода при десериализации. Другой указал, что у Gemini наблюдались заметные особенности вызова инструментов, включая рассуждения в стиле системного промпта об избегании cat и предпочтении инструментов вроде grep_search, что допускает возможность наследования дистиллированным датасетом провайдер-специфичных предвзятостей в использовании инструментов, если данные не очищены тщательно.

Less Technical AI Subreddit Recap

Обзор менее технических AI-сабреддитов

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. Claude Coding Workflows and Tooling

1. Рабочие процессы и инструменты для кодирования с Claude

Keep reading with a 7-day free trial

Продолжить чтение с 7-дневным бесплатным пробным периодом

Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.

Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву публикаций.