[AINews] The End of Finetuning

[AINews] Конец файнтюнинга

спокойный день позволяет порассуждать о судьбе файнтюнинга

Непосредственным поводом для сегодняшней колонки стало решение OpenAI прекратить поддержку своих API для файнтюнинга.

На протяжении многих лет OpenAI выделялась среди крупных лабораторий своей поддержкой файнтюнинга, и множество докладов, материалов и AI-инженеров продвигали идею о том, как можно получить некий вариант «производительности o1 по ценам 4o», настаивая на том, что это важная часть инструментария.

Теперь волна отступила, Anthropic, вероятно, впервые в истории привлечёт раунд по более высокой оценке, чем OpenAI, а файнтюнинг стал очередной жертвой побочных квестов 2026 года (после Sora). Если допустить экстремальный дефицит GPU, это логично, но даже без драматических ограничений на вычислительные ресурсы основная масса — 80% индустрии AI-инженерии — вероятно, двигалась в этом направлении в любом случае, и Jeremy Howard говорил об этом в подкасте ещё в 2023 году.

Конец файнтюнинга — с Jeremy Howard из Fast.ai

«Конец» чего-либо для большинства людей НЕ означает «конец» в абсолютном смысле — и на самом деле лидеры, такие как Cursor и Cognition (чей раунд на $25 млрд теперь стал достоянием общественности), напротив, НАРАЩИВАЮТ RLFT и использование открытых моделей, а не сокращают. Файнтюны открытых моделей также могут быть ключевым элементом тезиса о кастомных ASIC, но если модель Taalas и продолжающееся развитие решений P/D-дизагрегации для инференса — хоть какой-то индикатор, то, возможно, достаточно просто очень длинных промптов (вроде Конституции Claude)…

AI-новости за 11/05/2026–12/05/2026. Мы проверили 12 сабреддитов, 544 Twitter-аккаунта и ни одного Discord-сервера. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем: AINews теперь является разделом Latent Space. Вы можете подписаться или отписаться от email-уведомлений!

Обзор AI-Twitter

Исследовательские бенчмарки, сложные оценки и агентные научные системы

Исследовательские бенчмарки рассуждений продолжают усложняться: Soohak представляет 439 задач исследовательского уровня по математике, написанных с нуля 64 математиками (включая 38 преподавателей), нацеленных на способности выше стандартного олимпиадного уровня. В области медицинских оценок @SophontAI выпустил Medmarks v1.0, расширив свой открытый набор медицинских бенчмарков с 20 до 30 и с 46 до 61 модели. Также растёт мнение о том, что старые оценки исчерпали себя: @polynoamial утверждает, что бенчмарки с одинаково высокими баллами следует отправить на пенсию в пользу более сложных тестов для передовых моделей.Агентные системы начинают двигать границы бенчмарков в науке и математике: AI Co-Mathematician от Google DeepMind описывается как асинхронная рабочая среда с состоянием для математиков, которая достигает 48% на FrontierMath Tier 4, поддерживая генерацию идей, поиск литературы, вычислительный анализ, верификацию теорем и формальные выводы. В теоретической физике physics-intern повышает результат Gemini 3.1 Pro с 17,7% до 31,4% на CritPt за счёт декомпозиции на специализированных агентов. В кодировании/синтезе программ первая задача ProgramBench была решена GPT-5.5 high/xhigh, при этом xhigh превзошёл Opus 4.7 xhigh по всем метрикам.Бенчмарки по поиску и извлечению вознаграждают маленькие специализированные модели: Agent-ModernColBERT от LightOn набирает ещё ~10% сверх Reason-ModernColBERT на BrowseComp-Plus, сохраняя размер ретривера в 149M параметров, и заявляет о сопоставимости или превосходстве над гораздо более крупными модельными системами при использовании совместно с генератором. В связанном обсуждении @xuzihuan4 задаётся вопросом, может ли лексический поиск быть достаточным в агентных циклах, когда агенты могут итеративно уточнять собственные запросы.

Обучение, оптимизация и методы масштабирования

Работа над оптимизаторами продолжает снижать стоимость обучения и улучшать эксперименты на малых масштабах: несколько твитов были посвящены быстрым вариантам обновлений SOAP/Muon. @torchcompiled применил шаг по касательной + ретракцию на многообразие Штифеля к обновлениям базиса SOAP, с последующим обсуждением проверок на дрейф и QR-откатом для стабильности. В сообществе Modded-NanoGPT SOAP-Muon установил новый рекорд на 3150 шагах (−60), а более ранняя обёртка внешним Nesterov SGD в стиле MuLoCo поверх NorMuonH также улучшила результаты — оба подкреплены отчётами по p-value.Формальные методы и суперооптимизация начинают сливаться с системной работой в ML: @leloykun описал суперооптимизатор тензорных программ из Lean4 в TileLang, который автоматически находит ядра, такие как FlashAttention2, FlashNorm и split-k matmul, и сообщает о примерно 1,8× ускорении по геометрическому среднему на A100. Тот же фреймворк позиционируется для совместного поиска по ядрам, оптимизаторам, правилам переноса гиперпараметров и законам масштабирования.Законы масштабирования и метрики обучения пересматриваются: @che_shr_cat утверждает, что классическая формулировка «20 токенов на параметр» зависит от токенизатора, и масштабирование следует измерять в байтах, а не токенах. Отдельно @JJitsev подчеркнул, что прескриптивные законы масштабирования ценны не только для прогнозирования, но и как систематическая основа для сравнения процедур обучения на разных масштабах.Трюки для повышения эффективности только на этапе обучения становятся всё интереснее: Lighthouse Attention от Nous представлен как субквадратичная обёртка для обучения поверх обычного внимания, которую можно убрать к концу обучения после фазы восстановления, сохраняя стандартный инференс при снижении стоимости предобучения на длинных контекстах. В аналогичном духе Renderers от Prime Intellect решает проблему несоответствия токенов и сообщений между RL-тренерами и агентными средами, заявляя о >3× пропускной способности на популярных открытых моделях.

Системы инференса, стеки обслуживания и инфраструктура времени выполнения

Стойки Blackwell становятся эталонной платформой для обслуживания больших MoE-моделей: Perplexity опубликовала детали обслуживания дообученной Qwen3 235B на системах NVIDIA GB200 NVL72, утверждая, что GB200 — серьёзный шаг вперёд для инференса по сравнению с Hopper для больших MoE. Их бенчмарки показывают снижение задержки NVLS all-reduce с 586,1 мкс на H200 до 313,3 мкс на GB200, а MoE prefill combine при EP=4 — с 730,1 мкс до 438,5 мкс с лучшей пропускной способностью декодирования при высоких скоростях генерации токенов. @AravSrinivas представил это как существенное изменение для дизагрегации prefill/decode при обслуживании крупных MoE.Оркестрация инференса становится всё более специализированной — это не «просто Kubernetes»: Modal утверждает, что для инференса нужен выделенный стек, ссылаясь на работу по управлению вычислениями, облачному кэшированию, CRIU и чекпоинтингу GPU. Эта позиция сразу получила подтверждение от Perceptron, которые заявили, что весь инференс Mk1 работает на Modal, поскольку нативное видео, структурированные выводы и гибридное рассуждение создают нестандартные требования к холодному старту и масштабированию.Экономика инференса на открытых моделях продолжает быстро улучшаться: SemiAnalysis сообщает, что объединение нескольких машин B200 8-GPU через RoCEv2 CX-7 с PD-дизагрегацией может увеличить пропускную способность токенов на GPU до 7×, что подразумевает сопоставимое снижение стоимости за токен. На стороне векторных БД Qdrant 1.18 добавил TurboQuant, обещая полноту, близкую к скалярному квантованию, при вдвое меньшем потреблении памяти, а также мониторинг памяти и операции жизненного цикла именованных векторов.Среды выполнения агентов становятся субстратами, подобными системам контроля версий: выделяющаяся системная идея — Shepherd от Стэнфорда, описанная @ai_satoru_chan, которая трактует выполнение агентов подобно Git: полноценные задачи, эффекты, области действия и трейсы; точное воспроизведение; ветвление; откат и формальные гарантии на Lean. Заявленные результаты включают рост при живом наблюдении на CooperBench с 28,8% до 54,7%, а также более быструю контрфактуальную оптимизацию и tree-RL-раскрутки.

Продуктовые и модельные релизы: мультимодальность, видео, поиск и эмбеддинги

Perceptron Mk1 стал самым значимым релизом новой модели в этой подборке: @perceptroninc запустил Perceptron Mk1 как модель для передового видео- и телесного рассуждения с нативной поддержкой видео до 2 FPS, временной привязкой, мультимодальным обучением в контексте и структурированными пространственными выводами. Обзор OpenRouter отмечает 32k мультимодального контекста и первоклассные выходные данные — точки, рамки, полигоны и клипы. Релиз позиционируется не как универсальная VLM, а скорее как стек рассуждений о физическом мире.Google и Meta продвигали мультимодальные интерактивные слои, а не отдельные спецификации моделей: демо AI-курсора от Google DeepMind переосмысливает указатель мыши как контекстный интерфейс указания, связанный с Gemini, позволяя пользователям указывать на экранный контент и давать краткие голосовые инструкции. Параллельно Meta анонсировала голосовые диалоги Meta AI на базе Muse Spark с поддержкой перебивания, переключения языков, генерации изображений и взаимодействия с камерой в реальном времени.Обновления моделей эмбеддингов и поиска были заметными: Jina выпустила jina-embeddings-v5-omni — универсальную модель эмбеддингов для текста, изображений, аудио и видео в вариантах на 1,57 млрд и 0,95 млрд параметров с усечением по принципу матрёшки и обратной совместимостью с существующими индексами v5-text. Meta тихо выпустила Sapiens2 — семейство ViT высокого разрешения, ориентированных на человека, от 0,1 до 5 млрд параметров для оценки поз, сегментации, нормалей и карт точек.Диффузионные модели и инструменты для изображений продолжали развиваться: Diffusers 0.38.0 от Hugging Face добавил новые пайплайны, включая Ace-Step 1.5, LongCat-AudioDiT и Ernie-Image, а также поддержку Flash Attention 4, FlashPack loading и Ring Anything для параллелизма контекста. Другие исследовательские релизы включали ELF: Embedded Language Flows — модель диффузии текста в непрерывном пространстве, и Pixal3D от Tencent для попиксельно-выровненной 3D-генерации.

Агенты, инструменты и рабочие процессы разработчиков

Агентные продукты переходят от демонстраций к операционным платформам: OpenAI анонсировала Symphony — систему, в которой на каждую открытую задачу приходится работающий агент Codex, а также отдельно представила использование компьютера для Codex для работы с приложениями без полного перехвата управления. LangChain повторно открыла исходный код обновлённого приложения Chat LangChain, описав его как продакшен-агент для вопросов и ответов, обрабатывающий почти 2T токенов в неделю.Управление состоянием долгоживущих агентов становится полноценной системной задачей: новые снимки DeltaChannel от LangGraph призваны заменить полное чекпоинтирование состояния для масштабируемого устойчивого выполнения; LangChain сообщает, что тот же механизм теперь обеспечивает хранение историй сообщений и файлов в deepagents v0.6. Та же тенденция прослеживается в руководстве по Gemini Interactions API от Google, где зашифрованные подписи thought сохраняют контекст рассуждений между ходами как в режимах с состоянием, так и без него, не заставляя разработчиков вручную управлять инъекцией подписей.Генерация синтетических данных и RL-сред вводится в эксплуатацию: @Vtrivedy10 поделился полезной практической перспективой: целевое извлечение синтетических данных из весов модели сложно на масштабе, особенно для малопредставленных распределений вроде длинных последовательностей, а эффективные пайплайны требуют программных тестов, верификаторов, судей и агентного обрамления на длинном горизонте. На стороне инфраструктуры Tau2-Infinity формализует автономный майнинг сложных задач по использованию инструментов для RL-пост-обучения через обход DAG или генерацию миров на основе гипотез об ошибках.Топ-твиты (по вовлечённости, отфильтрованные по технической релевантности):Gemini как интеллектуальный слой уровня ОС: Gemini Intelligence, Googlebook и демо AI-указателя от Google совокупно указывают на то, что агентный UX перемещается из окон чата в операционную систему.Финансирование Isomorphic Labs: @demishassabis объявил о $2,1 млрд нового финансирования на разработку лекарств с помощью ИИ — одно из крупнейших вложений капитала в этой выборке, напрямую связанное с прикладной AI-платформой.Бенчмаркинг речь-в-речь: бенчмарк τ-Voice от Artificial Analysis показал, что даже лучшие S2S-модели решают лишь около половины реалистичных сценариев обслуживания клиентов, а лидирует Grok Voice Think Fast 1.0 с 52,1%.Быстрый режим Claude Opus 4.7: релиз быстрого режима от Anthropic вышел в API и Claude Code, а Cursor отметил 2,5× скорость при 6× стоимости — конкретную новую точку на границе задержка/цена.

Безопасность, цепочка поставок и защищённое программирование

Самой срочной операционной историей стала атака на цепочку поставок Mini Shai-Hulud: @IntCyberDigest сообщил, что кампания расширилась за пределы TanStack и затронула OpenSearch, Mistral AI, Guardrails AI, UiPath и других через npm и PyPI, целенаправленно атакуя инструменты для AI-разработчиков. Примечательная техническая деталь — персистентность: атака предположительно внедряется в Claude Code (.claude/settings.json) и VS Code (.vscode/tasks.json), чтобы компрометация могла повторно выполняться при будущих событиях инструментов даже после удаления пакета. Guardrails AI позднее подтвердила, что пакет версии 0.10.1 был скомпрометирован и помещён в карантин примерно за 2 часа.Практические меры противодействия появились быстро: @ramimacisabird отметил, что помимо minimumReleaseAge командам следует включать blockExoticSubdeps, чтобы предотвратить попадание удалённых ссылок на GitHub в графы зависимостей. @elithrar напомнил, что pull_request_target на GitHub остаётся одной из самых опасных ловушек CI/CD для автоматизации PR на основе форков. А на уровне рабочей станции @andersonbcdefg рекомендовал перенести секреты из повсеместных локальных файлов .env в полноценный менеджер секретов.Безопасная кодогенерация становится самостоятельным направлением исследований: работа из Стэнфорда над SecureForge нацелена на обнаружение и предотвращение уязвимостей в коде, сгенерированном LLM, через оптимизацию промптов, а соответствующий список публикаций позиционирует это как мост между кодогенерацией и оценкой безопасности. Более широкий вывод: агенты для кодирования теперь достаточно сильны, чтобы укрепление цепочки поставок и оценка безопасности генерации стали основной инфраструктурой, а не второстепенными задачами.

Обзор AI-Reddit

Обзор /r/LocalLlama + /r/localLLM

1. Qwen 3.6 MTP и локальные оценки длинного контекста

MTP на Unsloth (Активность: 727): Изображение — скриншот активности на Hugging Face, показывающий публикацию/обновление Unsloth AI GGUF-сборок с сохранением MTP: unsloth/Qwen3.6-27B-GGUF-MTP и unsloth/Qwen3.6-35B-A3B-GGUF-MTP. Техническая значимость в том, что эти GGUF сохраняют вспомогательный MTP-слой / слой предсказания следующего токена, но пользователям по-прежнему нужно скачать и собрать конкретный PR для llama.cpp с поддержкой MTP, а не полагаться на стандартную поддержку llama.cpp. Один комментатор столкнулся с ошибкой утверждения при загрузке модели: GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0"), что свидетельствует о хрупкости инструментария или поддержки метаданных для этих MTP GGUF. Комментаторы в основном ждут поддержки от основных репозиториев, один шутит о постоянном обновлении страниц llama.cpp и vLLM на GitHub. Также есть неопределённость, поддерживается ли MTP «из коробки» в llama.cpp; пост указывает, что пока нет.Пользователь, компилирующий и запускающий новую модель 27B GGUF, сообщает о критической ошибке утверждения в qwen35_mtp.cpp: GGML_ASSERT(hparams.nextn_predict_layers > 0 && "QWEN35_MTP requires nextn_predict_layers > 0") failed. Это свидетельствует о том, что загружаемые метаданные GGUF/модели не содержат или не предоставляют nextn_predict_layers, что необходимо для выполнения Qwen3.5 MTP в текущей реализации.Несколько комментаторов отслеживают, добавили ли llama.cpp и vLLM нативную поддержку MTP: один прямо спрашивает, поддерживает ли теперь llama.cpp MTP «из коробки». Из обсуждения следует, что поддержка по-прежнему нестабильна во всех бэкендах и пользователи наблюдают за основными репозиториями на предмет совместимости с моделями GGUF MTP.Один технический вывод состоит в том, что поддержка MTP в GGUF считается важной для локального инференса, особенно для вариантов в стиле Qwen, таких как упомянутая модель 35B A3B. Комментатор выделяет вариант 35B A3B как интересный именно из-за ожидаемого улучшения длины контекста.Хайп вокруг Qwen 3.6 35B A3B — это реальность!!! (Активность: 713): Пользователь протестировал Qwen 3.6 35B A3B, Qwen 3.6 27B, Gemma 4 26B A4B и Nemotron 3 Nano на нишевой задаче понимания «статья → код», загружая в каждую модель академическую статью вместе с сопутствующим исследовательским кодом через механизмы длинного контекста — gated delta nets, гибридный Mamba2 и скользящее внимание. В подробных результатах все четыре малых/локальных модели с открытыми весами существенно превзошли прежние бейзлайны малых моделей, такие как Devstral Small 2, а Qwen 3.6 35B A3B оказалась сильнейшей; Devstral Small 2 не смогла вместить задачу с длинным контекстом в 32 ГБ VRAM/RAM. Комментаторы отметили практические компромиссы: Qwen 35B предпочтительна для длинного контекста/рефакторинга, но может быть многословной/медленной в режиме рассуждения, тогда как Gemma 26B быстрее для исправления кода/чата; при q4 один пользователь сообщает ~20 ГБ для Qwen 35B и ~15 ГБ для Gemma 26B, что позволяет держать обе модели загруженными. Другой комментатор раскритиковал оценку за отсутствие документации по параметрам инференса, что ограничивает воспроизводимость.Несколько пользователей сравнили локальные рабочие процессы с Gemma 26B и Qwen 35B, отметив, что обе можно держать загруженными одновременно при квантизации q4, так как Qwen 35B занимает около 20 ГБ, а Gemma 26B — около 15 ГБ. Один комментатор использует режим рассуждения Gemma 26B для быстрых исправлений кода/чата, а режим рассуждения Qwen 35B — для рефакторинга с длинным контекстом, но отмечает высокую задержку у Qwen 35B из-за чрезмерной многословности рассуждений перед итоговым ответом.Отчёт, ориентированный на кодирование, утверждает, что Qwen 27B способна работать с крупными проектами (100k+ строк кода), если начальную настройку проекта выполняет более мощная модель/кодирующий агент, а затем на продолжение работы переключается Qwen. Пользователь обнаружил минимальную практическую разницу между Qwen 27B и DeepSeek V4 для его задач, хотя Qwen иногда входила в циклы, требующие ручного прерывания и повторного запуска.Один комментатор подчеркнул, что производительность Qwen 27B/35B чувствительна к конфигурации инференса, в частности к параметрам температуры/семплирования и к недопустимости слишком агрессивного квантования как весов модели, так и KV-кеша. Другой запросил отсутствующие настройки запуска, подразумевая, что исходные утверждения сложно оценить без данных об уровне квантизации, настройках семплера, длине контекста, бэкенде или оборудовании.

2. Многоуровневая память и энергоэффективный локальный инференс

Сборка компьютера на Intel Optane Persistent Memory — запуск модели с 1 триллионом параметров со скоростью более 4 токенов/с (Активность: 964): На изображении показана начинка высокопамятной рабочей станции/сервера на Xeon с модулями Intel Optane DC Persistent Memory DIMM, что соответствует заявлению поста о локальном запуске Kimi K2.5 — MoE-модели с ~1T параметров — со скоростью около 4 токена/с через гибридный GPU/CPU-инференс llama.cpp. Ключевой технический момент — использование 768 ГБ Optane PMem в режиме Memory Mode, где Optane выступает как системная RAM, а 192 ГБ DDR4 ECC DRAM работает как кеш, позволяя разреженным весам экспертов модели находиться в PMem, в то время как тензоры внимания/плотные/общие эксперты/маршрутизации помещаются на RTX 3060 12 ГБ через override-tensor или ngl auto/cmoe. Изображение Комментаторы отметили, что Xeon Cascade Lake с большим количеством ядер, например ES 8260/QQ89, мог бы повысить пропускную способность, и обсуждали, не превзойдёт ли Optane в Storage Mode плюс mmap режим Memory Mode. Другие нашли сборку впечатляющей, но усомнились, терпимы ли 4 токена/с для интерактивного использования.Детальное замечание по оборудованию предполагает, что производительность может возрасти с Xeon Cascade Lake с большим числом ядер, например QQ89 ES / Xeon Gold 8260-класса 24-ядерный, по сравнению с текущим Xeon Gold 6246 12-ядерным. Комментатор также предлагает протестировать Optane PMem в storage mode + mmap по сравнению с memory mode, отмечая, что memory mode использует DRAM как прозрачный кеш и требует возврата страниц в DRAM перед выполнением на CPU, поэтому это не эквивалент обычной задержки RAM.Один комментатор даёт краткую сводку совместимости платформ с Optane PMem: LGA3647 Skylake/Cascade Lake использует Optane 1-го поколения NMA на 2666 MT/с, а LGA4189 — 2-го поколения NMB, работающий на 2666 с Cooper Lake и 3200 с Ice Lake. Также отмечается, что совмещение Optane с DRAM на Cascade Lake может снизить частоту затронутых каналов до 2666, и что многие Xeon этой эры имеют ограничение 1 ТБ суммарной памяти (DRAM + Optane), если не используются SKU с высокой памятью или более поздние платформы.Высказана техническая оговорка: хотя ~4 токена/с генерации на триллионнопараметрической модели может быть терпимо для некоторых применений, скорость обработки промптов/префилла, вероятно, будет значительно хуже при такой иерархии памяти. Другой комментарий оценивает полную стоимость сборки на б/у рынке примерно в $2060–$2500, включая Xeon Gold 6246, TYAN S5630GMRE-CGN, RTX 3060 12 ГБ, 192 ГБ DDR4 ECC RDIMM и 768 ГБ Intel Optane DCPMM.Хватит тратить электричество (Активность: 905): Пользователь протестировал llama.cpp llama-server на RTX 4090 с Qwen3.6-27B-UD-Q4_K_XL.gguf, полной выгрузкой на GPU (-ngl all), включённым FlashAttention, квантизацией K/V кеша q4_0, 32 потоками и контекстом 262144, варьируя ограничение мощности GPU через sudo nvidia-smi -pl N. Он сообщает, что GPU стабильно упирался в лимит мощности, и снижение лимита может существенно уменьшить энергопотребление/нагрев/шум при минимальной или нулевой потере скорости декодирования/генерации токенов (tg); комментатор отмечает, что префилл (pp) более чувствителен — примерно 15–20% потери производительности при снижении с 450 Вт до 270 Вт, в зависимости от модели. Комментаторы в основном интересовались разделением поведения декодирования и префилла, поскольку декодирование выглядит нечувствительным к мощности, тогда как префилл заметно деградирует. Один пользователь RTX 5090 заявил, что уже ограничивает мощность из соображений безопасности оборудования и может снизить её ещё больше по результатам этих тестов.Пользователи сосредоточились на влиянии ограничения мощности GPU на производительность: декодирование/генерация токенов (tg) по всей видимости не является узким местом, тогда как префилл (pp) страдает заметнее. Один комментатор оценил компромисс: лишь около 15–20% потери производительности префилла при снижении мощности с 450 Вт до 270 Вт, в зависимости от модели, что предполагает существенный выигрыш в эффективности от агрессивного ограничения мощности.

3. Сверхмалые эксперименты с трансформерами на устройствах

Я запустил настоящую языковую модель-трансформер локально на стандартном Game Boy Color! (Активность: 368): На изображении (jpeg) показан стандартный Game Boy Color, запускающий локальную демонстрацию трансформера TinyStories, с надписью на экране TINYSTORIES Q8 GBC и Prompt tokenized. Согласно посту, это TinyStories-260K Андрея Карпатого, конвертированная в INT8/целочисленную арифметику в ROM формата GBDK-2020 MBC5, с весами в банковом ROM картриджа и KV-кешем в SRAM картриджа из-за крошечной рабочей RAM Game Boy Color. Автор отмечает, что работает крайне медленно и выдаёт в основном бессмыслицу из-за агрессивного квантования/аппроксимаций, но основной цикл локального трансформерного префилла + авторегрессивной генерации работает на устройстве без ПК, телефона, Wi-Fi, Link Cable или облачного инференса: github.com/maddiedreese/gbc-transformer. Комментарии в основном восторженные; один комментатор заявил, что это вдохновляет его запустить модель на N64, а другой дал ссылку на связанный/шуточный проект языковой модели для Game Boy — gbalm.Комментатор привёл ссылку на предыдущий проект языковой модели для Game Boy — gbalm (код), что указывает на более ранние эксперименты с крайне ограниченным инференсом LM на портативном оборудовании Nintendo. Это актуально как точка сравнения подходов к реализации и осуществимости на не-GPU, ретро 8-битных системах.Один технический вопрос касался того, почему здесь не требуется GPU-стек типа CUDA/ROCm: комментатор замечает, что типичный инференс LLM ассоциируется со зрелыми GPU-компиляторами, а эта демонстрация работает на оборудовании, сопоставимом с «картофелиной». Неявный вывод в том, что достаточно маленькие модели-трансформеры можно выполнять с помощью написанных вручную или сильно упрощённых CPU-циклов инференса, хотя и с очень низкой пропускной способностью, а портируемость на неподдерживаемые ускорители вроде будущих китайских GPU будет зависеть скорее от наличия базового вычислительного бэкенда, нежели от полной совместимости с CUDA.Needle: мы дистиллировали вызов инструментов Gemini в модель на 26M параметров (Активность: 271): Cactus Compute выпустила Needle — MIT-лицензированную модель на 26M параметров для однократного вызова инструментов, дистиллированную из данных, синтезированных Gemini, с заявленными 6000 токенов/с на префилле и 1200 токенов/с на декодировании на потребительских устройствах; веса доступны на Hugging Face, а код/документация — на GitHub. Архитектурно она использует «Simple Attention Networks» — внимание плюс вентильная функция без слоёв MLP/FFN — на основе идеи о том, что вызов функций — это в основном извлечение/сборка по предоставленным схемам инструментов, а не запомненные рассуждения; обучение потребовало 200 млрд токенов предобучения на 16 TPU v6e за 27 ч плюс 2 млрд синтезированных токенов вызова функций за 45 мин (описание архитектуры). Авторы заявляют, что модель превосходит FunctionGemma-270M, Qwen-0.6B, Granite-350M и LFM2.5-350M в однократном вызове функций, признавая при этом, что более крупные модели обладают более широкими разговорными возможностями. Комментаторы представили модель как потенциально полезный лёгкий маршрутизатор, который распределяет запросы/инструменты или эскалирует к более крупной LLM, при этом один спросил, может ли та же архитектура поддерживать высококачественную суммаризацию. Было высказано техническое замечание о загруженных файлах pickle из-за зависимости от Python и рисков безопасности при десериализации.Комментатор представил дистиллированную модель вызова инструментов на 26M параметров как лёгкую модель-маршрутизатор/вентиль: она могла бы решать, отправлять ли запрос к более крупной LLM и с какими параметрами, фактически сокращая дорогие вызовы модели до случаев, когда они действительно необходимы. Также высказано предположение, что та же архитектура может обобщаться на ограниченные рабочие процессы суммаризации, хотя в обсуждении не приведено доказательств на бенчмарках.Одна техническая ветка обсуждения сосредоточилась на заявленном авторами результате «без FFN»: для задач с внешними структурированными знаниями, таких как RAG, использование инструментов и генерация с извлечением, модели может не требоваться слоёв прямого распространения для хранения фактических знаний, если релевантные факты уже присутствуют в контексте. Комментатор экстраполировал это в пайплайн, где небольшая дообученная модель маршрутизирует запросы к RAG, а затем использует извлечённый контекст для генерации ответа на естественном языке.Было поднято несколько замечаний по реализации/безопасности: один комментатор отметил, что публикация pickle-файлов всё реже практикуется из-за зависимости от Python и риска выполнения произвольного кода при десериализации. Другой указал, что у Gemini наблюдались заметные особенности вызова инструментов, включая рассуждения в стиле системного промпта об избегании cat и предпочтении инструментов вроде grep_search, что допускает возможность наследования дистиллированным датасетом провайдер-специфичных предвзятостей в использовании инструментов, если данные не очищены тщательно.

Обзор менее технических AI-сабреддитов

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. Рабочие процессы и инструменты для кодирования с Claude

Продолжить чтение с 7-дневным бесплатным пробным периодом

Подпишитесь на Latent.Space, чтобы продолжить чтение этого поста и получить 7 дней бесплатного доступа к полному архиву публикаций.