[AINews] Apple's War on Slop

[AINews] Apple's War on Slop

[AINews] Война Apple со «слопом»

a quiet day lets us reflect on the End of Sora, LiteLLM, AI2, and other not so happy news.

спокойный день позволяет нам поразмышлять о конце Sora, LiteLLM, AI2 и других не таких уж радостных новостях.

There were few bright spots today, as Microsoft AI execuhired AI2 leadership, OpenAI’s Sora became the first casualty of the Side Quest massacre (probably Atlas too), and LiteLLM suffered/created a huge supply chain vulnerability for ~all Python AI projects.

Сегодня было мало светлых моментов: Microsoft AI переманила руководство AI2, Sora от OpenAI стала первой жертвой резни Side Quest (вероятно, и Atlas тоже), а LiteLLM пострадала от / создала огромную уязвимость в цепочке поставок для ~всех Python-проектов с ИИ.

All will fade in due time, so do not deserve title story, but today we highlight this chart which tells an ongoing story that ALL traditional app stores like Apple and AI-native app stores like Dreamer face:

Всё со временем забудется, поэтому не заслуживает заглавной истории, но сегодня мы выделяем этот график, который рассказывает разворачивающуюся историю, с которой сталкиваются ВСЕ традиционные магазины приложений вроде Apple и AI-native магазины приложений вроде Dreamer:

Even as the debate rages on about AI killing all SaaS, the ability to vibecode apps and hopefully buy a ticket to a >$100M exit as an 18 year old high school dropout means that ~everyone with any entrepreneurial spirit is going to at least try it, and traditional app store review processes will die. This comes even as Apple starts blocking vibe code apps like Replit and Vibecode on policy reasons, and, even though there were legitimately defensible issues, it is clear that the normal app distribution paradigms are completely breaking down in 2026. We declared the War on Slop a key theme for 2026 in Jan, and now this is one of the most important charts in the world for thinking through it’s ramifications on the decades-long supremacy of the Apple App Store as well as other similar software distribution platforms vs the open web.

Даже пока бушуют споры о том, что ИИ убивает весь SaaS, возможность вайбкодить приложения и в идеале купить билет к выходу из проекта на сумму >$100M в 18 лет, будучи бросившим школу старшеклассником, означает, что ~каждый, у кого есть хоть какой-то предпринимательский дух, как минимум попробует это сделать, и традиционные процессы ревью в магазинах приложений умрут. Это происходит даже несмотря на то, что Apple начинает блокировать вайбкод-приложения вроде Replit и Vibecode по соображениям политики, и, хотя там были вполне обоснованные проблемы, очевидно, что обычные парадигмы дистрибуции приложений полностью разрушаются в 2026 году. В январе мы объявили войну со «слопом» ключевой темой 2026 года, и теперь это один из важнейших графиков в мире для осмысления её последствий для десятилетиями длившегося превосходства Apple App Store, а также других подобных платформ дистрибуции ПО против открытого веба.

AI News for 3/23/2026-3/24/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!

Новости ИИ за 23.03.2026–24.03.2026. Мы проверили 12 сабреддитов, 544 твиттера и больше никаких Discord. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете подписаться/отписаться от частоты получения писем!

AI Twitter Recap

Обзор Twitter по ИИ

Agent Infrastructure, Computer Use, and Design-to-Action Tooling

Инфраструктура агентов, использование компьютера и инструменты от дизайна к действию

Агентный харнесс Anthropic и «использование компьютера» меняют поверхность продукта: Повторяющейся темой дня было то, что возможности агентов всё больше связаны с харнессом, а не только с базовой моделью. Anthropic опубликовала новую инженерную статью о том, как она использует мультиагентный харнесс для фронтенд-дизайна и долгоиграющих программных задач, делая акцент на оркестрации вместо одношотового промптинга (AnthropicAI). Несколько разработчиков независимо утверждали, что «использование компьютера» важно, потому что оно позволяет моделям действовать в неупорядоченных программных средах без надёжных API (glennko), хотя другие отмечали, что это всё ещё медленно и, вероятно, является переходным этапом, пока больше инструментов не откроют API/CLI-интерфейсы (Yuchenj_UW). Более широкий операционный вывод хорошо подметил kerrsee: повторы, откаты, вебхуки, структурированное логирование и пути восстановления остаются непривлекательными узкими местами в продакшен-развёртывании агентов.Figma/MCP/Cursor делают дизайн-холсты напрямую редактируемыми агентами: Самым конкретным запуском рабочего процесса стал MCP-сервер Figma и прямое ИИ-редактирование прямо на холсте, теперь в открытой бете (figma). GitHub отметил, что это работает через Copilot CLI и другие клиенты по MCP (github), а Cursor сразу же расширил этот паттерн до генерации компонентов/фронтендов в Figma с использованием дизайн-системы команды (cursor_ai). Это один из самых наглядных примеров того, как вызов инструментов становится продукто-нативным, а не нативным для чат-обёрток. LangChain также двигался в том же направлении с фреймворк-нативным рендерингом инструментов и Slack-нативными рабочими процессами Fleet, включая кастомных Slack-ботов и Inbox для одобрений человеком (LangChain_JS, LangChain, hwchase17).

Open Agent Platforms, Benchmarks, and RL Environment Stacks

Открытые платформы агентов, бенчмарки и стеки RL-сред

Hermes Agent v0.4.0 превращается в полноценную среду исполнения персонального агента: Nous выпустила существенное обновление Hermes Agent v0.4.0 с примерно 300 смерженными PR за неделю, добавив OpenAI-совместимый бэкенд Responses API, фоновые циклы самосовершенствования, более широкие интеграции с мессенджерами, улучшенное сжатие контекста и больше эргономики CLI (Teknium, Teknium, NousResearch). Технически самой интересной функцией является агент проверки после ответа, который решает, что сохранить как переиспользуемую память/навыки (Teknium). Реакции сообщества были сосредоточены меньше на заявлениях о бенчмарках и больше на операционной ценности: выставление персонального кодинг/опс-агента за стандартным API делает его пригодным для использования из Open WebUI, LobeChat или любого OpenAI-совместимого клиента (witcheer).Открытые экосистемы агентов сходятся вокруг сред, навыков и воспроизводимых оценок: AI2 выпустила MolmoWeb, опенсорсного браузерного агента на базе Molmo 2 в размерах 4B и 8B, заявляя об открытом SOTA по весам в четырёх бенчмарках веб-агентов и даже превосходстве над некоторыми проприетарными агентами (allen_ai). Параллельно GenReasoning запустила OpenReward, платформу, предоставляющую 330+ RL-сред, автомасштабируемые вычисления для сред и 4,5M+ уникальных RL-задач через единый API — явно нацеленную на часто отсутствующий слой «вычислений для сред» в агентном RL (GenReasoning, rosstaylor90). Zhipu внесла вклад в виде ZClawBench, бенчмарка со 116 реальными агентными задачами, охватывающими офисную автоматизацию, кодинг и анализ (HuggingPapers). Вместе это указывает на стек, созревающий от «демо агентов» к стандартизированной подаче сред + бенчмаркируемым наборам задач + переиспользуемым харнессам.

Inference, Storage, and Systems Optimizations

Инференс, хранилище и системные оптимизации

И vLLM, и Transformers сообщили о существенном приросте инференса/рантайма: Обзор vLLM с GTC отметил несколько системных апгрейдов: Model Runner V2 с GPU-нативными Triton-ядрами, гибридный аллокатор памяти, дезагрегацию prefill для энкодера с приростом до 2,5x пропускной способности по P99 для мультимодальных нагрузок и модульные MoE-ядра (vllm_project, vllm_project). Отдельно работа по оптимизации со стороны Hugging Face/Transformers заявила, что непрерывная пакетизация плюс настройка torch.compile теперь достигают 95% пропускной способности vLLM для генерации 8K, фактически закрыв прежний разрыв для нагрузок по генерации синтетических данных (remi_or_).hf-mount — примечательный примитив для агентов/данных: Hugging Face выпустила hf-mount, который позволяет пользователям монтировать датасеты, модели и бакеты хранилища Hub как локальную файловую систему, включая примеры с 5TB-срезом FineWeb (julien_c, ClementDelangue). Это важно не только в плане удобства: несколько инженеров отметили, что агенты необычайно хороши в операциях с файловой системой, что делает смонтированное удалённое хранилище естественной подложкой для памяти агентов, черновиков, хранения командных артефактов и ленивого доступа к большим корпусам (Vtrivedy10, victormustar). Это один из самых практичных инфраструктурных запусков дня, потому что он снижает трение между локальным инструментарием и данными облачного масштаба.Moreau и TurboQuant показывают, что давление оптимизации смещается ниже слоя модели: Optimal Intellect представила Moreau, GPU-нативный солвер от команды CVXPY, заявляющий об ускорениях на порядки по сравнению с существующими инструментами (opt_intellect). Google Research анонсировала TurboQuant, алгоритм сжатия KV-кэша, сообщающий о минимум 6x снижении памяти и ускорении до 8x без потери точности (GoogleResearch). Общий паттерн: высокоценные приросты всё больше приходят из слоёв рантайма, памяти и систем, а не только из более крупных чекпойнтов моделей.

Security, Supply Chain Risk, and Guardrails for Agentic Software

Безопасность, риски цепочки поставок и ограждения для агентного ПО

Компрометация LiteLLM на PyPI доминировала в обсуждениях инфраструктуры/безопасности: Множество постов предупреждали, что LiteLLM 1.82.8 на PyPI была скомпрометирована, с вредоносными пейлоадами, пытающимися выкрасть учётные данные и реплицироваться по средам (hnykda). simonw отметил, что пакет позже был помещён в карантин на PyPI, но инцидент быстро превратился в более широкий разговор о хрупкости цепочки поставок ПО. karpathy дал самое детальное резюме, перечислив возможные цели для эксфильтрации, включая облачные учётные данные, SSH-ключи, конфигурации Kubernetes, секреты CI/CD, криптокошельки и историю шелла, отметив при этом транзитивный риск для пакетов вроде DSPy. Самое важное системное следствие пришло от DrJimFan: в агентном мире вся файловая система становится частью поверхности атаки, поскольку любой файл, который может попасть в контекст, способен стать вектором.«Де-вайбинг» и управление разрешениями становятся первоклассными требованиями к продукту: Несколько постов фактически сошлись на новом принципе проектирования: автономным инструментам кодинга нужны более крепкие шеллы, лучшие настройки разрешений по умолчанию и меньше широких зависимостей. Yuchen назвал инцидент «топливом для кошмаров» для рабочих процессов в стиле --dangerously-skip-permissions (Yuchenj_UW); новый авто-режим Claude Code от Anthropic стал спорным именно по этой причине, несмотря на энтузиазм по поводу скачка продуктивности (alexalbert__, kimmonismus). Практическим ответом многих разработчиков стало возобновлённое предпочтение минимальной кастомной маршрутизации, более жёстко проаудированных зависимостей и более сильных циклов одобрения человеком.

Labs, Org Moves, and Product Strategy Shifts

Лаборатории, организационные перестановки и сдвиги продуктовой стратегии

AI2 теряет руководство в пользу Microsoft; Microsoft AI продолжает концентрацию талантов: Самой явной организационной перестановкой стала реакция на переманивание Microsoft части руководящей команды AI2, включая упоминания о том, что Ali Farhadi, Hanna Hajishirzi и Ranjay Krishna присоединяются к Microsoft Superintelligence (eliebakouch, NandoDF). Подтекстом в технических кругах была озабоченность тем, смогут ли открытые исследовательские институты продолжать конкурировать с гиперскейлерами за лучшие таланты и работу фронтирного масштаба (stanfordnlp).OpenAI жёстко перераспределяет ресурсы: трата $1B Foundation, сворачивание Sora, грядущий «Spud»: OpenAI объявила, что её Foundation потратит минимум $1B в течение следующего года, при этом Wojciech Zaremba переходит к руководству устойчивостью ИИ, плюс дополнительные найма по направлениям заболеваний, гражданского общества и операций (sama, woj_zaremba, btaylor). В то же время ходили сообщения, что OpenAI завершила первоначальную разработку своей следующей крупной LLM под кодовым названием «Spud» и сворачивала продуктовый/приложенческий след Sora, чтобы высвободить вычисления (steph_palazzolo, kimmonismus). Для инженеров сигнал прост: OpenAI, похоже, сужает продуктовый фокус вокруг базовых общих моделей/инфраструктуры, даже ценой урезания побочных продуктов.

Top tweets (by engagement)

Топовые твиты (по вовлечённости)

Компрометация цепочки поставок LiteLLM: karpathy дал самый технически полный и высокосигнальный разбор атаки на PyPI и радиуса её поражения.Пост Anthropic об инженерии харнесса: AnthropicAI был одним из важнейших инженерных материалов дня о том, как фронтирные лаборатории на самом деле структурируют долгоиграющие рабочие процессы агентов.Запуск Figma MCP: figma и github показали, пожалуй, самый чистый из существующих мейнстримных примеров того, как агенты действуют напрямую на продакшен-поверхности дизайна.Обязательство OpenAI Foundation на $1B: sama и woj_zaremba ознаменовали крупный организационный сдвиг и сдвиг в области безопасности/устойчивости.Hermes Agent v0.4.0: Teknium / NousResearch выделились как один из крупнейших релизов сред исполнения открытых агентов за день.

AI Reddit Recap

Обзор Reddit по ИИ

/r/LocalLlama + /r/localLLM Recap

Обзор /r/LocalLlama + /r/localLLM

1. Security and Malware Concerns in AI Tools

1. Проблемы безопасности и вредоносного ПО в инструментах ИИ

LM Studio, возможно, заражён изощрённым вредоносным ПО. (Активность: 1822): На изображении в посте Reddit показано оповещение Windows Security, указывающее, что серьёзная угроза, идентифицированная как «Trojan:JS/GlassWorm.ZZ!MTB», была помещена в карантин из директории LM Studio. Это вызвало опасения о возможном заражении LM Studio вредоносным ПО. Однако LM Studio и Microsoft с тех пор подтвердили, что это было ложное срабатывание, вероятно, из-за того, что эвристические определения Defender конфликтовали с обфусцированным Electron-бандлом LM Studio. Обсуждение в сообществе подчёркивает важность аудитов безопасности и потенциальные риски техник обфускации, напоминающих паттерны вредоносного ПО. Несмотря на ложную тревогу, пользователям советуют принять меры предосторожности для защиты своих данных. Комментарии отражают консенсус, что обнаружение вредоносного ПО было ложным срабатыванием, подкреплённый историческими случаями похожих ложных тревог и низким уровнем обнаружения на VirusTotal. Однако есть критика практик обфускации кода LM Studio, которые могут непреднамеренно вызывать такие оповещения и усложнять оценки безопасности.Yags из LM Studio подтвердил, что оповещение о вредоносном ПО было ложным срабатыванием, проверенным Microsoft, и больше не появляется в VirusTotal. Несмотря на это, LM Studio проводит аудит скриптов и сред своей сборочной машины, чтобы предотвратить любые подлинные инциденты безопасности в будущем.Denoflore_ai_guy представил подробный анализ, предполагающий, что оповещение о вредоносном ПО было, вероятно, ложным срабатыванием из-за того, что эвристические обновления Defender конфликтовали с обфусцированным Electron-бандлом LM Studio. Однако он отметил, что обфускация кода LM Studio ради защиты ИС может напоминать техники вредоносного ПО, что усложняет обнаружение.Denoflore_ai_guy также изложил шаги по смягчению потенциальных рисков, если вредоносное ПО GlassWorm всё же присутствовало, включая смену паролей, перемещение криптосредств и проверку на наличие вредоносных расширений Chrome. Он подчеркнул важность чистой установки ОС и ротации учётных данных для обеспечения безопасности.[Развивающаяся ситуация] LiteLLM скомпрометирована (Активность: 380): Библиотека LiteLLM была скомпрометирована, как подробно описано в GitHub issue #24512. Атака эксплуатирует уязвимость .pth-файла, который выполняет код при запуске интерпретатора без необходимости импортов, что затрудняет обнаружение через стандартные ревью кода. Пользователям версии 1.82.8 рекомендуется немедленно ротировать учётные данные, если они используются в продакшен-средах, поскольку компрометация могла раскрыть конфиденциальную информацию. В примечательном комментарии подчёркивается эффективность использования Docker-контейнеров для изоляции секретов хоста, что может смягчить некоторые риски безопасности. В другом комментарии акцентируется скрытная природа трюка с .pth-файлом, который обходит типичные сканирования безопасности.Трюк с .pth-файлом выделяется как существенная уязвимость безопасности. Этот метод позволяет выполнять код при запуске интерпретатора без необходимости импортов, что делает его почти невидимым для стандартных ревью кода. Пользователям, запускавшим версии LiteLLM 1.82.8 или 1.82.7, рекомендуется немедленно ротировать учётные данные из-за потенциального раскрытия.Aider, инструмент, использующий LiteLLM для доступа к LLM, по сообщениям безопасен, поскольку работает на более старой версии (1.82.3) LiteLLM, которая не скомпрометирована. Скомпрометированные версии идентифицированы как 1.82.8 и 1.82.7, что подчёркивает важность контроля версий и мониторинга уязвимостей безопасности.Обсуждение затрагивает использование Docker-контейнеров для изоляции в целях безопасности. Хотя это обычно не считается мерой безопасности, в данном случае Docker эффективно изолировал секреты хоста, демонстрируя свою потенциальную полезность в смягчении определённых типов нарушений безопасности.Litellm 1.82.7 и 1.82.8 на PyPI скомпрометированы, не обновляйтесь! (Активность: 441): Версии Litellm 1.82.7 и 1.82.8 на PyPI были скомпрометированы, как подтверждено в блог-посте. Атака, по-видимому, является компрометацией цепочки поставок, потенциально затрагивающей тысячи пользователей. Вредоносные версии были загружены на PyPI, представляя существенный риск для CI/CD-конвейеров, которые автоматически обновляют зависимости. Атака была осуществлена через GitHub-аккаунт CEO LiteLLM, который был взломан, о чём свидетельствуют несанкционированные коммиты и обновления репозитория с заявлением «teampcp owns BerriAI». Комментаторы подчёркивают важность закрепления версий зависимостей во избежание таких атак на цепочку поставок, акцентируя риск автоматических обновлений в продакшен-средах. Также есть озабоченность потенциальным учащением таких атак на инструментарий ИИ.GroundbreakingMall54 подчёркивает критическую важность закрепления версий зависимостей и отказа от авто-обновлений в продакшен-средах. Он акцентирует риск атак на цепочку поставок, особенно в инструментарии ИИ, о чём свидетельствуют скомпрометированные версии Litellm на PyPI, которые могли бы быть автоматически интегрированы в CI/CD-конвейеры за ночь.Gremlation и JockY обсуждают взлом со стороны «teampcp», который скомпрометировал GitHub-аккаунт CEO, чтобы внедрить вредоносное ПО в Litellm. Это вредоносное ПО, встроенное в версии 1.82.7 и 1.82.8, предназначено для кражи секретов при запуске. Они отмечают, что версии <= 1.82.6 остаются незатронутыми, и предоставляют ссылки на GitHub-коммиты, показывающие несанкционированные изменения, сделанные под аккаунтом CEO.kiwibonga указывает на конкретный вредоносный пейлоад в скомпрометированных версиях Litellm, который выполняет деструктивную команду (rm -rf /), если временная зона системы установлена на Asia/Tehran. Это подчёркивает серьёзность и таргетированную природу атаки, намекая на более широкий геополитический контекст в ландшафте киберугроз.

2. Local LLM Development and Performance Enhancements

2. Разработка локальных LLM и улучшения производительности

Я создал Fox — движок инференса LLM на Rust с 2x пропускной способностью Ollama и на 72% ниже TTFT. (Активность: 212): Fox — это движок инференса локальных LLM на базе Rust, спроектированный как drop-in замена Ollama, предлагающий существенные улучшения производительности. Он включает PagedAttention, непрерывную пакетизацию и кэширование префиксов, достигая на 72% более низкого TTFT и на 111% более высокой пропускной способности на RTX 4060 с моделью Llama-3.2-3B-Instruct-Q4_K_M. Движок поддерживает обслуживание нескольких моделей с ленивой загрузкой и вытеснением по LRU и предоставляет двойной API, совместимый как с OpenAI, так и с Ollama. Официальный Docker-образ доступен, и система поддерживает автоопределение оборудования для CUDA, Vulkan, Metal и CPU. Проект находится в бете, с тщательным тестированием на Linux и NVIDIA, но в меньшей степени на других платформах и конфигурациях. Предоставлены ссылки на GitHub и Docker Hub для доступа. В топовом комментарии подчёркивается впечатляющее техническое достижение реализации функций уровня vLLM на Rust, отмечая существенный прирост производительности от кэширования префиксов и непрерывной пакетизации. Есть запрос на возможность горячей замены LoRA, чтобы ещё больше отличить Fox от Ollama. В другом комментарии выражается скептицизм по поводу аутентичности и безопасности проекта, предлагающий необходимость независимой проверки и аудита кода.No_Strain_2140 подчёркивает технические достижения Fox, отмечая его использование PagedAttention, непрерывной пакетизации и кэширования префиксов, которые способствуют его впечатляющим метрикам производительности, таким как 87ms P50 на 4060 с Q4_K_M. Комментатор противопоставляет подход Fox последовательной обработке Ollama, подчёркивая продвинутые функции Fox, такие как переиспользование KV в многоходовых сессиях, которые повышают пропускную способность и снижают TTFT. Он также интересуется потенциалом горячей замены LoRA, которая могла бы позволить обслуживать базовую модель с несколькими LoRA-адаптерами, позиционируя Fox как нечто большее, чем просто более быстрая альтернатива Ollama.PettyHoe поднимает опасения по поводу безопасности и достоверности проекта, предлагая необходимость независимой проверки и аудитов кода для обеспечения отсутствия рисков эксфильтрации. Он выражает скептицизм по поводу аутентичности проекта из-за ИИ-сгенерированной природы описаний и комментариев, подчёркивая важность осторожной оценки перед внедрением.AIDevUK спрашивает о способности Fox работать на нескольких GPU, что является критическим соображением для масштабирования и производительности в крупномасштабных развёртываниях. Этот вопрос указывает на необходимость понимания архитектуры Fox и его способности задействовать конфигурации с несколькими GPU для повышения вычислительной эффективности.RYS II — Повторяющиеся слои с Qwen3.5 27B и некоторые намёки на «универсальный язык» (Активность: 695): В посте обсуждаются находки из экспериментов с моделью Qwen3.5 27B, показывающие, что LLM могут обрабатывать информацию на «универсальном языке». Об этом свидетельствует схожесть латентных представлений одного и того же контента на разных языках, таких как китайский и английский, в средних слоях модели. Автор также обнаружил, что повторение блоков в середине стека трансформера повышает производительность. Модели доступны на Hugging Face. Автор предполагает, что дообучение этих моделей, особенно RYS-Qwen3.5-27B-FP8-XL, могло бы установить новый state-of-the-art (SOTA) для моделей такого размера. Кроме того, ведётся работа по оптимизации использования VRAM путём сохранения дублированных слоёв как копий, что может быть полезно для будущих реализаций. Комментаторы ценят строгий подход и потенциальные последствия исследования, отмечая его релевантность для улучшений производительности, наблюдаемых в сложных слияниях моделей. Есть интерес к тому, как эти находки могут повлиять на практики опенсорс-тюнинга, особенно в креативном письме и техниках самослияния.ArsNeph обсуждает интригующие улучшения производительности, наблюдаемые в самослияниях вроде Goliath 120B, отмечая, что не все модели выигрывают одинаково. Он ссылается на исторические обсуждения об инференсе с дублированными слоями без VRAM, подчёркивая текущую работу над EXL3. Комментарий предполагает, что опенсорс-тюнеры, особенно сосредоточенные на EQ-производительности, могут найти эти инсайты ценными, особенно в контексте креативного письма, где сложные деревья слияний показали значительные улучшения.Kwigg размышляет о прошлом опыте с «франкенслияниями» в эпоху llama2, ставя под вопрос эффективность таких методов с новыми моделями, имеющими продвинутые механизмы внимания. Он отмечает, что старые франкенслияния были неэффективны по памяти, подразумевая, что современные модели могут обрабатывать эти техники иначе, потенциально приводя к лучшим результатам производительности.TomLucidor предлагает расширить языковое тестирование Qwen3.5, включив японский, тайский, французский, немецкий и итальянский. Он также предлагает сравнительный анализ между Qwen3.5 и другими моделями, такими как Nemotron-3, известной своей скоростью и линейным вниманием, и Granite-4.0, которая предлагает похожее разнообразие размеров, но менее оптимизирована. Это могло бы дать инсайты об относительной производительности и оптимизации этих моделей.FlashAttention-4: 1613 TFLOPs/s, в 2,7x быстрее Triton, написан на Python. Что это значит для инференса. (Активность: 364): FlashAttention-4 достигает 1613 TFLOPs/s на GPU Blackwell B200, задействуя 71% его теоретического пикового быстродействия. Он на 2,1-2,7x быстрее Triton и до 1,3x быстрее cuDNN 9.13. Реализация полностью на Python с использованием NVIDIA CuTeDSL, которая компилируется за 2,5 секунды по сравнению с 55 секундами для C++. Эта версия поддерживает GQA и MQA и интегрирована в vLLM 0.17.0. Однако она ограничена архитектурами Hopper + Blackwell, конкретно GPU H100/H800 и B200/B100, из-за зависимости от специфических аппаратных функций вроде TMEM, 2-CTA MMA и async TMA. В статье также обсуждается, как softmax стал узким местом и как селективное перешкалирование оптимизирует производительность. Комментаторы выражают разочарование маркетингом NVIDIA, продающим GPU как «Blackwell», когда им не хватает полной совместимости с FlashAttention-4, подчёркивая расхождение между рекламируемыми и фактическими аппаратными возможностями.JockY выражает разочарование маркетингом NVIDIA, продающим RTX 6000 Pro как «Blackwell», когда она не полностью совместима с функциями Blackwell, конкретно упоминая, что FlashAttention-4 (FA4) и NVFP4 поддерживаются только на архитектурах SM100. Это подчёркивает расхождение между наименованием продуктов NVIDIA и фактическими аппаратными возможностями, что может вводить в заблуждение ранних последователей, ожидающих полной поддержки функций.Daemontatox указывает, что проблема с маркетингом NVIDIA RTX 6000 Pro как «Blackwell» больше связана с архитектурой потокового мультипроцессора (SM), чем с наименованием или общей архитектурой. RTX 6000 Pro и системы DGX продаются под именем «Blackwell», но фактически используют архитектуру SM120, которой не хватает некоторых ожидаемых функций, что приводит к недовольству потребителей.STNKMyyy ставит под вопрос релевантность таких высокопроизводительных продвижений, как FlashAttention-4, для GPU потребительского класса, подразумевая, что хотя эти технологии прорывные, они могут быть недоступны или невыгодны для типичных пользователей потребительского оборудования. Это отражает распространённую озабоченность разрывом между передовыми исследованиями и практическими потребительскими приложениями.Создал расширение SillyTavern, которое оживляет NPC в любой игре (Активность: 499): В посте описывается новое расширение для SillyTavern, которое интегрирует NPC в любую игру, используя Cydonia как ролевую (RP) модель и Qwen 3.5 0.8B как гейм-мастера. Эта настройка позволяет осуществлять динамические взаимодействия с NPC путём скачивания вики игры и подачи её в SillyTavern, давая NPC возможность иметь подробный лор и контекстно реагировать. Система использует клонирование голоса из игровых файлов и предоставляет NPC информацию о состоянии игры, такую как характеристики игрока и местоположение. RP-модель работает локально, обеспечивая низкую задержку и сильные нарративные способности. Вторичная модель, Qwen 3.5, интерпретирует RP-взаимодействия для запуска внутриигровых действий, повышая реалистичность и глубину старых игр без необходимости разговорного ввода. Пост подчёркивает эффективность специализированных RP-моделей над базовыми моделями в игровых приложениях. Комментаторы выражают удивление и энтузиазм по поводу потенциала ИИ в играх, отмечая инновационное использование ИИ для взаимодействий с NPC и задаваясь вопросом, почему такая технология ещё не стала стандартом в играх.Пользователь подчёркивает впечатляющее использование модели с 0.8B параметрами для оживления NPC в играх, спрашивая, является ли проект опенсорсным. Это намекает на лёгкую модель, способную эффективно работать в реальном времени в игровых средах, что значимо для интеграции в существующие игры без больших вычислительных требований.Какую локальную модель мы гоняем на оверленд-Jeep, мужики? (Активность: 459): На изображении изображён беспилотный автомобиль Waymo, подчёркивающий технологические продвижения в системах автономных транспортных средств. Обсуждение сосредоточено вокруг предсказания, что будущим автомобилям потребуется 300GB оперативной памяти, что является существенным увеличением по сравнению с текущими стандартами. Это предсказание, вероятно, основано на предположении, что в транспортные средства будут интегрированы более сложные модели, возможно, включающие обработку данных в реальном времени и принятие решений на основе ИИ. Комментарии отражают скептицизм по поводу этого предсказания, при этом пользователи ставят под вопрос необходимость таких высоких требований к памяти, особенно когда текущие транспортные средства работают эффективно на гораздо меньшем объёме. Комментаторы выражают скептицизм по поводу предсказания о 300GB оперативной памяти для будущих автомобилей, ставя под вопрос основу этого предположения и сравнивая его с текущими возможностями транспортных средств, требующими значительно меньше памяти.ForsookComparison ставит под вопрос необходимость высоких требований к памяти для автомобильных моделей, отмечая, что его машина работала эффективно всего с 16GB оперативной памяти на протяжении поездки в 600 миль. Он оспаривает предположение, что нужно 300GB, предполагая, что такие цифры могут быть основаны на моделях, требующих обширных вызовов инструментов, что может быть неприменимо во всех сценариях.txdv подчёркивает потенциальные ценовые последствия высоких требований к памяти в транспортных средствах, выражая озабоченность осуществимостью апгрейдов до 128GB. Он указывает, что автомобильное ценообразование чувствительно, и стоимость в 5k за память может быть запретительной для потребителей, указывая на необходимость баланса производительности и доступности.

3. Chinese LLM Market and Model Evaluations

3. Рынок китайских LLM и оценки моделей

Текущее состояние сцены китайских LLM (Активность: 639): Ландшафт китайских LLM доминируется крупными игроками вроде ByteDance, Alibaba, Tencent и Baidu, у каждого из которых есть проприетарные и открытые по весам модели. ByteDance лидирует со своей моделью dola-seed, похожей на OpenAI, а её модель Seedance T2V популярна для генерации видео. Alibaba преуспевает в открытых по весам моделях, особенно небольших, и сильна в T2I и T2V. Модель Tencent Hunyuan отмечена за генерацию 3D-мешей, хотя её последние версии не опенсорснуты. Модель Baidu Ernie используется меньше, с более сильным фокусом на автономном вождении. Среди других примечательных игроков — Xiaomi с Mimo V2 Pro, Ant Group с Ling 2.5 1T и Meituan с LongCat-Flash-Chat, который использует динамический подход MoE. Deepseek выделяется за инновации в механизмах внимания, таких как MLA и DSA. «Шесть малых тигров ИИ», такие как Zhipu и Minimax, сосредоточены на выпуске крупных открытых по весам моделей для завоевания признания. Финансируемые правительством инициативы вроде BAAI и Shanghai AI Lab также вносят вклад, хотя с разной репутацией. Комментаторы отмечают быстрый темп выпуска открытых по весам моделей в Китае по сравнению с США, причём некоторые лаборатории выпускают больше за квартал, чем компании США за два года. Tencent признаётся за инвестиции в модели, специфичные для разработки игр, причём Hunyuan 3.1 является state-of-the-art для генерации 3D-мешей.Tencent активно инвестирует в модели, специфичные для разработки игр, такие как Hunyuan 3.1 для генерации 3D-мешей и HY-Motion для текста-в-анимацию, которые считаются state-of-the-art. Изначально Tencent опенсорсит эти модели для построения узнаваемости бренда, но переходит к закрытым весам, как только они достигают коммерческой жизнеспособности, как это видно на примере последних моделей Hunyuan 3D.Список популярных моделей по использованию токенов на OpenRouter за последние 7 дней подчёркивает доминирование китайских моделей, причём Xiaomi MiMo-V2-Pro лидирует с 1,77 триллиона токенов. Примечательно, что в рейтинге всего три западные лаборатории, и «малые тигры» — небольшие компании, быстро продвигающие ИИ — заметны, что указывает на сдвиг в динамике инноваций.Несмотря на значительный вклад ByteDance в ИИ, она не выпустила ни одной открытой по весам модели, что подтверждается отсутствием таких моделей на Hugging Face. Это контрастирует с другими китайскими лабораториями, которые часто выпускают открытые веса, ускоряя конкуренцию в пространстве ИИ.Итак, cursor признаёт, что Kimi K2.5 — лучшая открытая модель (Активность: 629): На изображении — твит Aman Sanger, обсуждающий оценку базовых моделей, в частности подчёркивающий, что Kimi K2.5 оказалась сильнейшей моделью на основе оценок по перплексии. В твите отмечается, что сила модели приписывается продолженному предобучению и высоковычислительному обучению с подкреплением, которые усиливают возможности модели Composer-2. В твите также признаётся упущение в виде неупоминания базы Kimi в их блоге, с планами исправить это в будущих коммуникациях. В одном комментарии критикуется использование оценок на основе перплексии между моделями, отмечая, что баллы могут зависеть от факторов вроде размера словаря. В другом комментарии ставится под вопрос заявление о доле обучения, выполненной Kimi K2, ссылаясь на отчёты Workshop Labs, которые предполагают, что код обучения K2 от Fireworks не оптимизирован для гиперскейлингового обучения, что контрастирует с заявлениями о его эффективности.Заявление о том, что Kimi K2.5 — лучшая открытая модель, ставится под вопрос из-за методологии оценки, в частности использования баллов перплексии, которые могут вводить в заблуждение, поскольку зависят от факторов вроде размера словаря. Это вызывает опасения по поводу обоснованности таких сравнений между моделями.Есть скептицизм по поводу заявлений об обучении, сделанных Fireworks относительно Kimi K2.5. Workshop Labs, известная оптимизацией кода обучения, сообщила, что код Fireworks не оптимизирован для гиперскейлингового обучения, будучи лишь незначительно лучше базовых реализаций вроде HF Transformers 4.x. Это намекает на потенциальную неэффективность в подходе Fireworks к обучению Kimi K2.5.Утверждение, что Kimi K2.5 — лучшая «базовая модель», приписывается её большому количеству параметров и использованию стандартного механизма внимания, а не линейного. Это подразумевает, что архитектура и масштаб модели существенно способствуют её производительности, а не какие-либо новые техники обучения.Опенсорсное доминирование Китая угрожает лидерству США в ИИ, предупреждает консультативный орган США (Активность: 922): Консультативный орган США выразил озабоченность растущим влиянием Китая в опенсорсном секторе ИИ, предполагая, что это может угрожать лидерству США в ИИ. В отчёте подчёркиваются стратегические инвестиции и продвижения Китая в опенсорсных моделях ИИ, которые становятся всё более конкурентоспособными с американскими аналогами. Консультативный орган предполагает, что США необходимо укрепить свои опенсорсные инициативы для сохранения конкурентного преимущества. Комментаторы утверждают, что США отстают в опенсорсном ИИ, причём китайские модели более экономичны и эффективны. Также есть критика американских моделей вроде Opus, GPT-5.4 и Gemini 3.1 Pro за их воспринимаемую дисфункциональность, в контрасте с вкладом Китая в свободу ИИ, несмотря на его авторитарный режим.EffectiveCeilingFan подчёркивает конкурентное преимущество китайских моделей ИИ, отмечая, что они не только дешевле, но и превосходят американские модели в открытых весах. Комментатор критикует производительность американских моделей вроде Opus, GPT-5.4 и Gemini 3.1 Pro, предполагая, что США отстают в плане разработки опенсорсного ИИ.Lissanro подчёркивает важность открытых исследований в разработке ИИ, ссылаясь на статью «Attention is All You Need» как основополагающую. Он упоминает, что модели вроде Kimi K2.5 обязаны своим существованием открытым исследованиям, разделяемым такими компаниями, как DeepSeek. В комментарии также отмечается, что крупные компании, такие как Cursor AI, перенимают китайские модели вроде Kimi K2.5 для своих продуктов, что указывает на предпочтение этих опенсорсных моделей в индустрии.Global_Estimate7021 представляет подробный анализ того, почему США могут отставать в ИИ, ссылаясь на значительный разрыв в принятии ИИ (87% в Китае против 32% в США) и объём публикаций исследований по ИИ, где Китай лидирует. Он также упоминает стратегическое преимущество более дешёвого электричества Китая и низовые инициативы по ИИ-грамотности, которые контрастируют с нисходящим подходом США.

Less Technical AI Subreddit Recap

Менее технический обзор сабреддитов по ИИ

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo

1. AGI Achievements and Claims

1. Достижения и заявления об AGI

Человек, который изначально придумал акроним «AGI», теперь говорит, что мы достигли его в точности так, как он себе это представлял. (Активность: 926): На изображении — твит Mark Gubrud, который утверждает, что придумал термин «AGI» (Artificial General Intelligence). Он заявляет, что AGI достигнут так, как он представлял, причём текущие модели работают на высоком человеческом уровне в языке и общих знаниях, будучи при этом гораздо быстрее. Однако есть споры об оригинальности его заявления, поскольку термин «artificial general intelligence» документирован уже в 1989 году и приписывается G. Simons. Определение AGI по Gubrud включает системы, которые соответствуют или превосходят сложность и скорость человеческого мозга, способные рассуждать с общими знаниями в различных операциях. В комментариях есть скептицизм по поводу заявления Gubrud о том, что он придумал термин «AGI», причём некоторые предполагают, что он неверно помнит историю. Оксфордский словарь английского языка приписывает самое раннее использование термина 1989 году, в трудах G. Simons, а не Gubrud.Термин «artificial general intelligence» (AGI) документирован уже в 1989 году, причём Оксфордский словарь английского языка цитирует G. Simons как самый ранний источник. Однако M. Gubrud часто приписывают популяризацию термина в научной литературе, хотя сам термин он не придумал.Изначальное определение AGI его автором описывает его как системы, которые соответствуют или превосходят возможности человеческого мозга по сложности и скорости, способные работать с общими знаниями в различных областях, включая промышленные и военные операции. Это определение предполагает широкий и универсальный интеллект, хотя есть скептицизм по поводу того, соответствуют ли текущие системы этому стандарту.Есть споры о значимости достижения AGI без рекурсивного самосовершенствования, которое, как ожидалось, запустит технологическую сингулярность. Отсутствие таких преобразующих продвижений приводит к скептицизму по поводу текущего ажиотажа вокруг разработок AGI.Jensen Huang (NVIDIA) заявляет, что AGI достигнут (Активность: 2562): В недавнем интервью Jensen Huang, CEO NVIDIA, заявил, что Artificial General Intelligence (AGI) достигнут — заявление, которое вызвало значительные споры. Интервью, доступное на YouTube, лишено детальных технических доказательств в поддержку этого заявления, что приводит к скептицизму среди экспертов. Утверждение Huang рассматривается как потенциально находящееся под влиянием его роли в продвижении продуктов NVIDIA, которые активно инвестированы в ИИ-технологии. Топовые комментарии отражают скептицизм по отношению к заявлению Huang, подчёркивая недоверие к высказываниям бизнес-лидеров об их собственных продуктах. Комментаторы предполагают, что такие заявления могут быть больше связаны с маркетингом, чем с фактическими продвижениями в ИИ.Sweaty_Rub4322 подчёркивает критическую проблему в споре об AGI: отсутствие общепринятого определения AGI. Эта неоднозначность усложняет обсуждения и оценки того, достигнут ли AGI, поскольку и академия, и индустрия с трудом приходят к согласию о том, что составляет AGI. Это подчёркивает необходимость чёткого, стандартизированного определения для содействия осмысленному прогрессу и оценке в этой области.

2. Claude Code Features and Updates

2. Функции и обновления Claude Code

Claude теперь может использовать ваш компьютер (Активность: 2106): Claude, ИИ, разработанный Anthropic, теперь способен использовать ваш компьютер для выполнения задач через Claude Cowork и Claude Code. Эта функция, в настоящее время в исследовательском превью, позволяет Claude открывать приложения, навигировать по браузерам и управлять таблицами, эффективно автоматизируя задачи, обычно выполняемые вручную. Она отдаёт приоритет использованию подключённых приложений вроде Slack и Calendar, но может также напрямую взаимодействовать с приложениями на вашем экране с разрешения. Эта функциональность доступна на тарифах Pro и Max для пользователей macOS, требуя обновлённое десктопное приложение в паре с мобильным устройством. Больше деталей можно найти здесь. Были подняты опасения по поводу последствий безопасности при разрешении ИИ управлять компьютером, причём некоторые пользователи выражали тревогу о потенциальном вытеснении рабочих мест. Другие отметили это как стратегический ход Anthropic в ответ на конкурентов вроде OpenAI.Ключевое поднятое опасение касается последствий безопасности при разрешении Claude доступа к компьютеру пользователя. Это включает потенциальные риски, такие как несанкционированный доступ к данным или их манипуляция, которые могут быть эксплуатированы при ненадлежащей защите. Быстрый темп выпуска функций может усугубить эти опасения, поскольку новые функциональности могут быть недостаточно тщательно проверены на уязвимости перед развёртыванием.Введение способности Claude использовать компьютер рассматривается как конкурентный ответ на продвижения OpenAI, особенно в контексте моделей ИИ вроде GPT-4. Этот ход Anthropic может быть нацелен на поддержание паритета или получение преимущества в гонке возможностей ИИ, подчёркивая конкурентную динамику в индустрии ИИ.Есть мнение, что быстрая разработка и выпуск новых функций Claude может привести к вытеснению рабочих мест. По мере того как модели ИИ становятся более способными выполнять сложные задачи, традиционно выполняемые людьми, растёт озабоченность по поводу влияния на занятость, особенно в секторах, сильно зависящих от рутинных когнитивных задач.Claude Code теперь может /dream (Активность: 1953): Claude Code представил функцию под названием Auto Dream, спроектированную для улучшения управления памятью агента путём имитации процессов человеческого REM-сна. Эта функция просматривает транскрипты прошлых сессий, выявляет релевантную информацию, отсекает устаревшие или противоречивые данные и консолидирует их в организованные файлы. Она работает в фоне, срабатывая спустя 24 часа и пять сессий с момента последней консолидации, и обеспечивает отсутствие конфликтов с помощью lock-файла. Этот подход нацелен на улучшение производительности за счёт более интеллектуального управления памятью, а не просто расширения контекстных окон. Некоторые комментаторы выражают скептицизм по поводу функции, предполагая, что она может привести к ненужному расходу токенов, и ставя под вопрос стиль самопродвижения ИИ. Другие в шутку предлагают дополнительные команды для управления галлюцинациями и ошибками ИИ.AutoDream — это функция для Claude Code, которая действует как «цикл сна» для его системы памяти, решая проблему разбухания памяти, привнесённую функцией Auto Memory. Auto Memory, выпущенная в v2.1.59, позволяет Claude делать заметки по проектам, но со временем эти заметки могут накапливать шум и противоречия, ухудшая производительность. AutoDream смягчает это, периодически консолидируя воспоминания, подобно человеческому REM-сну, через четырёхфазный процесс: Orient, Gather signal, Consolidate и Prune & index.Процесс AutoDream включает четыре фазы: Orient, которая сканирует существующую память для понимания сохранённых данных; Gather signal, которая выявляет устаревшие воспоминания и выполняет таргетированные поиски; Consolidate, которая объединяет новую информацию и разрешает противоречия; и Prune & index, которая поддерживает лаконичный индекс и удаляет устаревшие данные. Этот процесс срабатывает только спустя 24+ часов и 5+ сессий с момента последней консолидации, обеспечивая, что он не мешает активной работе.AutoDream работает в режиме только-чтение по отношению к коду проекта, изменяя только файлы памяти, а не сам кодовый код. Это обеспечивает безопасность и целостность кода при эффективном управлении памятью. Полный системный промпт для этой функции доступен на GitHub под agent-prompt-dream-memory-consolidation.md, обеспечивая прозрачность и позволяя пользователям понять его работу.

3. Sora Shutdown Announcements

3. Анонсы закрытия Sora

Sora официально закрывается. (Активность: 854): На изображении — скриншот анонса от официального аккаунта приложения Sora на X.com, сообщающего, что Sora закрывается. Сообщение благодарит пользователей за их вовлечённость и обещает больше деталей о сроках закрытия приложения и API. Это указывает на значительное изменение в жизненном цикле приложения, вероятно, из-за стратегических сдвигов или финансовой неустойчивости, как предполагают комментарии, отмечающие высокие издержки и низкую вовлечённость. Комментарии предполагают, что закрытие Sora вызвано её неустойчивой бизнес-моделью, особенно после изменений в обработке авторских прав, которые увеличили издержки и снизили вовлечённость пользователей. Приложение изначально было инновационным, но стало обузой.Chasemania подчёркивает неустойчивую природу Sora, указывая, что продукт столкнулся с высокими операционными издержками и низкой вовлечённостью пользователей. Попытка чрезмерно соблюдать законы об авторском праве привела к спаду интереса пользователей, превратив платформу в обузу, а не актив.Обсуждение затрагивает трудности баланса между соблюдением авторских прав и вовлечённостью пользователей. Изначальная привлекательность Sora была затмена её неспособностью поддерживать интерес пользователей при соблюдении строгих авторских регуляций, что в итоге способствовало её падению.Комментарии размышляют об изначальном успехе Sora и последующем спаде, подчёркивая трудность поддержания платформы, которая требует высоких операционных издержек и строгого соблюдения законов об авторском праве, что может отпугнуть вовлечённость пользователей и привести к финансовой нестабильности.Sora официально закрывается. (Активность: 1429): На изображении — анонс в социальных сетях от команды Sora о закрытии приложения Sora. Пост выражает благодарность сообществу и обещает вскоре предоставить больше деталей относительно сроков приложения и API и того, как пользователи могут сохранить свою работу. Это указывает на спланированный и структурированный процесс закрытия, нацеленный на минимизацию неудобств для пользователей. Комментарии отражают скептицизм по поводу влияния приложения и его базы пользователей, причём некоторые пользователи выражают удивление долговечностью приложения, учитывая его воспринимаемое отсутствие финансовой жизнеспособности.

AI Discords

Discord-сообщества по ИИ

Unfortunately, Discord shut down our access today. We will not bring it back in this form but we will be shipping the new AINews soon. Thanks for reading to here, it was a good run.

К сожалению, сегодня Discord отключил наш доступ. Мы не вернём его в этой форме, но скоро выпустим новый AINews. Спасибо, что дочитали до этого места — это был хороший путь.