[AINews] Gemma 4: The best small Multimodal Open Models, dramatically better than Gemma 3 in every way

[AINews] Gemma 4: лучшие компактные мультимодальные открытые модели, кардинально превосходящие Gemma 3 во всём

Долгожданный апдейт от Google!

Внезапные уходы в Allen Institute и подвешенный статус GPT-OSS поставили будущее американских открытых моделей под вопрос, так что то, что Google DeepMind держит темп с Gemma 4 — это очень, очень, очень долгожданный апдейт! Вариант 31B dense сравнялся с Kimi K2.5 (744B-A40B) и Z.ai GLM-5 (1T-A32B) в качестве лучших открытых моделей в мире, но при значительно меньшем общем числе параметров (с другими интересными архитектурными решениями, см. ниже):

Эта картинка от Arena показывает прогресс по годам (преувеличенный из-за # порядкового ранжирования вместо числового, но действительно стандартные бенчмарки вроде GPQA и AIME тоже сильно подросли по сравнению с Gemma 3):

Лицензирование также улучшилось — теперь полноценная Apache 2.0, и модели «нативно обрабатывают видео и изображения, поддерживают переменные разрешения и хороши в визуальных задачах, таких как OCR и понимание графиков. Кроме того, модели E2B и E4B имеют нативный аудиовход для распознавания и понимания речи».

Отличные on-device возможности заставляют задуматься: не лягут ли они в основу моделей, которые будут развёрнуты в новой Siri в рамках сделки с Apple….

AI News за 4/1/2026-4/2/2026. Мы проверили 12 сабреддитов, 544 Twitter и больше никаких Discord. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, AINews теперь — раздел Latent Space. Вы можете включить/отключить частоту email-рассылок!

AI Twitter Recap

Релиз Gemma 4 от Google DeepMind: open-weight, Apache 2.0, мультимодальность, длинный контекст — плюс стремительный охват экосистемы

Gemma 4 — крупнейший за год скачок Google в лицензировании open-weight и возможностях: Google/DeepMind выпустили Gemma 4 как семейство моделей, явно позиционируемых под reasoning + агентные сценарии и локальное/edge-развёртывание, теперь под коммерчески разрешительной лицензией Apache 2.0 (заметный сдвиг относительно прежнего лицензирования Gemma). См. launch-треды от @GoogleDeepMind, @GoogleAI и @Google, а также подачу Jeff Dean и статистику внедрения (Gemma 3: 400M загрузок, 100K вариантов) в @JeffDean.Линейка моделей и ключевые характеристики: анонсировано четыре размера — 31B dense, 26B MoE («A4B», ~4B активных) и две «эффективные» edge-модели E4B и E2B, нацеленные на мобильные/IoT с нативной мультимодальностью (текст/зрение/аудио заявлены для edge). Среди акцентов DeepMind — function calling + structured JSON и длинный контекст до 256K (большие модели) в @GoogleDeepMind и @GoogleAI. Сводки сообщества и гайды «как запустить локально» расплодились мгновенно, например @_philschmid и @UnslothAI.Ранние бенчмарк-сигналы (с оговорками):Arena/Text: Arena сообщает, что Gemma-4-31B идёт #3 среди открытых моделей (и #27 в общем зачёте), а Gemma-4-26B-A4B — #6 среди открытых в @arena; позже Arena называет её лучшей открытой моделью США №1 в своём открытом leaderboard в @arena.Научный reasoning: Artificial Analysis сообщает GPQA Diamond 85.7% для Gemma 4 31B (Reasoning) и подчёркивает токеновую эффективность (~1.2M выходных токенов) против конкурентов в @ArtificialAnlys и @ArtificialAnlys.Несколько постов подчёркивают неожиданное сочетание масштаба и эффективности (например, «обходит модели в 20× крупнее»), но отмечают, что preference-based leaderboard можно «гейминговать»; более взвешенное чтение от Raschka — в @rasbt.Поддержка экосистемы с day-0 стала частью истории: Gemma 4 моментально появилась в распространённых локальных и serving-стеках:llama.cpp day-0 поддержка: @ggerganovOllama (требуется 0.20+): @ollamavLLM day-0 поддержка (GPU/TPU/и т.д.): @vllm_projectLM Studio доступность: @lmstudioУпоминание Transformers/llama.cpp/transformers.js: @mervenoyannModular/MAX production-инференс «за дни»: @clattner_llvmАнекдоты о производительности локального инференса стали необычно конкретными:«Brew install + llama-server» стал каноническим one-liner для многих: @julien_c.Демо производительности llama.cpp: Gemma 4 26B A4B Q8_0 на M2 Ultra, встроенный WebUI, поддержка MCP, «300 t/s (видео в реальном времени)» в @ggerganov (с последующей оговоркой о prompt-recitation/speculative decoding в @ggerganov).Пропускная способность на длинном контексте на RTX 4090 и детали KV-квантования TurboQuant — в @basecampbernie.Browser-local запуск через WebGPU/transformers.js упомянул @xenovacom, усилил @ClementDelangue.

Заметки об архитектуре Gemma 4: гибридный attention, решения по MoE-слоям и трюки эффективности

Необычные трансформерные детали

eliebakouch отметил:per-layer embeddings на малых вариантахотсутствие явного attention scale (что может указывать на его поглощение в веса нормализации)QK norm + V normобщие K/V для крупного вариантаагрессивный шеринг KV-кэша на малом вариантеразмеры sliding window 512 и 1024без sinkssoftcappingpartial-dimension RoPE с разной theta для локальных/глобальных слоёвGrad62304977 ответил, что отсутствующий attention scale, скорее всего, влит в веса QK norm.baseten подытожил дополнительные архитектурные решения:альтернативные механизмы вниманияproportional RoPEPer-Layer Embeddings (PLE)шеринг KV-кэшаобработка нативного aspect-ratio для зренияменьшее frame window для аудиоnorpadon назвал это «совсем не стандартным трансформером».rasbt предложил более консервативное чтение для 31B dense: архитектура выглядит «практически неизменной по сравнению с Gemma 3», помимо мультимодальной поддержки, сохраняя гибридный механизм внимания 5:1 локальный/глобальный и классический GQA, что указывает: больший скачок, вероятно, пришёл скорее от рецепта обучения и данных, чем от радикального изменения архитектуры dense-модели.Тейки «не стандартный трансформер» плюс конкретные дельты: тред пометил Gemma 4 как имеющий «galaxybrained-архитектуру» в @norpadon, далее — более конкретные заметки о том, как MoE в Gemma отличается от DeepSeek/Qwen (Gemma использует MoE-блоки как отдельные слои, добавляемые рядом с обычными MLP-блоками) в @norpadon.Конкретные низкоуровневые детали в обороте: краткий пересказ особенностей (например, отсутствие явного attention scale, QK/V norm, шеринг KV, размеры sliding window, partial RoPE + разная theta, softcapping, per-layer embeddings) — в @eliebakouch. Launch-пост Baseten также перечисляет аналогичные «архитектурные инновации» (PLE, шеринг KV-кэша, proportional RoPE, обработка aspect ratio для зрения, меньшее аудио frame window) в @baseten.Чтение Raschka: минимум архитектурных изменений, большой сдвиг в рецепте/данных: Raschka утверждает, что Gemma 4 31B архитектурно близка к Gemma 3 27B, по-прежнему используя гибридный sliding-window + global attention и GQA, подразумевая, что скачок, вероятно, в рецепте обучения/данных, а не в перестройке архитектуры: @rasbt.

Агенты, harness-инжиниринг и импульс «локальных агентов» (Hermes/OpenClaw + циклы обучения модели/harness)

Open-models-as-agent-engines теперь — мейнстримное позиционирование: множество постов представляют Gemma 4 как «идеальную» локальную модель для открытых агентных стеков (OpenClaw/Hermes/Pi/opencode). См. @ClementDelangue, @mervenoyann и @ben_burtenshaw.Рост Hermes Agent + подключаемая память:Hermes Agent достиг крупного рубежа по использованию и попросил фидбэк по roadmap: @Teknium.Интеграции памяти расширены на несколько провайдеров через новую подключаемую систему: @Teknium.Плагин локального семантического индекса («Enzyme»), заявленный как решение проблемы «слишком много файлов в workspace» с локальным эмбеддингом и запросами за 8 мс: @jphorism.Harness-инжиниринг как ров (и как цикл): сильный тезис «Model–Harness Training Loop» — открытые модели + трейсы + fine-tuning-инфра — сформулирован в @Vtrivedy10 и в более общем виде повторён в @Vtrivedy10. Связанное: LangChain отмечает, что открытые модели «достаточно хороши» в tool use/retrieval/файловых операциях, чтобы двигать harness-фреймворки вроде Deep Agents — в @hwchase17.Тренды self-healing-агентов и observability:Блог о feedback-петлях «self-healing» GTM-агентов упомянут в @hwchase17 и развёрнут @Vtrivedy10.LangSmith сообщает, что доля Azure в трафике OpenAI выросла с 8% до 29% за 10 недель, по данным 6.7B agent runs, что указывает: enterprise governance/compliance определяет решения по маршрутизации: @LangChain.

Инструментарий и инфра: ядра, fine-tuning-стеки, эргономика vector DB, извлечение документов

Новое ядро linear attention: дроп CUDA-ядра linear attention — в @eliebakouch (ссылка на репозиторий в твите).Axolotl v0.16.x: релиз Axolotl делает акцент на выигрышах MoE + LoRA по скорости/памяти (заявлено в 15× быстрее, в 40× меньше памяти) и асинхронном GRPO-обучении (на 58% быстрее), плюс переработке документации — в @winglian и @winglian. Поддержка Gemma 4 следует в @winglian.Эргономика Vector DB: turbopuffer добавляет несколько вектор-колонок на документ (разные размерности/типы/индексы) — в @turbopuffer.Стек автоматизации документов: LiteParse + Extract v2:LiteParse — open-source-парсер документов: пространственный разбор текста с bounding boxes, быстрый на крупных PDF с обилием таблиц, позволяет вести аудит-цепочку до исходника — в @jerryjliu0.Extract v2 (LlamaIndex/LlamaParse): упрощённые тарифы, сохранённые конфиги извлечения, настраиваемый парсинг перед извлечением, переходный период для v1 — в @llama_index, дополнительный контекст от @jerryjliu0.

Обновления frontier-организаций: интерпретируемость Anthropic, продуктовая дистрибуция OpenAI и «Computer for Taxes» от Perplexity

Anthropic: «эмоциональные векторы» внутри Claude: Anthropic сообщает о внутренних концептуальных представлениях эмоций, которые можно усиливать/ослаблять и которые измеримо влияют на поведение (например, увеличение «отчаянного» вектора повышает склонность к читерству; «спокойный» снижает). Основные треды — @AnthropicAI, @AnthropicAI и @AnthropicAI. Работа также вызвала споры о цитировании/приоритете в interp-сообществе (например, @aryaman2020, @dribnet и обсуждение постов vgel через @jeremyphoward).OpenAI: CarPlay + изменения цен Codex:ChatGPT Voice Mode на Apple CarPlay раскатывается для iOS 26.4+: @OpenAI.Usage-based pricing для Codex в ChatGPT Business/Enterprise (плюс промо-кредиты): @OpenAIDevs. Greg Brockman подкрепляет «попробуйте на работе без авансовых обязательств»: @gdb.Perplexity: агентский «Computer for Taxes»: Perplexity запустил workflow для помощи в составлении/проверке федеральных налоговых деклараций («Navigate my taxes») — в @perplexity_ai, с деталями в @perplexity_ai.

Топ-твиты (по вовлечённости, отфильтровано по tech/product/research)

Запуск Gemma 4 (open-weight, Apache 2.0): @Google, @GoogleDeepMind, @demishassabis, @GoogleAIInterp-исследование Anthropic «Emotion concepts/vectors»: @AnthropicAIKarpathy об «LLM Knowledge Bases» (workflow Obsidian + скомпилированная markdown-wiki): @karpathyCursor 3 (интерфейс agent-collaboration): @cursor_aiChatGPT на CarPlay: @OpenAIДемо локальной производительности llama.cpp + MCP/WebUI: @ggerganov«Computer for Taxes» от Perplexity: @perplexity_ai

AI Reddit Recap

/r/LocalLlama + /r/localLLM Recap

1. Релизы и фичи моделей Gemma 4

Продолжайте читать с 7-дневным бесплатным пробным периодом

Подпишитесь на Latent.Space, чтобы продолжить читать этот пост и получить 7 дней бесплатного доступа к полному архиву постов.