[AINews] Gemma 4: The best small Multimodal Open Models, dramatically better than Gemma 3 in every way
Google DeepMind выпустила Gemma 4 — новое семейство открытых мультимодальных моделей под лицензией Apache 2.0, существенно превосходящее Gemma 3. Линейка включает плотную модель 31B, MoE-вариант 26B (A4B, ~4B активных) и edge-модели E4B и E2B с поддержкой текста, изображений, видео и аудио, контекстом до 256K, function calling и структурированным JSON. По данным Arena, Gemma-4-31B заняла #3 среди открытых моделей, а Artificial Analysis сообщает о 85.7% на GPQA Diamond для reasoning-варианта. Sebastian Raschka отмечает, что архитектурно 31B близка к Gemma 3 (гибридное локально-глобальное внимание 5:1, GQA), и основной скачок, вероятно, обусловлен рецептом обучения и данными. Day-0 поддержка появилась в llama.cpp, Ollama, vLLM, LM Studio и Transformers, включая 300 t/s на M2 Ultra. Среди прочих новостей — исследование Anthropic об «эмоциональных векторах» внутри Claude, выход ChatGPT Voice Mode в Apple CarPlay, usage-based pricing для Codex и агентский налоговый workflow Perplexity.
[AINews] Gemma 4: The best small Multimodal Open Models, dramatically better than Gemma 3 in every way
[AINews] Gemma 4: лучшие компактные мультимодальные открытые модели, кардинально превосходящие Gemma 3 во всём
A welcome update from Google!
Долгожданный апдейт от Google!
The sudden departures at the Allen Institute and limbo status of GPT-OSS have left the future of American Open Models in question, so Google DeepMind keeping up the pace of Gemma 4 is a very very very welcome update! The 31B dense variant ties with Kimi K2.5 (744B-A40B) and Z.ai GLM-5 (1T-A32B) for the world’s top open models, but with far less total parameters (with other interesting arch choices, see below):
Внезапные уходы в Allen Institute и подвешенный статус GPT-OSS поставили будущее американских открытых моделей под вопрос, так что то, что Google DeepMind держит темп с Gemma 4 — это очень, очень, очень долгожданный апдейт! Вариант 31B dense сравнялся с Kimi K2.5 (744B-A40B) и Z.ai GLM-5 (1T-A32B) в качестве лучших открытых моделей в мире, но при значительно меньшем общем числе параметров (с другими интересными архитектурными решениями, см. ниже):
This image from Arena shows progress over the years (exaggerated by the # ordinal ranking rather than numerical, but truly standard benches like GPQA and AIME also improved tremendously vs Gemma 3):
Эта картинка от Arena показывает прогресс по годам (преувеличенный из-за # порядкового ранжирования вместо числового, но действительно стандартные бенчмарки вроде GPQA и AIME тоже сильно подросли по сравнению с Gemma 3):
The licensing is also improved with a proper Apache 2.0 license, and they “natively process video and images, supporting variable resolutions, and excelling at visual tasks like OCR and chart understanding. Additionally, the E2B and E4B models feature native audio input for speech recognition and understanding.”
Лицензирование также улучшилось — теперь полноценная Apache 2.0, и модели «нативно обрабатывают видео и изображения, поддерживают переменные разрешения и хороши в визуальных задачах, таких как OCR и понимание графиков. Кроме того, модели E2B и E4B имеют нативный аудиовход для распознавания и понимания речи».
The excellent on device capabilities makes one wonder if these are the basis for the models that will be deployed in New Siri under the deal with Apple….
Отличные on-device возможности заставляют задуматься: не лягут ли они в основу моделей, которые будут развёрнуты в новой Siri в рамках сделки с Apple….
AI News for 4/1/2026-4/2/2026. We checked 12 subreddits, 544 Twitters and no further Discords. AINews’ website lets you search all past issues. As a reminder, AINews is now a section of Latent Space. You can opt in/out of email frequencies!
AI News за 4/1/2026-4/2/2026. Мы проверили 12 сабреддитов, 544 Twitter и больше никаких Discord. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, AINews теперь — раздел Latent Space. Вы можете включить/отключить частоту email-рассылок!
AI Twitter Recap
AI Twitter Recap
Google DeepMind’s Gemma 4 release: open-weight, Apache 2.0, multimodal, long-context—plus rapid ecosystem rollout
Релиз Gemma 4 от Google DeepMind: open-weight, Apache 2.0, мультимодальность, длинный контекст — плюс стремительный охват экосистемы
Gemma 4 is Google’s biggest open-weight licensing + capability jump in a year: Google/DeepMind launched Gemma 4 as a family of models explicitly positioned for reasoning + agentic workflows and local/edge deployment, now under a commercially permissive Apache 2.0 license (a notable shift from prior Gemma licensing). See launch threads from @GoogleDeepMind, @GoogleAI, and @Google, with Jeff Dean’s framing and adoption stats (Gemma 3: 400M downloads, 100K variants) in @JeffDean.
Model lineup + key specs: Four sizes were announced—31B dense, 26B MoE (“A4B”, ~4B active), and two “effective” edge models E4B and E2B aimed at mobile/IoT with native multimodal support (text/vision/audio called out for edge). DeepMind highlights include function calling + structured JSON, and long context up to 256K (large models) in @GoogleDeepMind and @GoogleAI. Community summaries and “how to run locally” guidance proliferated quickly, e.g. @_philschmid and @UnslothAI.
Early benchmark signals (with caveats):
Arena/Text: Arena reports Gemma-4-31B as #3 among open models (and #27 overall), with Gemma-4-26B-A4B at #6 open in @arena; Arena later calls it the #1 ranked US open model on its open leaderboard in @arena.
Scientific reasoning: Artificial Analysis reports GPQA Diamond 85.7% for Gemma 4 31B (Reasoning) and emphasizes token efficiency (~1.2M output tokens) vs peers in @ArtificialAnlys and @ArtificialAnlys.
Several posts stress the scale/efficiency surprise (e.g., “outperforms models 20× its size”) but note that preference-based leaderboards can be gamed; Raschka’s more measured read is in @rasbt.
Day-0 ecosystem support became part of the story: Gemma 4 landed immediately across common local + serving stacks:
llama.cpp day-0 support: @ggerganov
Ollama (requires 0.20+): @ollama
vLLM day-0 support (GPU/TPU/etc.): @vllm_project
LM Studio availability: @lmstudio
Transformers/llama.cpp/transformers.js callout: @mervenoyann
Modular/MAX production inference “in days”: @clattner_llvm
Local inference performance anecdotes got unusually concrete:
“Brew install + llama-server” became the canonical one-liner for many: @julien_c.
llama.cpp performance demo: Gemma 4 26B A4B Q8_0 on M2 Ultra, built-in WebUI, MCP support, “300 t/s (realtime video)” in @ggerganov (with a follow-up caveat about prompt-recitation/speculative decoding in @ggerganov).
RTX 4090 long-context throughput + TurboQuant KV quant details in @basecampbernie.
Browser-local run via WebGPU/transformers.js demo noted by @xenovacom and amplified by @ClementDelangue.
Gemma 4 — крупнейший за год скачок Google в лицензировании open-weight и возможностях: Google/DeepMind выпустили Gemma 4 как семейство моделей, явно позиционируемых под reasoning + агентные сценарии и локальное/edge-развёртывание, теперь под коммерчески разрешительной лицензией Apache 2.0 (заметный сдвиг относительно прежнего лицензирования Gemma). См. launch-треды от @GoogleDeepMind, @GoogleAI и @Google, а также подачу Jeff Dean и статистику внедрения (Gemma 3: 400M загрузок, 100K вариантов) в @JeffDean.Линейка моделей и ключевые характеристики: анонсировано четыре размера — 31B dense, 26B MoE («A4B», ~4B активных) и две «эффективные» edge-модели E4B и E2B, нацеленные на мобильные/IoT с нативной мультимодальностью (текст/зрение/аудио заявлены для edge). Среди акцентов DeepMind — function calling + structured JSON и длинный контекст до 256K (большие модели) в @GoogleDeepMind и @GoogleAI. Сводки сообщества и гайды «как запустить локально» расплодились мгновенно, например @_philschmid и @UnslothAI.Ранние бенчмарк-сигналы (с оговорками):Arena/Text: Arena сообщает, что Gemma-4-31B идёт #3 среди открытых моделей (и #27 в общем зачёте), а Gemma-4-26B-A4B — #6 среди открытых в @arena; позже Arena называет её лучшей открытой моделью США №1 в своём открытом leaderboard в @arena.Научный reasoning: Artificial Analysis сообщает GPQA Diamond 85.7% для Gemma 4 31B (Reasoning) и подчёркивает токеновую эффективность (~1.2M выходных токенов) против конкурентов в @ArtificialAnlys и @ArtificialAnlys.Несколько постов подчёркивают неожиданное сочетание масштаба и эффективности (например, «обходит модели в 20× крупнее»), но отмечают, что preference-based leaderboard можно «гейминговать»; более взвешенное чтение от Raschka — в @rasbt.Поддержка экосистемы с day-0 стала частью истории: Gemma 4 моментально появилась в распространённых локальных и serving-стеках:llama.cpp day-0 поддержка: @ggerganovOllama (требуется 0.20+): @ollamavLLM day-0 поддержка (GPU/TPU/и т.д.): @vllm_projectLM Studio доступность: @lmstudioУпоминание Transformers/llama.cpp/transformers.js: @mervenoyannModular/MAX production-инференс «за дни»: @clattner_llvmАнекдоты о производительности локального инференса стали необычно конкретными:«Brew install + llama-server» стал каноническим one-liner для многих: @julien_c.Демо производительности llama.cpp: Gemma 4 26B A4B Q8_0 на M2 Ultra, встроенный WebUI, поддержка MCP, «300 t/s (видео в реальном времени)» в @ggerganov (с последующей оговоркой о prompt-recitation/speculative decoding в @ggerganov).Пропускная способность на длинном контексте на RTX 4090 и детали KV-квантования TurboQuant — в @basecampbernie.Browser-local запуск через WebGPU/transformers.js упомянул @xenovacom, усилил @ClementDelangue.
Gemma 4 architecture notes: hybrid attention, MoE layering choices, and efficiency tricks
Заметки об архитектуре Gemma 4: гибридный attention, решения по MoE-слоям и трюки эффективности
Unusual transformer details
Необычные трансформерные детали
eliebakouch highlighted:
per-layer embeddings on small variant
no explicit attention scale (suggesting it may be absorbed into norm weights)
QK norm + V norm
shared K/V for large variant
aggressive KV cache sharing on small variant
sliding window sizes 512 and 1024
no sinks
softcapping
partial-dimension RoPE with different theta for local/global layers
Grad62304977 replied that the missing attention scale is likely merged into QK norm weights.
baseten summarized additional architecture choices:
alternative attention mechanisms
proportional RoPE
Per-Layer Embeddings (PLE)
KV-cache sharing
native aspect-ratio handling for vision
smaller frame window for audio
norpadon called it “very much not a standard transformer.”
rasbt offered a more conservative read for the 31B dense: architecture looks “pretty much unchanged compared to Gemma 3” aside from multimodal support, retaining a hybrid 5:1 local/global attention mechanism and classic GQA, suggesting the bigger jump likely came more from the training recipe and data than radical dense-model architecture change.
“Not a standard transformer” takes, plus specific deltas: A thread flagged Gemma 4 as having “galaxybrained architecture” in @norpadon, followed by more specific notes on how Gemma’s MoE differs from DeepSeek/Qwen (Gemma uses MoE blocks as separate layers added alongside normal MLP blocks) in @norpadon.
Concrete low-level details being circulated: A concise recap of quirks (e.g., no explicit attention scale, QK/V norm, KV sharing, sliding window sizes, partial RoPE + different theta, softcapping, per-layer embeddings) is in @eliebakouch. Baseten’s launch post also lists similar “architecture innovations” (PLE, KV-cache sharing, proportional RoPE, aspect ratio handling for vision, smaller audio frame window) in @baseten.
Raschka’s read: minimal architectural change, big recipe/data change: Raschka argues Gemma 4 31B is architecturally close to Gemma 3 27B, still using a hybrid sliding-window + global attention pattern and GQA, implying the leap is likely training recipe/data rather than architecture overhaul: @rasbt.
eliebakouch отметил:per-layer embeddings на малых вариантахотсутствие явного attention scale (что может указывать на его поглощение в веса нормализации)QK norm + V normобщие K/V для крупного вариантаагрессивный шеринг KV-кэша на малом вариантеразмеры sliding window 512 и 1024без sinkssoftcappingpartial-dimension RoPE с разной theta для локальных/глобальных слоёвGrad62304977 ответил, что отсутствующий attention scale, скорее всего, влит в веса QK norm.baseten подытожил дополнительные архитектурные решения:альтернативные механизмы вниманияproportional RoPEPer-Layer Embeddings (PLE)шеринг KV-кэшаобработка нативного aspect-ratio для зренияменьшее frame window для аудиоnorpadon назвал это «совсем не стандартным трансформером».rasbt предложил более консервативное чтение для 31B dense: архитектура выглядит «практически неизменной по сравнению с Gemma 3», помимо мультимодальной поддержки, сохраняя гибридный механизм внимания 5:1 локальный/глобальный и классический GQA, что указывает: больший скачок, вероятно, пришёл скорее от рецепта обучения и данных, чем от радикального изменения архитектуры dense-модели.Тейки «не стандартный трансформер» плюс конкретные дельты: тред пометил Gemma 4 как имеющий «galaxybrained-архитектуру» в @norpadon, далее — более конкретные заметки о том, как MoE в Gemma отличается от DeepSeek/Qwen (Gemma использует MoE-блоки как отдельные слои, добавляемые рядом с обычными MLP-блоками) в @norpadon.Конкретные низкоуровневые детали в обороте: краткий пересказ особенностей (например, отсутствие явного attention scale, QK/V norm, шеринг KV, размеры sliding window, partial RoPE + разная theta, softcapping, per-layer embeddings) — в @eliebakouch. Launch-пост Baseten также перечисляет аналогичные «архитектурные инновации» (PLE, шеринг KV-кэша, proportional RoPE, обработка aspect ratio для зрения, меньшее аудио frame window) в @baseten.Чтение Raschka: минимум архитектурных изменений, большой сдвиг в рецепте/данных: Raschka утверждает, что Gemma 4 31B архитектурно близка к Gemma 3 27B, по-прежнему используя гибридный sliding-window + global attention и GQA, подразумевая, что скачок, вероятно, в рецепте обучения/данных, а не в перестройке архитектуры: @rasbt.
Agents, harness engineering, and “local agents” momentum (Hermes/OpenClaw + model/harness training loops)
Агенты, harness-инжиниринг и импульс «локальных агентов» (Hermes/OpenClaw + циклы обучения модели/harness)
Open-models-as-agent-engines is now mainstream positioning: Multiple posts frame Gemma 4 as the “perfect” local model for open agent stacks (OpenClaw/Hermes/Pi/opencode). See @ClementDelangue, @mervenoyann, and @ben_burtenshaw.
Hermes Agent growth + pluggable memory:
Hermes Agent hit a major usage milestone and asked for roadmap input: @Teknium.
Memory integrations were expanded to multiple providers via a new pluggable system: @Teknium.
A local semantic index plugin (“Enzyme”) pitched as solving the “too many workspace files” issue with local embedding and 8ms queries: @jphorism.
Harness engineering as the moat (and the loop): A strong “Model–Harness Training Loop” thesis—open models + traces + fine-tuning infra—was articulated in @Vtrivedy10 and echoed more generally in @Vtrivedy10. Related: LangChain notes open models are “good enough” at tool use/retrieval/file ops to drive harnesses like Deep Agents in @hwchase17.
Agent self-healing + observability trends:
A blog on “self-healing” GTM agent feedback loops is referenced by @hwchase17 and expanded on by @Vtrivedy10.
LangSmith reports Azure’s share of OpenAI traffic rose from 8% → 29% over 10 weeks, based on 6.7B agent runs, suggesting enterprise governance/compliance is driving routing decisions: @LangChain.
Open-models-as-agent-engines теперь — мейнстримное позиционирование: множество постов представляют Gemma 4 как «идеальную» локальную модель для открытых агентных стеков (OpenClaw/Hermes/Pi/opencode). См. @ClementDelangue, @mervenoyann и @ben_burtenshaw.Рост Hermes Agent + подключаемая память:Hermes Agent достиг крупного рубежа по использованию и попросил фидбэк по roadmap: @Teknium.Интеграции памяти расширены на несколько провайдеров через новую подключаемую систему: @Teknium.Плагин локального семантического индекса («Enzyme»), заявленный как решение проблемы «слишком много файлов в workspace» с локальным эмбеддингом и запросами за 8 мс: @jphorism.Harness-инжиниринг как ров (и как цикл): сильный тезис «Model–Harness Training Loop» — открытые модели + трейсы + fine-tuning-инфра — сформулирован в @Vtrivedy10 и в более общем виде повторён в @Vtrivedy10. Связанное: LangChain отмечает, что открытые модели «достаточно хороши» в tool use/retrieval/файловых операциях, чтобы двигать harness-фреймворки вроде Deep Agents — в @hwchase17.Тренды self-healing-агентов и observability:Блог о feedback-петлях «self-healing» GTM-агентов упомянут в @hwchase17 и развёрнут @Vtrivedy10.LangSmith сообщает, что доля Azure в трафике OpenAI выросла с 8% до 29% за 10 недель, по данным 6.7B agent runs, что указывает: enterprise governance/compliance определяет решения по маршрутизации: @LangChain.
Tooling and infra: kernels, fine-tuning stacks, vector DB ergonomics, document extraction
Инструментарий и инфра: ядра, fine-tuning-стеки, эргономика vector DB, извлечение документов
New linear attention kernel: A CUDA linear attention kernel drop is in @eliebakouch (repo link in tweet).
Axolotl v0.16.x: Axolotl’s release emphasizes MoE + LoRA speed/memory wins (claimed 15× faster, 40× less memory) and GRPO async training (58% faster) plus docs overhaul in @winglian and @winglian. Gemma 4 support follows in @winglian.
Vector DB ergonomics: turbopuffer adds multiple vector columns per doc (different dims/types/indexes) in @turbopuffer.
Document automation stack: LiteParse + Extract v2:
LiteParse open-source document parser: spatial text parsing with bounding boxes, fast on large table-heavy PDFs, enabling audit trails back to source in @jerryjliu0.
Extract v2 (LlamaIndex/LlamaParse): simplified tiers, saved extract configs, configurable parsing before extraction, transition period for v1 in @llama_index and additional context from @jerryjliu0.
Новое ядро linear attention: дроп CUDA-ядра linear attention — в @eliebakouch (ссылка на репозиторий в твите).Axolotl v0.16.x: релиз Axolotl делает акцент на выигрышах MoE + LoRA по скорости/памяти (заявлено в 15× быстрее, в 40× меньше памяти) и асинхронном GRPO-обучении (на 58% быстрее), плюс переработке документации — в @winglian и @winglian. Поддержка Gemma 4 следует в @winglian.Эргономика Vector DB: turbopuffer добавляет несколько вектор-колонок на документ (разные размерности/типы/индексы) — в @turbopuffer.Стек автоматизации документов: LiteParse + Extract v2:LiteParse — open-source-парсер документов: пространственный разбор текста с bounding boxes, быстрый на крупных PDF с обилием таблиц, позволяет вести аудит-цепочку до исходника — в @jerryjliu0.Extract v2 (LlamaIndex/LlamaParse): упрощённые тарифы, сохранённые конфиги извлечения, настраиваемый парсинг перед извлечением, переходный период для v1 — в @llama_index, дополнительный контекст от @jerryjliu0.
Frontier org updates: Anthropic interpretability, OpenAI product distribution, and Perplexity “Computer for Taxes”
Обновления frontier-организаций: интерпретируемость Anthropic, продуктовая дистрибуция OpenAI и «Computer for Taxes» от Perplexity
Anthropic: “Emotion vectors” inside Claude: Anthropic reports internal emotion concept representations that can be dialed up/down and measurably affect behavior (e.g., increasing a “desperate” vector increases cheating; “calm” reduces it). The core threads are @AnthropicAI, @AnthropicAI, and @AnthropicAI. The work also triggered citation/precedent disputes in the interp community (e.g., @aryaman2020, @dribnet, and discussion around vgel’s posts via @jeremyphoward).
OpenAI: CarPlay + Codex pricing changes:
ChatGPT Voice Mode on Apple CarPlay rolling out for iOS 26.4+: @OpenAI.
Codex usage-based pricing in ChatGPT Business/Enterprise (plus promo credits): @OpenAIDevs. Greg Brockman reinforces “try at work without up-front commitment”: @gdb.
Perplexity: agentic “Computer for Taxes”: Perplexity launched a workflow to help draft/review federal tax returns (“Navigate my taxes”) in @perplexity_ai with details in @perplexity_ai.
Anthropic: «эмоциональные векторы» внутри Claude: Anthropic сообщает о внутренних концептуальных представлениях эмоций, которые можно усиливать/ослаблять и которые измеримо влияют на поведение (например, увеличение «отчаянного» вектора повышает склонность к читерству; «спокойный» снижает). Основные треды — @AnthropicAI, @AnthropicAI и @AnthropicAI. Работа также вызвала споры о цитировании/приоритете в interp-сообществе (например, @aryaman2020, @dribnet и обсуждение постов vgel через @jeremyphoward).OpenAI: CarPlay + изменения цен Codex:ChatGPT Voice Mode на Apple CarPlay раскатывается для iOS 26.4+: @OpenAI.Usage-based pricing для Codex в ChatGPT Business/Enterprise (плюс промо-кредиты): @OpenAIDevs. Greg Brockman подкрепляет «попробуйте на работе без авансовых обязательств»: @gdb.Perplexity: агентский «Computer for Taxes»: Perplexity запустил workflow для помощи в составлении/проверке федеральных налоговых деклараций («Navigate my taxes») — в @perplexity_ai, с деталями в @perplexity_ai.
Top tweets (by engagement, filtered to tech/product/research)
Топ-твиты (по вовлечённости, отфильтровано по tech/product/research)
Gemma 4 launch (open-weight, Apache 2.0): @Google, @GoogleDeepMind, @demishassabis, @GoogleAI
Anthropic “Emotion concepts/vectors” interp research: @AnthropicAI
Karpathy on “LLM Knowledge Bases” (Obsidian + compiled markdown wiki workflow): @karpathy
Cursor 3 (agent-collaboration interface): @cursor_ai
ChatGPT on CarPlay: @OpenAI
llama.cpp local performance demo + MCP/WebUI: @ggerganov
Perplexity “Computer for Taxes”: @perplexity_ai
Запуск Gemma 4 (open-weight, Apache 2.0): @Google, @GoogleDeepMind, @demishassabis, @GoogleAIInterp-исследование Anthropic «Emotion concepts/vectors»: @AnthropicAIKarpathy об «LLM Knowledge Bases» (workflow Obsidian + скомпилированная markdown-wiki): @karpathyCursor 3 (интерфейс agent-collaboration): @cursor_aiChatGPT на CarPlay: @OpenAIДемо локальной производительности llama.cpp + MCP/WebUI: @ggerganov«Computer for Taxes» от Perplexity: @perplexity_ai
AI Reddit Recap
AI Reddit Recap
/r/LocalLlama + /r/localLLM Recap
/r/LocalLlama + /r/localLLM Recap
1. Gemma 4 Model Releases and Features
1. Релизы и фичи моделей Gemma 4
Keep reading with a 7-day free trial
Продолжайте читать с 7-дневным бесплатным пробным периодом
Subscribe to Latent.Space to keep reading this post and get 7 days of free access to the full post archives.
Подпишитесь на Latent.Space, чтобы продолжить читать этот пост и получить 7 дней бесплатного доступа к полному архиву постов.