[AINews] How to land a job at a frontier lab (on Pretraining)

[AINews] Как устроиться на работу в frontier-лабораторию (на Pretraining)

тихий день перед google i/o позволяет нам усилить заметный блогпост

Сегодня день перед Google I/O, когда ожидается превью следующих крупных релизов Gemini, и неделя у конкурентов, вероятно, будет спокойной, хотя и Anthropic, и OpenAI сегодня отметились небольшими успехами, а Cursor выпустил свою первую модель SpaceXAI с интересными деталями про синтетические данные/reward hacking и продолженный претрейнинг с Muon. Однако вероятным заглавным сюжетом дня надолго станут заметки Влада Файнберга о подготовке к работе (понятно, что центрированные на Google/TPU), конкретно о Pretraining:

В частности, он ссылается на прошлогодний Scaling handbook от DeepMind, и работа с ядрами — важная часть:

Главное узкое место и внутренний цикл всей работы с LLM — это performance-инженерия, делающая абстрактные, логические изменения LLM практически исполнимыми. Каждому проекту нужны люди, способные тюнить LLM на уровне ядер (kernel level). Этот навык можно освоить, и он — самый прямой путь в лаборатории.

Неожиданно упоминаются DSL для разработки ядер, краткая история которых доступна:

Для человека на этом уровне стека он, что удивительно, также выделяет агентные направления, такие как autoresearch и AlphaEvolve. Заканчивает он на удивление простым упражнением:

Но настоящий тест при найме — в последних абзацах:

Выведите законы Chinchilla для этого; посмотрите, как они различаются для dense и MoE архитектур.Закодируйте решение с нуля на jax вручную, если действительно хотите получить учебный опыт.Далее, при условии что вы использовали jax.lax.ragged_dot для MoE-слоя; напишите pallas kernel, который обгоняет ragged dot при F > D за счёт фьюжна up/down-проекций.Найдите конфигурацию, в которой вы заметите измеримое ускорение forward pass, и объясните, почему оно там есть.

Если вы можете научить этому остальное сообщество, мы будем рады представить вас как спикера воркшопа.

AI News за 16.05.2026—18.05.2026. Мы проверили 12 сабреддитов, 544 Твиттера и больше никаких Discord. Сайт AINews позволяет искать по всем прошлым выпускам. Напоминаем, что AINews теперь является разделом Latent Space. Вы можете подписаться/отписаться от частоты писем!

Обзор AI-Твиттера

Coding-агенты, Agent Ops и переход от чата к автоматизации

Инфраструктура агентов сходится к observability + петлям автоматизации: несколько постов указывают на созревающий стек для продакшен-агентов. LangSmith Engine позиционируется как недостающая CI/CD-петля для агентов, автоматически детектирующая сбои из продакшен-трейсов, кластеризующая проблемы и черновики фиксов/evals; параллельно LangChain выделяет SmithDB как целевой data-слой для observability/eval-нагрузок агентов с низкой латентностью запросов по большим трейсам и поддержкой self-hosting/мульти-облака @krishdpi, @LangChain. Параллельно Cognition запустила Devin Auto-Triage, позиционируя его как постоянно работающего «first responder» для багов, алертов и инцидентов с долгосрочной памятью, структурой manager/subagent и генерацией PR; ранние пользователи вроде Modal называют его более полезным, чем типичные самописные триаж-автоматизации @cognition, @walden_yan, @russelljkaplan. Общий паттерн — меньше «чата с агентом» и больше постоянной автоматизации, привязанной к трейсам, памяти и evals.Операционные паттерны для coding-агентов становятся конкретнее: Anthropic опубликовала best practices для запуска Claude Code на монорепо в несколько миллионов строк, legacy-системах и микросервисах, добавив диагностику prompt cache и сделав Fast mode по умолчанию на Opus 4.7 для coding-воркфлоу с меньшей латентностью @ClaudeDevs, @ClaudeDevs, @ClaudeDevs. OpenAI расширила воркфлоу Codex Zoom-плагином, мобильным/десктопным удалённым выполнением и поддержкой «keep your Mac awake», чтобы долгие задачи продолжались из мобильного приложения @coreyching, @OpenAIDevs. Microsoft вывела удалённое управление для GitHub Copilot CLI и VS Code в GA @code. Общее направление продукта очевидно: фоновое выполнение, удалённое супервайзирование и fan-out агентов, а не просто интерактивные completions.Практики сходятся к одной ментальной модели: ограничивать, верифицировать, декомпозировать: формулировка François Chollet о coding-агентах как «слепых белках», которым нужны аккуратно расставленные верифицируемые ограничения, кратко совпадает с более широким сдвигом к harness-центричной инженерии @fchollet. Сопутствующие советы: активно использовать asserts в Python/ML-коде для быстрого падения @gabriberton, строить как end-to-end, так и инкрементальные evals для долгоживущих агентов @palashshah и структурировать мультиагентные системы по этапам зрелости, а не максимизировать число агентов раньше времени @shannholmberg. Практический консенсус: качество агентов зависит больше от поверхностей верификации, декомпозиции и петель обратной связи, чем от одной лишь хитрости промптов.

Релизы моделей, сдвиги в рейтингах и frontier coding-модели

Composer 2.5 от Cursor — главный запуск модели в этой подборке: Cursor анонсировал Composer 2.5 как свою сильнейшую модель на данный момент, делая упор на лучшую устойчивую работу над долгими задачами и более надёжное следование инструкциям, а затем раскрыл более глубокий стратегический ход: тренировку гораздо большей модели с нуля с «SpaceXAI», используя в 10× больше суммарного компьюта и доступ к миллионам H100-эквивалентов Colossus 2 @cursor_ai, @cursor_ai. Реакция сообщества сосредоточена на её профиле эффективности/цена-производительность и сильном качестве кода; пользователи называют её серьёзным шагом вперёд по сравнению с Composer 2 и отмечают лучшее поведение в коллаборации в сообщениях/апдейтах, а не только прирост в сухих бенчмарках @mntruell, @jonas_nelle, @kimmonismus.Линейка Qwen от Alibaba продолжает подниматься: Qwen3.7 Preview появился в Arena: Qwen3.7 Max Preview занял #13 в общем зачёте по тексту, в том числе #7 Math, #9 Expert, #9 Software & IT и #10 Coding; Qwen3.7 Plus Preview достиг #16 в общем зачёте по vision, выводя Alibaba на #6 лабораторию по тексту и #5 по vision по подсчётам Arena @arena, @Alibaba_Qwen. Это подкрепляет более широкий тренд: китайские лаборатории стабильно прогрессируют как в общих, так и в специализированных аренах, а не только в заголовочных чат-бенчмарках.Открытые и мультимодальные релизы продолжают появляться ниже мега-frontier: ByteDance выложил в open source Lance, описанный как единая мультимодальная модель для понимания, генерации и редактирования изображений/видео, с компонентами 3B video + 3B image + 3B decoder @bdsqlsz. Perplexity выпустила небольшую открытую многоязычную ColBERT-модель как continued-training-вариант pplx-embed-0.6b с заметками об использовании MaxSim kernel @bo_wangbo. Это не frontier-масштаб запусков, но технически важно, поскольку нацелено на качество retrieval и нативную мультимодальную унификацию — две области, где открытый тулинг всё ещё имеет значение.

Инференс, развёртывание и локальный/enterprise-сервинг

Локальный инференс получил заметный прирост скорости благодаря MTP в llama.cpp: Георгий Герганов анонсировал поддержку MTP для семейства Qwen3.6 в llama.cpp, назвав это значимой вехой для локального AI @ggerganov. Последующие отчёты показали ощутимые приросты пропускной способности, в том числе у Qwen3.6-27B dense скачок с 25 tok/s до 45 tok/s (+78%) на A10G с флагами draft-MTP @victormustar. Это важно, потому что сокращает разрыв в юзабилити между локальными и хостовыми coding/универсальными ассистентами на массовом железе.Импульс enterprise/on-prem-развёртываний остаётся сильным: Hugging Face и Dell продвигали one-click-доступ к моделям, включая Kimi K2.6, DeepSeek V4 Pro/Flash, GLM 5.1 и MiniMax M2.7, через Dell Enterprise Hub, оптимизированный под PowerEdge XE9780 с NVIDIA B300 @jeffboudier. Clement Delangue утверждал, что on-prem/локальный AI на основе open-source моделей станет важным ответом на нехватку GPU, с преимуществами в стоимости, латентности и безопасности/контроле данных @ClementDelangue.Кросс-аппаратная оптимизация инференса становится сложнее: Zyphra опубликовала end-to-end бенчмарки инференса на AMD Instinct MI355X, заявляя сильное превосходство над базовой линией AMD и сокращение разрыва с NVIDIA B200 при сервинге Kimi K2.6, GLM 5.1 и DeepSeek V3.2 @ZyphraAI. В дополнение Quentin Anthony опубликовал полезный тред о том, почему в бенчмарках нужно различать потолки железа и текущее состояние софта, утверждая, что многие кросс-стек-сравнения смешивают вендорские максимумы, достижимую производительность GEMM и зрелость софта @QuentinAnthon15. Для инфра-инженеров это сильное напоминание относиться к графикам бенчмарков как к зависящим от стека снимкам, а не абсолютным истинам.

Исследования: MoE, RL/смешивание данных, поиск архитектур и оценка агентов

Несколько статей на этой неделе сфокусированы на лучших сигналах обучения, а не на бóльших моделях: краткое изложение «On Training in Imagination» LeCun/Timor et al. подчёркивает, что в model-based RL более гладкие world/reward-модели с низкими константами Липшица сужают границы ошибок; reward-модели часто масштабируются быстрее, чем dynamics-модели; и много шумных reward-меток может побить меньше высококачественных, тогда как смещённые reward особенно опасны @TheTuringPost. Отдельный тред о Pedagogical RL утверждает, что даже корректные reasoning-трейсы могут быть плохими данными для обучения, если они слишком неожиданны относительно политики ученика; метод использует привилегированного учителя плюс spike-aware rewards и surprisal-gated imitation для генерации траекторий, на которых ученик действительно может учиться @blc_16, @NoahZiems.Архитектурные и scaling-исследования остаются предельно практичными: работа Meta AIRA по агентному поиску нейроархитектур привлекла внимание тем, что обгоняет Llama 3.2 на масштабах 350M, 1B и 3B в рамках бюджета компьюта в 24 часа, разделяя поиск на planning-агента (AIRA-Compose) и implementation-агента (AIRA-Design) @omarsar0, @dair_ai. Отдельно «Slicing and Dicing MoEs» сообщает о тренировке более 2000 MoE-LM и приходит к выводу, что значительная часть пространства проектирования сводится к размеру эксперта и числу экспертов, а не к более шумным дискуссиям вокруг прочих ручек настройки MoE @margs_li.Отбор данных и методология evals выходят в first-class research-проблемы: On-Policy Mix нацелен на нерешённую задачу подбора правильной смеси данных при постоянно сдвигающихся распределениях, с применимостью к pretraining, midtraining и instruction tuning @michahu8. По evals Cameron Wolfe опубликовал гид по оценке агентов, а более длинная сводка с Zhihu утверждает, что эра агентов требует измерения интеллекта делегирования — когда искать, кодировать, рассуждать или вызывать инструменты, а не только статичных знаний или внутреннего chain-of-thought @cwolferesearch, @ZhihuFrontier. Это близко совпадает с текущей продуктовой практикой: самое трудное всё чаще — это выбор инструментов и политика верификации, а не только текстовое рассуждение.

Движения в экосистеме: SDK, захват выручки и открытый тулинг

Anthropic купила Stainless: Anthropic объявила о приобретении Stainless — платформы SDK и MCP-серверов, на которой работают SDK Anthropic с ранних дней API @AnthropicAI. Стратегически это указывает на продолжающуюся вертикальную интеграцию вокруг эргономики разработчика, генерации SDK и поверхностей протоколов, а не только качества модели.Концентрация выручки вокруг провайдеров foundation-моделей, похоже, растёт: в одном посте утверждается, что доля Anthropic и OpenAI в выручке от AI-моделей/приложений, генерируемой 34 топ-AI-стартапами, растёт — сигнал того, что экосистема может консолидироваться экономически, даже несмотря на расширение выбора моделей @amir.Тулинг и кураторство развёртываний остаются востребованными: подборка The Turing Post из 13 open-source инструментов для развёртывания foundation-моделей — включая vLLM, TGI, SGLang, llama.cpp, Ollama, BentoML, Kubeflow, MLflow и другие — оказалась одной из наиболее практически полезных кураторских публикаций в подборке @TheTuringPost. Тем временем Papers With Code возрождается с парсингом методов, лидербордов и SOTA-трекингом при помощи AI-агентов, подчёркивая возобновлённый фокус на обнаружимости исследований @NielsRogge.

Топ-твиты (по вовлечённости)

Composer 2.5 от Cursor + рывок к более крупному обучению: продуктовой новостью с самым высоким сигналом и вовлечённостью стали Composer 2.5 и раскрытие Cursor о том, что компания тренирует с нуля гораздо большую модель с в 10× бóльшим компьютом @cursor_ai, @cursor_ai.Продуктовые апдейты OpenAI/Anthropic с эффектом для разработчиков: Sam Altman сказал, что ChatGPT значительно улучшился с последним апдейтом @sama, а Anthropic выкатила Fast mode по умолчанию на Opus 4.7 и диагностику prompt cache в Claude Console @ClaudeDevs, @ClaudeDevs.Долговечная рамка исследований/инженерии: 26-словное сжатие Bitter Lesson от Richard Sutton — фокусироваться на методах создания знаний, которые масштабируются с компьютом, таких как поиск и обучение — оказалось среди самых вовлечённых постов, связанных с исследованиями, и резонировало со многими темами недели вокруг harness-ов для агентов, поиска и систем, управляемых верификаторами @RichardSSutton.

Обзор AI Reddit

Обзор /r/LocalLlama + /r/localLLM

1. Бенчмарки безопасности LLM и форензика аблитерации

Продолжите чтение с 7-дневным бесплатным пробным периодом

Подпишитесь на Latent.Space, чтобы продолжить читать этот пост и получить 7 дней бесплатного доступа к полному архиву постов.