2025 LLM Year in Review
Andrej Karpathy подводит итоги 2025 года в области LLM, выделяя шесть ключевых сдвигов. Обучение с подкреплением на верифицируемых наградах (RLVR) стало новым важнейшим этапом тренировки моделей, позволив им развивать стратегии «рассуждения». Интеллект LLM оказался «зубчатым» — модели одновременно гениальны и поразительно глупы, что подрывает доверие к бенчмаркам. Cursor продемонстрировал новый слой LLM-приложений, а Claude Code — парадигму агента, живущего на компьютере пользователя. Vibe coding позволил любому человеку создавать программы на естественном языке, а мультимодальная модель Google Gemini Nano banana стала первым намёком на будущий «GUI для LLM». Karpathy убеждён, что индустрия реализовала менее 10% потенциала LLM даже при текущих возможностях.
Обзор года LLM — 2025
19 декабря 2025
2025-й стал мощным и насыщенным событиями годом прогресса в области LLM. Ниже — список лично для меня заметных и слегка неожиданных «смен парадигм» — вещей, которые изменили ландшафт и концептуально бросились мне в глаза.
1. Обучение с подкреплением на верифицируемых наградах (RLVR)
В начале 2025 года производственный стек LLM во всех лабораториях выглядел примерно так:
Предобучение (GPT-2/3, ~2020) Дообучение с учителем (InstructGPT, ~2022) и обучение с подкреплением на основе обратной связи от человека (RLHF, ~2022)
Это был устоявшийся и проверенный рецепт обучения LLM производственного уровня на протяжении долгого времени. В 2025 году обучение с подкреплением на верифицируемых наградах (RLVR) де-факто стало новым крупным этапом, добавленным в эту связку. Обучая LLM на автоматически верифицируемых наградах в ряде сред (например, математических и программистских задачах), модели спонтанно вырабатывают стратегии, которые выглядят для людей как «рассуждение» — они учатся разбивать решение задачи на промежуточные вычисления и осваивают ряд стратегий для перебора вариантов и возврата к предыдущим шагам (см. примеры в статье DeepSeek R1). Такие стратегии было бы крайне сложно получить в предыдущих парадигмах, потому что неясно, как выглядят оптимальные цепочки рассуждений и восстановлений для LLM — модель должна сама найти то, что для неё работает, через оптимизацию по наградам.
В отличие от этапов SFT и RLHF, которые представляют собой относительно тонкие/короткие стадии (вычислительно незначительные дообучения), RLVR подразумевает обучение на объективных (не поддающихся «обману») функциях вознаграждения, что позволяет значительно дольше оптимизировать модель. Оказалось, что RLVR даёт высокую прибавку к возможностям на доллар вычислений, и он поглотил ресурсы, изначально предназначавшиеся для предобучения. Поэтому основной прогресс в возможностях 2025 года определялся тем, как лаборатории LLM осваивали резервы этого нового этапа: в целом мы видели модели примерно того же размера, но значительно более длительные циклы RL. Кроме того, уникальной чертой этого этапа стала совершенно новая «ручка настройки» (и соответствующий закон масштабирования) для управления возможностями в зависимости от вычислений на этапе инференса — за счёт генерации более длинных цепочек рассуждений и увеличения «времени на размышление». OpenAI o1 (конец 2024) стал самой первой демонстрацией модели RLVR, но выпуск o3 (начало 2025) был очевидной точкой перелома, где разницу можно было почувствовать интуитивно.
2. Призраки против животных / Зубчатый интеллект
2025-й — год, когда я (и, думаю, остальная индустрия тоже) впервые по-настоящему осознал «форму» интеллекта LLM на интуитивном уровне. Мы не «выращиваем и эволюционируем животных» — мы «вызываем призраков». Всё в стеке LLM устроено иначе (архитектура нейросети, данные для обучения, алгоритмы обучения и особенно давление оптимизации), так что не должно удивлять, что мы получаем совершенно иные сущности в пространстве интеллекта, к которым некорректно подходить с «животной» меркой. С точки зрения обучающего сигнала, человеческие нейросети оптимизированы для выживания племени в джунглях, а нейросети LLM — для имитации текстов человечества, сбора наград в математических задачах и получения лайков от людей на LM Arena. Поскольку верифицируемые домены позволяют применять RLVR, LLM «выстреливают» по возможностям вблизи этих доменов и в целом демонстрируют забавно зубчатый профиль производительности — они одновременно гениальный эрудит и растерянный, когнитивно ограниченный младшеклассник, которого через секунду можно обмануть джейлбрейком и заставить слить ваши данные.
(человеческий интеллект: синий, интеллект ИИ: красный. Мне нравится эта версия мема (к сожалению, я потерял ссылку на оригинальный пост в X) за то, что она показывает: человеческий интеллект тоже зубчатый, только по-своему.)
Со всем этим связана моя общая апатия и утрата доверия к бенчмаркам в 2025 году. Корневая проблема в том, что бенчмарки почти по определению являются верифицируемыми средами и потому немедленно поддаются RLVR и его более слабым формам через генерацию синтетических данных. В типичном процессе «натаскивания на бенчмарки» команды в лабораториях LLM неизбежно конструируют среды, смежные с маленькими карманами пространства эмбеддингов, занятыми бенчмарками, и выращивают «зубцы», чтобы их покрыть. Обучение на тестовых данных стало новым видом искусства.
Как выглядит ситуация, когда все бенчмарки побиты, а AGI всё ещё нет?
Я написал гораздо больше на тему этого раздела здесь:
3. Cursor / новый слой LLM-приложений
Самое примечательное в Cursor (помимо его стремительного взлёта в этом году) — то, что он убедительно обозначил новый слой «LLM-приложения»: люди начали говорить «Cursor для X». Как я подчёркивал в своём выступлении в Y Combinator в этом году (стенограмма и видео), LLM-приложения вроде Cursor объединяют и оркестрируют вызовы LLM для конкретных вертикалей:
Они занимаются «context engineering» Они оркестрируют множество вызовов LLM под капотом, связанных во всё более сложные DAG, тщательно балансируя между производительностью и стоимостью Они предоставляют специализированный GUI для человека в контуре управления Они предлагают «ползунок автономии»
В 2025 году много говорили о том, насколько «толстым» окажется этот новый слой приложений. Захватят ли лаборатории LLM все приложения, или для LLM-приложений найдутся зелёные пастбища? Лично я полагаю, что лаборатории LLM будут выпускать в целом способного выпускника вуза, а LLM-приложения будут организовывать, дообучать и фактически превращать команды таких выпускников в действующих профессионалов в конкретных вертикалях, обеспечивая их приватными данными, сенсорами, исполнительными механизмами и обратной связью.
4. Claude Code / ИИ, который живёт на вашем компьютере
Claude Code (CC) стал первой убедительной демонстрацией того, как выглядит LLM-агент — нечто, что в цикле связывает использование инструментов и рассуждение для длительного решения задач. Кроме того, CC примечателен тем, что работает на вашем компьютере, в вашем приватном окружении, с вашими данными и контекстом. Я думаю, OpenAI ошиблись, сосредоточив ранние усилия по Codex/агентам на облачных развёртываниях в контейнерах, управляемых из ChatGPT, вместо простого localhost. И хотя рои агентов, работающие в облаке, выглядят как «финал AGI», мы живём в промежуточном мире достаточно медленного взлёта с зубчатыми возможностями, где разумнее запускать агентов прямо на компьютере разработчика. Обратите внимание: ключевое различие не в том, где именно выполняются «ИИ-операции» (в облаке, локально или где-то ещё), а во всём остальном — уже существующий и работающий компьютер, его настройки, контекст, данные, секреты, конфигурация и низколатентное взаимодействие. Anthropic правильно расставили приоритеты и упаковали CC в восхитительный минималистичный CLI-формат, изменивший представление о том, как выглядит ИИ: это не просто сайт, на который заходишь как в Google, а маленький дух/призрак, «живущий» на вашем компьютере. Это новая, самостоятельная парадигма взаимодействия с ИИ.
5. Vibe coding
2025-й — год, когда ИИ преодолел порог возможностей, необходимый для создания самых разных впечатляющих программ просто на английском языке, забывая о том, что код вообще существует. Забавно, что я придумал термин «vibe coding» в этом потоке мыслей из душа, совершенно не представляя, как далеко он зайдёт :). С vibe coding программирование больше не является привилегией высококвалифицированных профессионалов — это может делать каждый. В этом качестве оно — ещё один пример того, о чём я писал в Power to the people: How LLMs flip the script on technology diffusion: как (в резком контрасте со всеми предыдущими технологиями) обычные люди выигрывают от LLM гораздо больше, чем профессионалы, корпорации и правительства. Но vibe coding не только даёт обычным людям доступ к программированию — он позволяет подготовленным специалистам писать намного больше (vibe-кодированного) софта, который иначе никогда не был бы создан. В nanochat я «навайбкодил» собственный высокоэффективный BPE-токенизатор на Rust вместо того, чтобы подключать существующие библиотеки или изучать Rust на таком уровне. В этом году я навайбкодил множество проектов в виде быстрых демо-приложений того, что хотел видеть (например, menugen, llm-council, reader3, HN time capsule). И я навайбкодил целые одноразовые приложения просто чтобы найти один баг — потому что почему бы и нет: код внезапно стал бесплатным, эфемерным, пластичным, одноразовым. Vibe coding перекроит ландшафт софта и изменит должностные инструкции.
6. Nano banana / GUI для LLM
Google Gemini Nano banana — одна из самых невероятных, меняющих парадигму моделей 2025 года. В моей картине мира LLM — это следующая крупная вычислительная парадигма, подобная компьютерам 1970-х, 80-х и так далее. Поэтому мы будем наблюдать аналогичные виды инноваций по фундаментально схожим причинам. Мы увидим эквиваленты персональных компьютеров, микроконтроллеров (когнитивное ядро), интернета (агентов) и так далее. В частности, с точки зрения UI/UX, «общение» с LLM — это примерно как ввод команд в компьютерную консоль в 1980-х. Текст — предпочтительное представление данных для компьютеров (и LLM), но не для людей, особенно на входе. Люди на самом деле не любят читать текст — это медленно и требует усилий. Вместо этого люди любят воспринимать информацию визуально и пространственно, и именно поэтому в традиционных вычислениях был изобретён GUI. Точно так же LLM должны говорить с нами в предпочтительном для нас формате — в изображениях, инфографике, слайдах, на досках, в анимациях/видео, веб-приложениях и т. д. Ранняя и нынешняя версия этого — конечно, эмодзи и Markdown, которые позволяют «приодеть» и визуально разложить текст с помощью заголовков, жирного шрифта, курсива, списков, таблиц и т. д. Но кто на самом деле построит GUI для LLM? В этой картине мира Nano banana — первый ранний намёк на то, как это может выглядеть. И важно, что дело не только в самой генерации изображений — дело в совместной способности, возникающей из генерации текста, генерации изображений и знаний о мире, переплетённых в весах модели.
Итог. 2025-й был захватывающим и слегка неожиданным годом для LLM. LLM формируются как новый вид интеллекта — одновременно гораздо умнее, чем я ожидал, и гораздо глупее, чем я ожидал. В любом случае они чрезвычайно полезны, и я не думаю, что индустрия реализовала хотя бы 10% их потенциала даже при текущих возможностях. Между тем идей для экспериментов огромное количество, и концептуально область ощущается широко открытой. И как я упомянул в выпуске Dwarkesh pod ранее в этом году, я одновременно (и на первый взгляд парадоксально) верю, что мы увидим быстрый и продолжающийся прогресс, и что впереди ещё очень много работы. Пристегнитесь.