2025 LLM Year in Review
Andrej Karpathy подводит итоги 2025 года в области LLM, выделяя шесть ключевых сдвигов. Обучение с подкреплением на верифицируемых наградах (RLVR) стало новым важнейшим этапом тренировки моделей, позволив им развивать стратегии «рассуждения». Интеллект LLM оказался «зубчатым» — модели одновременно гениальны и поразительно глупы, что подрывает доверие к бенчмаркам. Cursor продемонстрировал новый слой LLM-приложений, а Claude Code — парадигму агента, живущего на компьютере пользователя. Vibe coding позволил любому человеку создавать программы на естественном языке, а мультимодальная модель Google Gemini Nano banana стала первым намёком на будущий «GUI для LLM». Karpathy убеждён, что индустрия реализовала менее 10% потенциала LLM даже при текущих возможностях.
2025 LLM Year in Review
Обзор года LLM — 2025
19 декабря 2025
2025 has been a strong and eventful year of progress in LLMs. The following is a list of personally notable and mildly surprising "paradigm changes" - things that altered the landscape and stood out to me conceptually.
2025-й стал мощным и насыщенным событиями годом прогресса в области LLM. Ниже — список лично для меня заметных и слегка неожиданных «смен парадигм» — вещей, которые изменили ландшафт и концептуально бросились мне в глаза.
1. Reinforcement Learning from Verifiable Rewards (RLVR)
1. Обучение с подкреплением на верифицируемых наградах (RLVR)
At the start of 2025, the LLM production stack in all labs looked something like this:
В начале 2025 года производственный стек LLM во всех лабораториях выглядел примерно так:
Предобучение (GPT-2/3, ~2020) Дообучение с учителем (InstructGPT, ~2022) и обучение с подкреплением на основе обратной связи от человека (RLHF, ~2022)
This was the stable and proven recipe for training a production-grade LLM for a while. In 2025, Reinforcement Learning from Verifiable Rewards (RLVR) emerged as the de facto new major stage to add to this mix. By training LLMs against automatically verifiable rewards across a number of environments (e.g. think math/code puzzles), the LLMs spontaneously develop strategies that look like "reasoning" to humans - they learn to break down problem solving into intermediate calculations and they learn a number of problem solving strategies for going back and forth to figure things out (see DeepSeek R1 paper for examples). These strategies would have been very difficult to achieve in the previous paradigms because it's not clear what the optimal reasoning traces and recoveries look like for the LLM - it has to find what works for it, via the optimization against rewards.
Это был устоявшийся и проверенный рецепт обучения LLM производственного уровня на протяжении долгого времени. В 2025 году обучение с подкреплением на верифицируемых наградах (RLVR) де-факто стало новым крупным этапом, добавленным в эту связку. Обучая LLM на автоматически верифицируемых наградах в ряде сред (например, математических и программистских задачах), модели спонтанно вырабатывают стратегии, которые выглядят для людей как «рассуждение» — они учатся разбивать решение задачи на промежуточные вычисления и осваивают ряд стратегий для перебора вариантов и возврата к предыдущим шагам (см. примеры в статье DeepSeek R1). Такие стратегии было бы крайне сложно получить в предыдущих парадигмах, потому что неясно, как выглядят оптимальные цепочки рассуждений и восстановлений для LLM — модель должна сама найти то, что для неё работает, через оптимизацию по наградам.
Unlike the SFT and RLHF stage, which are both relatively thin/short stages (minor finetunes computationally), RLVR involves training against objective (non-gameable) reward functions which allows for a lot longer optimization. Running RLVR turned out to offer high capability/$, which gobbled up the compute that was originally intended for pretraining. Therefore, most of the capability progress of 2025 was defined by the LLM labs chewing through the overhang of this new stage and overall we saw ~similar sized LLMs but a lot longer RL runs. Also unique to this new stage, we got a whole new knob (and and associated scaling law) to control capability as a function of test time compute by generating longer reasoning traces and increasing "thinking time". OpenAI o1 (late 2024) was the very first demonstration of an RLVR model, but the o3 release (early 2025) was the obvious point of inflection where you could intuitively feel the difference.
В отличие от этапов SFT и RLHF, которые представляют собой относительно тонкие/короткие стадии (вычислительно незначительные дообучения), RLVR подразумевает обучение на объективных (не поддающихся «обману») функциях вознаграждения, что позволяет значительно дольше оптимизировать модель. Оказалось, что RLVR даёт высокую прибавку к возможностям на доллар вычислений, и он поглотил ресурсы, изначально предназначавшиеся для предобучения. Поэтому основной прогресс в возможностях 2025 года определялся тем, как лаборатории LLM осваивали резервы этого нового этапа: в целом мы видели модели примерно того же размера, но значительно более длительные циклы RL. Кроме того, уникальной чертой этого этапа стала совершенно новая «ручка настройки» (и соответствующий закон масштабирования) для управления возможностями в зависимости от вычислений на этапе инференса — за счёт генерации более длинных цепочек рассуждений и увеличения «времени на размышление». OpenAI o1 (конец 2024) стал самой первой демонстрацией модели RLVR, но выпуск o3 (начало 2025) был очевидной точкой перелома, где разницу можно было почувствовать интуитивно.
2. Ghosts vs. Animals / Jagged Intelligence
2. Призраки против животных / Зубчатый интеллект
2025 is where I (and I think the rest of the industry also) first started to internalize the "shape" of LLM intelligence in a more intuitive sense. We're not "evolving/growing animals", we are "summoning ghosts". Everything about the LLM stack is different (neural architecture, training data, training algorithms, and especially optimization pressure) so it should be no surprise that we are getting very different entities in the intelligence space, which are inappropriate to think about through an animal lens. Supervision bits-wise, human neural nets are optimized for survival of a tribe in the jungle but LLM neural nets are optimized for imitating humanity's text, collecting rewards in math puzzles, and getting that upvote from a human on the LM Arena. As verifiable domains allow for RLVR, LLMs "spike" in capability in the vicinity of these domains and overall display amusingly jagged performance characteristics - they are at the same time a genius polymath and a confused and cognitively challenged grade schooler, seconds away from getting tricked by a jailbreak to exfiltrate your data.
2025-й — год, когда я (и, думаю, остальная индустрия тоже) впервые по-настоящему осознал «форму» интеллекта LLM на интуитивном уровне. Мы не «выращиваем и эволюционируем животных» — мы «вызываем призраков». Всё в стеке LLM устроено иначе (архитектура нейросети, данные для обучения, алгоритмы обучения и особенно давление оптимизации), так что не должно удивлять, что мы получаем совершенно иные сущности в пространстве интеллекта, к которым некорректно подходить с «животной» меркой. С точки зрения обучающего сигнала, человеческие нейросети оптимизированы для выживания племени в джунглях, а нейросети LLM — для имитации текстов человечества, сбора наград в математических задачах и получения лайков от людей на LM Arena. Поскольку верифицируемые домены позволяют применять RLVR, LLM «выстреливают» по возможностям вблизи этих доменов и в целом демонстрируют забавно зубчатый профиль производительности — они одновременно гениальный эрудит и растерянный, когнитивно ограниченный младшеклассник, которого через секунду можно обмануть джейлбрейком и заставить слить ваши данные.
(human intelligence: blue, AI intelligence: red. I like this version of the meme (I'm sorry I lost the reference to its original post on X) for pointing out that human intelligence is also jagged in its own different way.)
(человеческий интеллект: синий, интеллект ИИ: красный. Мне нравится эта версия мема (к сожалению, я потерял ссылку на оригинальный пост в X) за то, что она показывает: человеческий интеллект тоже зубчатый, только по-своему.)
Related to all this is my general apathy and loss of trust in benchmarks in 2025. The core issue is that benchmarks are almost by construction verifiable environments and are therefore immediately susceptible to RLVR and weaker forms of it via synthetic data generation. In the typical benchmaxxing process, teams in LLM labs inevitably construct environments adjacent to little pockets of the embedding space occupied by benchmarks and grow jaggies to cover them. Training on the test set is a new art form.
Со всем этим связана моя общая апатия и утрата доверия к бенчмаркам в 2025 году. Корневая проблема в том, что бенчмарки почти по определению являются верифицируемыми средами и потому немедленно поддаются RLVR и его более слабым формам через генерацию синтетических данных. В типичном процессе «натаскивания на бенчмарки» команды в лабораториях LLM неизбежно конструируют среды, смежные с маленькими карманами пространства эмбеддингов, занятыми бенчмарками, и выращивают «зубцы», чтобы их покрыть. Обучение на тестовых данных стало новым видом искусства.
What does it look like to crush all the benchmarks but still not get AGI?
Как выглядит ситуация, когда все бенчмарки побиты, а AGI всё ещё нет?
I have written a lot more on the topic of this section here:
Я написал гораздо больше на тему этого раздела здесь:
3. Cursor / new layer of LLM apps
3. Cursor / новый слой LLM-приложений
What I find most notable about Cursor (other than its meteoric rise this year) is that it convincingly revealed a new layer of an "LLM app" - people started to talk about "Cursor for X". As I highlighted in my Y Combinator talk this year (transcript and video), LLM apps like Cursor bundle and orchestrate LLM calls for specific verticals:
Самое примечательное в Cursor (помимо его стремительного взлёта в этом году) — то, что он убедительно обозначил новый слой «LLM-приложения»: люди начали говорить «Cursor для X». Как я подчёркивал в своём выступлении в Y Combinator в этом году (стенограмма и видео), LLM-приложения вроде Cursor объединяют и оркестрируют вызовы LLM для конкретных вертикалей:
Они занимаются «context engineering» Они оркестрируют множество вызовов LLM под капотом, связанных во всё более сложные DAG, тщательно балансируя между производительностью и стоимостью Они предоставляют специализированный GUI для человека в контуре управления Они предлагают «ползунок автономии»
A lot of chatter has been spent in 2025 on how "thick" this new app layer is. Will the LLM labs capture all applications or are there green pastures for LLM apps? Personally I suspect that LLM labs will trend to graduate the generally capable college student, but LLM apps will organize, finetune and actually animate teams of them into deployed professionals in specific verticals by supplying private data, sensors and actuators and feedback loops.
В 2025 году много говорили о том, насколько «толстым» окажется этот новый слой приложений. Захватят ли лаборатории LLM все приложения, или для LLM-приложений найдутся зелёные пастбища? Лично я полагаю, что лаборатории LLM будут выпускать в целом способного выпускника вуза, а LLM-приложения будут организовывать, дообучать и фактически превращать команды таких выпускников в действующих профессионалов в конкретных вертикалях, обеспечивая их приватными данными, сенсорами, исполнительными механизмами и обратной связью.
4. Claude Code / AI that lives on your computer
4. Claude Code / ИИ, который живёт на вашем компьютере
Claude Code (CC) emerged as the first convincing demonstration of what an LLM Agent looks like - something that in a loopy way strings together tool use and reasoning for extended problem solving. In addition, CC is notable to me in that it runs on your computer and with your private environment, data and context. I think OpenAI got this wrong because they focused their early codex / agent efforts on cloud deployments in containers orchestrated from ChatGPT instead of simply localhost. And while agent swarms running in the cloud feels like the "AGI endgame", we live in an intermediate and slow enough takeoff world of jagged capabilities that it makes more sense to run the agents directly on the developer's computer. Note that the primary distinction that matters is not about where the "AI ops" happen to run (in the cloud, locally or whatever), but about everything else - the already-existing and booted up computer, its installation, context, data, secrets, configuration, and the low-latency interaction. Anthropic got this order of precedence correct and packaged CC into a delightful, minimal CLI form factor that changed what AI looks like - it's not just a website you go to like Google, it's a little spirit/ghost that "lives" on your computer. This is a new, distinct paradigm of interaction with an AI.
Claude Code (CC) стал первой убедительной демонстрацией того, как выглядит LLM-агент — нечто, что в цикле связывает использование инструментов и рассуждение для длительного решения задач. Кроме того, CC примечателен тем, что работает на вашем компьютере, в вашем приватном окружении, с вашими данными и контекстом. Я думаю, OpenAI ошиблись, сосредоточив ранние усилия по Codex/агентам на облачных развёртываниях в контейнерах, управляемых из ChatGPT, вместо простого localhost. И хотя рои агентов, работающие в облаке, выглядят как «финал AGI», мы живём в промежуточном мире достаточно медленного взлёта с зубчатыми возможностями, где разумнее запускать агентов прямо на компьютере разработчика. Обратите внимание: ключевое различие не в том, где именно выполняются «ИИ-операции» (в облаке, локально или где-то ещё), а во всём остальном — уже существующий и работающий компьютер, его настройки, контекст, данные, секреты, конфигурация и низколатентное взаимодействие. Anthropic правильно расставили приоритеты и упаковали CC в восхитительный минималистичный CLI-формат, изменивший представление о том, как выглядит ИИ: это не просто сайт, на который заходишь как в Google, а маленький дух/призрак, «живущий» на вашем компьютере. Это новая, самостоятельная парадигма взаимодействия с ИИ.
5. Vibe coding
5. Vibe coding
2025 is the year that AI crossed a capability threshold necessary to build all kinds of impressive programs simply via English, forgetting that the code even exists. Amusingly, I coined the term "vibe coding" in this shower of thoughts tweet totally oblivious to how far it would go :). With vibe coding, programming is not strictly reserved for highly trained professionals, it is something anyone can do. In this capacity, it is yet another example of what I wrote about in Power to the people: How LLMs flip the script on technology diffusion, on how (in sharp contrast to all other technology so far) regular people benefit a lot more from LLMs compared to professionals, corporations and governments. But not only does vibe coding empower regular people to approach programming, it empowers trained professionals to write a lot more (vibe coded) software that would otherwise never be written. In nanochat, I vibe coded my own custom highly efficient BPE tokenizer in Rust instead of having to adopt existing libraries or learn Rust at that level. I vibe coded many projects this year as quick app demos of something I wanted to exist (e.g. see menugen, llm-council, reader3, HN time capsule). And I've vibe coded entire ephemeral apps just to find a single bug because why not - code is suddenly free, ephemeral, malleable, discardable after single use. Vibe coding will terraform software and alter job descriptions.
2025-й — год, когда ИИ преодолел порог возможностей, необходимый для создания самых разных впечатляющих программ просто на английском языке, забывая о том, что код вообще существует. Забавно, что я придумал термин «vibe coding» в этом потоке мыслей из душа, совершенно не представляя, как далеко он зайдёт :). С vibe coding программирование больше не является привилегией высококвалифицированных профессионалов — это может делать каждый. В этом качестве оно — ещё один пример того, о чём я писал в Power to the people: How LLMs flip the script on technology diffusion: как (в резком контрасте со всеми предыдущими технологиями) обычные люди выигрывают от LLM гораздо больше, чем профессионалы, корпорации и правительства. Но vibe coding не только даёт обычным людям доступ к программированию — он позволяет подготовленным специалистам писать намного больше (vibe-кодированного) софта, который иначе никогда не был бы создан. В nanochat я «навайбкодил» собственный высокоэффективный BPE-токенизатор на Rust вместо того, чтобы подключать существующие библиотеки или изучать Rust на таком уровне. В этом году я навайбкодил множество проектов в виде быстрых демо-приложений того, что хотел видеть (например, menugen, llm-council, reader3, HN time capsule). И я навайбкодил целые одноразовые приложения просто чтобы найти один баг — потому что почему бы и нет: код внезапно стал бесплатным, эфемерным, пластичным, одноразовым. Vibe coding перекроит ландшафт софта и изменит должностные инструкции.
6. Nano banana / LLM GUI
6. Nano banana / GUI для LLM
Google Gemini Nano banana is one of the most incredible, paradigm-shifting models of 2025. In my world view, LLMs are the next major computing paradigm similar to computers of the 1970s, 80s, etc. Therefore, we are going to see similar kinds of innovations for fundamentally similar kinds of reasons. We're going to see equivalents of personal computing, of microcontrollers (cognitive core), or internet (of agents), etc etc. In particular, in terms of the UIUX, "chatting" with LLMs is a bit like issuing commands to a computer console in the 1980s. Text is the raw/favored data representation for computers (and LLMs), but it is not the favored format for people, especially at the input. People actually dislike reading text - it is slow and effortful. Instead, people love to consume information visually and spatially and this is why the GUI has been invented in traditional computing. In the same way, LLMs should speak to us in our favored format - in images, infographics, slides, whiteboards, animations/videos, web apps, etc. The early and present version of this of course are things like emoji and Markdown, which are ways to "dress up" and lay out text visually for easier consumption with titles, bold, italics, lists, tables, etc. But who is actually going to build the LLM GUI? In this world view, nano banana is a first early hint of what that might look like. And importantly, one notable aspect of it is that it's not just about the image generation itself, it's about the joint capability coming from text generation, image generation and world knowledge, all tangled up in the model weights.
Google Gemini Nano banana — одна из самых невероятных, меняющих парадигму моделей 2025 года. В моей картине мира LLM — это следующая крупная вычислительная парадигма, подобная компьютерам 1970-х, 80-х и так далее. Поэтому мы будем наблюдать аналогичные виды инноваций по фундаментально схожим причинам. Мы увидим эквиваленты персональных компьютеров, микроконтроллеров (когнитивное ядро), интернета (агентов) и так далее. В частности, с точки зрения UI/UX, «общение» с LLM — это примерно как ввод команд в компьютерную консоль в 1980-х. Текст — предпочтительное представление данных для компьютеров (и LLM), но не для людей, особенно на входе. Люди на самом деле не любят читать текст — это медленно и требует усилий. Вместо этого люди любят воспринимать информацию визуально и пространственно, и именно поэтому в традиционных вычислениях был изобретён GUI. Точно так же LLM должны говорить с нами в предпочтительном для нас формате — в изображениях, инфографике, слайдах, на досках, в анимациях/видео, веб-приложениях и т. д. Ранняя и нынешняя версия этого — конечно, эмодзи и Markdown, которые позволяют «приодеть» и визуально разложить текст с помощью заголовков, жирного шрифта, курсива, списков, таблиц и т. д. Но кто на самом деле построит GUI для LLM? В этой картине мира Nano banana — первый ранний намёк на то, как это может выглядеть. И важно, что дело не только в самой генерации изображений — дело в совместной способности, возникающей из генерации текста, генерации изображений и знаний о мире, переплетённых в весах модели.
TLDR. 2025 was an exciting and mildly surprising year of LLMs. LLMs are emerging as a new kind of intelligence, simultaneously a lot smarter than I expected and a lot dumber than I expected. In any case they are extremely useful and I don't think the industry has realized anywhere near 10% of their potential even at present capability. Meanwhile, there are so many ideas to try and conceptually the field feels wide open. And as I mentioned on my Dwarkesh pod earlier this year, I simultaneously (and on the surface paradoxically) believe that we will both see rapid and continued progress and that yet there is a lot of work to be done. Strap in.
Итог. 2025-й был захватывающим и слегка неожиданным годом для LLM. LLM формируются как новый вид интеллекта — одновременно гораздо умнее, чем я ожидал, и гораздо глупее, чем я ожидал. В любом случае они чрезвычайно полезны, и я не думаю, что индустрия реализовала хотя бы 10% их потенциала даже при текущих возможностях. Между тем идей для экспериментов огромное количество, и концептуально область ощущается широко открытой. И как я упомянул в выпуске Dwarkesh pod ранее в этом году, я одновременно (и на первый взгляд парадоксально) верю, что мы увидим быстрый и продолжающийся прогресс, и что впереди ещё очень много работы. Пристегнитесь.