On Jagged AGI: o3, Gemini 2.5, and everything after

On Jagged AGI: o3, Gemini 2.5, and everything after

О зубчатом AGI: o3, Gemini 2.5 и всё, что будет после

New models and new thresholds

Новые модели и новые пороги

Amid today’s AI boom, it’s disconcerting that we still don’t know how to measure how smart, creative, or empathetic these systems are. Our tests for these traits, never great in the first place, were made for humans, not AI. Plus, our recent paper testing prompting techniques finds that AI test scores can change dramatically based simply on how questions are phrased. Even famous challenges like the Turing Test, where humans try to differentiate between an AI and another person in a text conversation, were designed as thought experiments at a time when such tasks seemed impossible. But now that a new paper shows that AI passes the Turing Test, we need to admit that we really don’t know what that actually means.

На фоне сегодняшнего бума ИИ настораживает, что мы до сих пор не знаем, как измерить, насколько умны, креативны или эмпатичны эти системы. Наши тесты для этих качеств, и без того не блестящие, создавались для людей, а не для ИИ. Более того, наша недавняя статья о тестировании техник промптинга показывает, что баллы ИИ в тестах могут кардинально меняться просто в зависимости от того, как сформулированы вопросы. Даже знаменитые испытания вроде теста Тьюринга, где люди пытаются отличить ИИ от другого человека в текстовом диалоге, задумывались как мысленные эксперименты в то время, когда подобные задачи казались невозможными. Но теперь, когда новая статья показывает, что ИИ проходит тест Тьюринга, нам приходится признать, что мы на самом деле не понимаем, что это вообще значит.

So, it should come as little surprise that one of the most important milestones in AI development, Artificial General Intelligence, or AGI, is badly defined and much debated. Everyone agrees that it has something to do with the ability of AIs to perform human-level tasks, though no one agrees whether this means expert or average human performance, or how many tasks and which kinds an AI would need to master to qualify. Given the definitional morass surrounding AGI, illustrating its nuances and history from its precursors to its initial coining by Shane Legg, Ben Goertzel and Peter Voss to today is challenging. As an experiment in both substance and form (and speaking of potentially intelligent machines) I delegated the work entirely to AI. I had Google Deep Research put together a really solid 26 page summary on the topic. I then had HeyGen turn it into a video podcast discussion between a twitchy AI-generated version of me and an AI-generated host. It’s not actually a bad discussion (though I don’t fully agree with AI-me), but every part of it, from the research to the video to the voices is 100% AI generated.

Поэтому неудивительно, что одна из важнейших вех в развитии ИИ — общий искусственный интеллект, или AGI, — определена из рук вон плохо и вызывает множество споров. Все согласны, что это как-то связано со способностью ИИ выполнять задачи на человеческом уровне, хотя никто не сходится во мнении, идет ли речь об уровне эксперта или среднего человека, и сколько задач и какого рода ИИ должен освоить, чтобы соответствовать критерию. Учитывая определенческое болото вокруг AGI, проиллюстрировать его нюансы и историю — от предшественников до первоначального введения термина Шейном Леггом, Беном Гёрцелем и Питером Воссом и до сегодняшнего дня — непросто. В качестве эксперимента и по содержанию, и по форме (а заодно говоря о потенциально разумных машинах) я полностью делегировал эту работу ИИ. Я попросил Google Deep Research составить действительно солидное 26-страничное резюме на эту тему. Затем я попросил HeyGen превратить его в видеоподкаст — дискуссию между дерганой сгенерированной ИИ версией меня и сгенерированным ИИ ведущим. Дискуссия, в общем-то, неплохая (хотя я не во всем согласен с ИИ-версией себя), но каждая ее часть — от исследования до видео и голосов — на 100% сгенерирована ИИ.

Given all this, it was interesting to see this post by influential economist and close AI observer Tyler Cowen declaring that o3 is AGI. Why might he think that?

С учетом всего этого было интересно увидеть этот пост влиятельного экономиста и внимательного наблюдателя за ИИ Тайлера Коуэна, в котором он заявляет, что o3 — это AGI. Почему он так считает?

Feeling the AGI

Почувствовать AGI

First, a little context. Over the past couple of weeks, two new AI models, Gemini 2.5 Pro from Google and o3 from OpenAI were released. These models, along with a set of slightly less capable but faster and cheaper models (Gemini 2.5 Flash, o4-mini, and Grok-3-mini), represent a pretty large leap in benchmarks. But benchmarks aren’t everything, as Tyler pointed out. For a real-world example of how much better these models have gotten, we can turn to my book. To illustrate a chapter on how AIs can generate ideas, a little over a year ago I asked ChatGPT-4 to come up with marketing slogans for a new cheese shop:

Сначала немного контекста. За последние пару недель вышли две новые модели ИИ — Gemini 2.5 Pro от Google и o3 от OpenAI. Эти модели, наряду с набором чуть менее способных, но более быстрых и дешевых (Gemini 2.5 Flash, o4-mini и Grok-3-mini), представляют собой довольно большой скачок в бенчмарках. Но бенчмарки — это не всё, как отметил Тайлер. В качестве реального примера того, насколько лучше стали эти модели, можно обратиться к моей книге. Чтобы проиллюстрировать главу о том, как ИИ может генерировать идеи, чуть больше года назад я попросил ChatGPT-4 придумать маркетинговые слоганы для новой сырной лавки:

Today I gave the latest successor to GPT-4, o3, an ever so slightly more involved version of the same prompt: “Come up with 20 clever ideas for marketing slogans for a new mail-order cheese shop. Develop criteria and select the best one. Then build a financial and marketing plan for the shop, revising as needed and analyzing competition. Then generate an appropriate logo using image generator and build a website for the shop as a mockup, making sure to carry 5-10 cheeses that fit the marketing plan.” With that single prompt, in less than two minutes, the AI not only provided a list of slogans, but ranked and selected an option, did web research, developed a logo, built marketing and financial plans, and launched a demo website for me to react to. The fact that my instructions were vague, and that common sense was required to make decisions about how to address them, was not a barrier.

Сегодня я дал новейшему преемнику GPT-4, модели o3, совсем чуть-чуть более сложную версию того же запроса: «Придумай 20 остроумных идей маркетинговых слоганов для новой сырной лавки с доставкой по почте. Разработай критерии и выбери лучший. Затем составь финансовый и маркетинговый план для лавки, при необходимости пересматривая его и анализируя конкурентов. После этого сгенерируй подходящий логотип с помощью генератора изображений и построй сайт лавки в виде макета, обязательно включив 5-10 сыров, которые соответствуют маркетинговому плану.» По этому единственному запросу менее чем за две минуты ИИ не только выдал список слоганов, но и ранжировал их, выбрал вариант, провел веб-исследование, разработал логотип, составил маркетинговый и финансовый планы и запустил демо-сайт, на который я мог отреагировать. Тот факт, что мои инструкции были расплывчатыми и что для принятия решений по их выполнению требовался здравый смысл, не стал препятствием.

In addition to being, presumably, a larger model than GPT-4, o3 also works as a Reasoner - you can see its “thinking” in the initial response. It also is an agentic model, one that can use tools and decide how to accomplish complex goals. You can see how it took multiple actions with multiple tools, including web searches and coding, to come up with the extensive results that it did.

Помимо того, что o3, предположительно, более крупная модель, чем GPT-4, она еще и работает как Reasoner — в начальном ответе видно ее «размышление». Это также агентная модель, способная использовать инструменты и самостоятельно решать, как достичь сложных целей. Можно увидеть, как она выполнила несколько действий с несколькими инструментами, включая веб-поиск и написание кода, чтобы получить те обширные результаты, что у нее вышли.

And this isn’t the only extraordinary examples, o3 can also do an impressive job guessing locations from photos if you just give it an image and prompt “be a geo-guesser” (with some quite profound privacy implications). Again, you can see the agentic nature of this model at work, as it zooms into parts of the picture, adds web searches, and does multi-step processes to get the right answer.

И это не единственный выдающийся пример: o3 также впечатляюще справляется с угадыванием местоположения по фотографиям, если просто дать ей изображение и запрос «будь гео-угадывателем» (с весьма серьезными последствиями для приватности). И снова видна агентная природа этой модели в действии: она приближает участки снимка, добавляет веб-поиск и выполняет многошаговые процессы, чтобы получить верный ответ.

Or I gave o3 a large dataset of historical machine learning systems as a spreadsheet and asked “figure out what this is and generate a report examining the implications statistically and give me a well-formatted PDF with graphs and details” and got a full analysis with a single prompt. (I did give it some feedback to make the PDF better, though, as you can see).

Или я дал o3 большой набор данных об исторических системах машинного обучения в виде таблицы и попросил «разберись, что это такое, и сгенерируй отчет, статистически исследующий выводы, и выдай мне хорошо отформатированный PDF с графиками и деталями» — и получил полный анализ по одному запросу. (Правда, я дал немного обратной связи, чтобы улучшить PDF, как вы можете видеть.)

This is all pretty impressive stuff and you should experiment with these models on your own. Gemini 2.5 Pro is free to use and as “smart” as o3, though it lacks the same full agentic ability. If you haven’t tried it or o3, take a few minutes to do it now. Try giving Gemini an academic paper and asking it to turn the paper into a game or have it brainstorm with you for startup ideas, or just ask for the AI to impress you (and then keep saying “more impressive”). Ask the Deep Research option to do a research report on your industry, or to research a purchase you are considering, or to develop a marketing plan for a new product.

Все это весьма впечатляет, и вам стоит самим поэкспериментировать с этими моделями. Gemini 2.5 Pro бесплатна в использовании и так же «умна», как o3, хотя и не обладает теми же полными агентными возможностями. Если вы еще не пробовали ее или o3, уделите этому несколько минут прямо сейчас. Попробуйте дать Gemini научную статью и попросить превратить ее в игру, или устройте с ней мозговой штурм идей для стартапа, или просто попросите ИИ впечатлить вас (а затем продолжайте говорить «еще впечатляюще»). Попросите функцию Deep Research сделать исследовательский отчет по вашей отрасли, или изучить покупку, которую вы рассматриваете, или разработать маркетинговый план для нового продукта.

You might find yourself “feeling the AGI” as well. Or maybe not. Maybe the AI failed you, even when you gave it the exact same prompt I used. If so, you just encountered the jagged frontier.

Возможно, вы тоже «почувствуете AGI». А может, и нет. Может быть, ИИ вас подвел, даже когда вы дали ему точно такой же запрос, как использовал я. Если так — вы только что столкнулись с зубчатой границей.

On “Jagged AGI”

О «зубчатом AGI»

My co-authors and I coined the term “Jagged Frontier” to describe the fact that AI has surprisingly uneven abilities. An AI may succeed at a task that would challenge a human expert but fail at something incredibly mundane. For example, consider this puzzle, a variation on a classic old brainteaser (a concept first explored by Colin Fraser and expanded by Riley Goodside): "A young boy who has been in a car accident is rushed to the emergency room. Upon seeing him, the surgeon says, "I can operate on this boy!" How is this possible?"

Мы с соавторами ввели термин «зубчатая граница» (Jagged Frontier), чтобы описать тот факт, что у ИИ на удивление неровные способности. ИИ может справиться с задачей, которая поставила бы в тупик человека-эксперта, и при этом провалить нечто невероятно банальное. Например, рассмотрим эту головоломку — вариацию классической старой загадки (концепцию впервые исследовал Colin Fraser и развил Riley Goodside): «Маленького мальчика, попавшего в автомобильную аварию, срочно везут в приемное отделение. Увидев его, хирург говорит: „Я могу прооперировать этого мальчика!“ Как такое возможно?»

o3 insists the answer is “the surgeon is the boy’s mother,” which is wrong, as a careful reading of the brainteaser will show. Why does the AI come up with this incorrect answer? Because that is the answer to the classic version of the riddle, meant to expose unconscious bias: “A father and son are in a car crash, the father dies, and the son is rushed to the hospital. The surgeon says, 'I can't operate, that boy is my son,' who is the surgeon?” The AI has “seen” this riddle in its training data so much that even the smart o3 model fails to generalize to the new problem, at least initially. And this is just one example of the kinds of issues and hallucinations that even advanced AIs can fall prey to, showing how jagged the frontier can be.

o3 настаивает, что ответ — «хирург приходится мальчику матерью», что неверно, как покажет внимательное прочтение загадки. Почему ИИ выдает этот неправильный ответ? Потому что это ответ к классической версии загадки, призванной выявить неосознанную предвзятость: «Отец и сын попадают в автокатастрофу, отец погибает, а сына срочно везут в больницу. Хирург говорит: „Я не могу оперировать, этот мальчик — мой сын“. Кто этот хирург?» ИИ настолько часто «видел» эту загадку в своих обучающих данных, что даже умная модель o3 не способна обобщить ее на новую задачу — по крайней мере, поначалу. И это лишь один пример тех проблем и галлюцинаций, жертвой которых могут стать даже продвинутые ИИ, показывающий, насколько зубчатой может быть граница.

But the fact that the AI often messes up on this particular brainteaser does not take away from the fact that it can solve much harder brainteasers, or that it can do the other impressive feats I have demonstrated above. That is the nature of the Jagged Frontier. In some tasks, AI is unreliable. In others, it is superhuman. You could, of course, say the same thing about calculators, but it is also clear that AI is different. It is already demonstrating general capabilities and performing a wide range of intellectual tasks, including those that it is not specifically trained on. Does that mean that o3 and Gemini 2.5 are AGI? Given the definitional problems, I really don’t know, but I do think they can be credibly seen as a form of “Jagged AGI” - superhuman in enough areas to result in real changes to how we work and live, but also unreliable enough that human expertise is often needed to figure out where AI works and where it doesn’t. Of course, models are likely to become smarter, and a good enough Jagged AGI may still beat humans at every task, including in ones the AI is weak in.

Но то, что ИИ часто ошибается именно в этой головоломке, не отменяет того, что он способен решать гораздо более сложные головоломки или выполнять другие впечатляющие задачи, которые я продемонстрировал выше. Такова природа зубчатой границы. В одних задачах ИИ ненадежен. В других — сверхчеловечен. Конечно, то же самое можно было бы сказать о калькуляторах, но очевидно и то, что ИИ — нечто иное. Он уже демонстрирует общие способности и выполняет широкий спектр интеллектуальных задач, в том числе тех, на которых его специально не обучали. Значит ли это, что o3 и Gemini 2.5 — это AGI? Учитывая проблемы с определением, я по-настоящему не знаю, но я действительно думаю, что их вполне можно рассматривать как форму «зубчатого AGI» — сверхчеловеческого в достаточном числе областей, чтобы привести к реальным изменениям в том, как мы работаем и живем, но при этом достаточно ненадежного, чтобы человеческая экспертиза часто требовалась для понимания, где ИИ работает, а где нет. Разумеется, модели, скорее всего, станут умнее, и достаточно хороший зубчатый AGI все равно может превзойти людей в любой задаче, в том числе в тех, где сам ИИ слаб.

Does it matter?

Имеет ли это значение?

Returning to Tyler’s post, you will notice that, despite thinking we have achieved AGI, he doesn’t think that threshold matters much to our lives in the near term. That is because, as many people have pointed out, technologies do not instantly change the world, no matter how compelling or powerful they are. Social and organizational structures change much more slowly than technology, and technology itself takes time to diffuse. Even if we have AGI today, we have years of trying to figure out how to integrate it into our existing human world.

Возвращаясь к посту Тайлера, вы заметите, что, несмотря на убеждение, что мы достигли AGI, он не считает, что этот порог сильно повлияет на нашу жизнь в ближайшей перспективе. Это потому, что, как отмечали многие, технологии не меняют мир мгновенно, какими бы убедительными или мощными они ни были. Социальные и организационные структуры меняются гораздо медленнее, чем технологии, а сама технология требует времени, чтобы распространиться. Даже если AGI у нас есть уже сегодня, нам предстоят годы попыток понять, как интегрировать его в наш существующий человеческий мир.

Of course, that assumes that AI acts like a normal technology, and one whose jaggedness will never be completely solved. There is the possibility that this may not be true. The agentic capabilities we're seeing in models like o3, like the ability to decompose complex goals, use tools, and execute multi-step plans independently, might actually accelerate diffusion dramatically compared to previous technologies. If and when AI can effectively navigate human systems on its own, rather than requiring integration, we might hit adoption thresholds much faster than historical precedent would suggest.

Разумеется, это предполагает, что ИИ ведет себя как обычная технология, причем такая, чья зубчатость никогда не будет полностью устранена. Есть вероятность, что это не так. Агентные способности, которые мы наблюдаем у моделей вроде o3, — умение раскладывать сложные цели на части, использовать инструменты и самостоятельно выполнять многошаговые планы — могут на деле резко ускорить распространение по сравнению с прежними технологиями. Если и когда ИИ сможет эффективно ориентироваться в человеческих системах самостоятельно, а не требовать интеграции, мы можем достичь порогов внедрения гораздо быстрее, чем подсказал бы исторический прецедент.

And there's a deeper uncertainty here: are there capability thresholds that, once crossed, fundamentally change how these systems integrate into society? Or is it all just gradual improvement? Or will models stop improving in the future as LLMs hit a wall? The honest answer is we don't know.

И здесь есть более глубокая неопределенность: существуют ли пороги способностей, которые, будучи однажды преодолены, фундаментально меняют то, как эти системы встраиваются в общество? Или же это все лишь постепенное улучшение? Или модели в будущем перестанут улучшаться, когда LLM упрутся в стену? Честный ответ — мы не знаем.

What's clear is that we continue to be in uncharted territory. The latest models represent something qualitatively different from what came before, whether or not we call it AGI. Their agentic properties, combined with their jagged capabilities, create a genuinely novel situation with few clear analogues. It may be that history continues to be the best guide, and that figuring out how to successfully apply AI in a way that shows up in the economic statistics may be a process measured in decades. Or it might be that we are on the edge of some sort of faster take-off, where AI-driven change sweeps our world suddenly. Either way, those who learn to navigate this jagged landscape now will be best positioned for what comes next… whatever that is.

Ясно одно: мы по-прежнему находимся на неизведанной территории. Новейшие модели представляют собой нечто качественно иное по сравнению с тем, что было раньше, — называем мы это AGI или нет. Их агентные свойства в сочетании с зубчатыми способностями создают по-настоящему новую ситуацию, у которой мало явных аналогов. Может оказаться, что история по-прежнему служит лучшим ориентиром и что выяснение того, как успешно применять ИИ так, чтобы это отразилось в экономической статистике, окажется процессом, измеряемым десятилетиями. А может оказаться, что мы на пороге своего рода более быстрого взлета, когда вызванные ИИ перемены внезапно охватят наш мир. В любом случае те, кто научится ориентироваться в этом зубчатом ландшафте уже сейчас, окажутся в наилучшем положении перед тем, что грядет дальше… чем бы это ни было.

Share

Поделиться