On Jagged AGI: o3, Gemini 2.5, and everything after

О зубчатом AGI: o3, Gemini 2.5 и всё, что будет после

Новые модели и новые пороги

На фоне сегодняшнего бума ИИ настораживает, что мы до сих пор не знаем, как измерить, насколько умны, креативны или эмпатичны эти системы. Наши тесты для этих качеств, и без того не блестящие, создавались для людей, а не для ИИ. Более того, наша недавняя статья о тестировании техник промптинга показывает, что баллы ИИ в тестах могут кардинально меняться просто в зависимости от того, как сформулированы вопросы. Даже знаменитые испытания вроде теста Тьюринга, где люди пытаются отличить ИИ от другого человека в текстовом диалоге, задумывались как мысленные эксперименты в то время, когда подобные задачи казались невозможными. Но теперь, когда новая статья показывает, что ИИ проходит тест Тьюринга, нам приходится признать, что мы на самом деле не понимаем, что это вообще значит.

Поэтому неудивительно, что одна из важнейших вех в развитии ИИ — общий искусственный интеллект, или AGI, — определена из рук вон плохо и вызывает множество споров. Все согласны, что это как-то связано со способностью ИИ выполнять задачи на человеческом уровне, хотя никто не сходится во мнении, идет ли речь об уровне эксперта или среднего человека, и сколько задач и какого рода ИИ должен освоить, чтобы соответствовать критерию. Учитывая определенческое болото вокруг AGI, проиллюстрировать его нюансы и историю — от предшественников до первоначального введения термина Шейном Леггом, Беном Гёрцелем и Питером Воссом и до сегодняшнего дня — непросто. В качестве эксперимента и по содержанию, и по форме (а заодно говоря о потенциально разумных машинах) я полностью делегировал эту работу ИИ. Я попросил Google Deep Research составить действительно солидное 26-страничное резюме на эту тему. Затем я попросил HeyGen превратить его в видеоподкаст — дискуссию между дерганой сгенерированной ИИ версией меня и сгенерированным ИИ ведущим. Дискуссия, в общем-то, неплохая (хотя я не во всем согласен с ИИ-версией себя), но каждая ее часть — от исследования до видео и голосов — на 100% сгенерирована ИИ.

С учетом всего этого было интересно увидеть этот пост влиятельного экономиста и внимательного наблюдателя за ИИ Тайлера Коуэна, в котором он заявляет, что o3 — это AGI. Почему он так считает?

Почувствовать AGI

Сначала немного контекста. За последние пару недель вышли две новые модели ИИ — Gemini 2.5 Pro от Google и o3 от OpenAI. Эти модели, наряду с набором чуть менее способных, но более быстрых и дешевых (Gemini 2.5 Flash, o4-mini и Grok-3-mini), представляют собой довольно большой скачок в бенчмарках. Но бенчмарки — это не всё, как отметил Тайлер. В качестве реального примера того, насколько лучше стали эти модели, можно обратиться к моей книге. Чтобы проиллюстрировать главу о том, как ИИ может генерировать идеи, чуть больше года назад я попросил ChatGPT-4 придумать маркетинговые слоганы для новой сырной лавки:

Сегодня я дал новейшему преемнику GPT-4, модели o3, совсем чуть-чуть более сложную версию того же запроса: «Придумай 20 остроумных идей маркетинговых слоганов для новой сырной лавки с доставкой по почте. Разработай критерии и выбери лучший. Затем составь финансовый и маркетинговый план для лавки, при необходимости пересматривая его и анализируя конкурентов. После этого сгенерируй подходящий логотип с помощью генератора изображений и построй сайт лавки в виде макета, обязательно включив 5-10 сыров, которые соответствуют маркетинговому плану.» По этому единственному запросу менее чем за две минуты ИИ не только выдал список слоганов, но и ранжировал их, выбрал вариант, провел веб-исследование, разработал логотип, составил маркетинговый и финансовый планы и запустил демо-сайт, на который я мог отреагировать. Тот факт, что мои инструкции были расплывчатыми и что для принятия решений по их выполнению требовался здравый смысл, не стал препятствием.

Помимо того, что o3, предположительно, более крупная модель, чем GPT-4, она еще и работает как Reasoner — в начальном ответе видно ее «размышление». Это также агентная модель, способная использовать инструменты и самостоятельно решать, как достичь сложных целей. Можно увидеть, как она выполнила несколько действий с несколькими инструментами, включая веб-поиск и написание кода, чтобы получить те обширные результаты, что у нее вышли.

И это не единственный выдающийся пример: o3 также впечатляюще справляется с угадыванием местоположения по фотографиям, если просто дать ей изображение и запрос «будь гео-угадывателем» (с весьма серьезными последствиями для приватности). И снова видна агентная природа этой модели в действии: она приближает участки снимка, добавляет веб-поиск и выполняет многошаговые процессы, чтобы получить верный ответ.

Или я дал o3 большой набор данных об исторических системах машинного обучения в виде таблицы и попросил «разберись, что это такое, и сгенерируй отчет, статистически исследующий выводы, и выдай мне хорошо отформатированный PDF с графиками и деталями» — и получил полный анализ по одному запросу. (Правда, я дал немного обратной связи, чтобы улучшить PDF, как вы можете видеть.)

Все это весьма впечатляет, и вам стоит самим поэкспериментировать с этими моделями. Gemini 2.5 Pro бесплатна в использовании и так же «умна», как o3, хотя и не обладает теми же полными агентными возможностями. Если вы еще не пробовали ее или o3, уделите этому несколько минут прямо сейчас. Попробуйте дать Gemini научную статью и попросить превратить ее в игру, или устройте с ней мозговой штурм идей для стартапа, или просто попросите ИИ впечатлить вас (а затем продолжайте говорить «еще впечатляюще»). Попросите функцию Deep Research сделать исследовательский отчет по вашей отрасли, или изучить покупку, которую вы рассматриваете, или разработать маркетинговый план для нового продукта.

Возможно, вы тоже «почувствуете AGI». А может, и нет. Может быть, ИИ вас подвел, даже когда вы дали ему точно такой же запрос, как использовал я. Если так — вы только что столкнулись с зубчатой границей.

О «зубчатом AGI»

Мы с соавторами ввели термин «зубчатая граница» (Jagged Frontier), чтобы описать тот факт, что у ИИ на удивление неровные способности. ИИ может справиться с задачей, которая поставила бы в тупик человека-эксперта, и при этом провалить нечто невероятно банальное. Например, рассмотрим эту головоломку — вариацию классической старой загадки (концепцию впервые исследовал Colin Fraser и развил Riley Goodside): «Маленького мальчика, попавшего в автомобильную аварию, срочно везут в приемное отделение. Увидев его, хирург говорит: „Я могу прооперировать этого мальчика!“ Как такое возможно?»

o3 настаивает, что ответ — «хирург приходится мальчику матерью», что неверно, как покажет внимательное прочтение загадки. Почему ИИ выдает этот неправильный ответ? Потому что это ответ к классической версии загадки, призванной выявить неосознанную предвзятость: «Отец и сын попадают в автокатастрофу, отец погибает, а сына срочно везут в больницу. Хирург говорит: „Я не могу оперировать, этот мальчик — мой сын“. Кто этот хирург?» ИИ настолько часто «видел» эту загадку в своих обучающих данных, что даже умная модель o3 не способна обобщить ее на новую задачу — по крайней мере, поначалу. И это лишь один пример тех проблем и галлюцинаций, жертвой которых могут стать даже продвинутые ИИ, показывающий, насколько зубчатой может быть граница.

Но то, что ИИ часто ошибается именно в этой головоломке, не отменяет того, что он способен решать гораздо более сложные головоломки или выполнять другие впечатляющие задачи, которые я продемонстрировал выше. Такова природа зубчатой границы. В одних задачах ИИ ненадежен. В других — сверхчеловечен. Конечно, то же самое можно было бы сказать о калькуляторах, но очевидно и то, что ИИ — нечто иное. Он уже демонстрирует общие способности и выполняет широкий спектр интеллектуальных задач, в том числе тех, на которых его специально не обучали. Значит ли это, что o3 и Gemini 2.5 — это AGI? Учитывая проблемы с определением, я по-настоящему не знаю, но я действительно думаю, что их вполне можно рассматривать как форму «зубчатого AGI» — сверхчеловеческого в достаточном числе областей, чтобы привести к реальным изменениям в том, как мы работаем и живем, но при этом достаточно ненадежного, чтобы человеческая экспертиза часто требовалась для понимания, где ИИ работает, а где нет. Разумеется, модели, скорее всего, станут умнее, и достаточно хороший зубчатый AGI все равно может превзойти людей в любой задаче, в том числе в тех, где сам ИИ слаб.

Имеет ли это значение?

Возвращаясь к посту Тайлера, вы заметите, что, несмотря на убеждение, что мы достигли AGI, он не считает, что этот порог сильно повлияет на нашу жизнь в ближайшей перспективе. Это потому, что, как отмечали многие, технологии не меняют мир мгновенно, какими бы убедительными или мощными они ни были. Социальные и организационные структуры меняются гораздо медленнее, чем технологии, а сама технология требует времени, чтобы распространиться. Даже если AGI у нас есть уже сегодня, нам предстоят годы попыток понять, как интегрировать его в наш существующий человеческий мир.

Разумеется, это предполагает, что ИИ ведет себя как обычная технология, причем такая, чья зубчатость никогда не будет полностью устранена. Есть вероятность, что это не так. Агентные способности, которые мы наблюдаем у моделей вроде o3, — умение раскладывать сложные цели на части, использовать инструменты и самостоятельно выполнять многошаговые планы — могут на деле резко ускорить распространение по сравнению с прежними технологиями. Если и когда ИИ сможет эффективно ориентироваться в человеческих системах самостоятельно, а не требовать интеграции, мы можем достичь порогов внедрения гораздо быстрее, чем подсказал бы исторический прецедент.

И здесь есть более глубокая неопределенность: существуют ли пороги способностей, которые, будучи однажды преодолены, фундаментально меняют то, как эти системы встраиваются в общество? Или же это все лишь постепенное улучшение? Или модели в будущем перестанут улучшаться, когда LLM упрутся в стену? Честный ответ — мы не знаем.

Ясно одно: мы по-прежнему находимся на неизведанной территории. Новейшие модели представляют собой нечто качественно иное по сравнению с тем, что было раньше, — называем мы это AGI или нет. Их агентные свойства в сочетании с зубчатыми способностями создают по-настоящему новую ситуацию, у которой мало явных аналогов. Может оказаться, что история по-прежнему служит лучшим ориентиром и что выяснение того, как успешно применять ИИ так, чтобы это отразилось в экономической статистике, окажется процессом, измеряемым десятилетиями. А может оказаться, что мы на пороге своего рода более быстрого взлета, когда вызванные ИИ перемены внезапно охватят наш мир. В любом случае те, кто научится ориентироваться в этом зубчатом ландшафте уже сейчас, окажутся в наилучшем положении перед тем, что грядет дальше… чем бы это ни было.

Поделиться