Prophecies of the Flood
Эссе Этана Молика обсуждает усилившиеся в индустрии заявления о скором наступлении AGI и рассматривает, насколько серьёзно к ним относиться. Скептицизм оправдан: у инсайдеров есть очевидные мотивы для громких прогнозов, а текущие LLM остаются «зазубренной» технологией с неровными способностями. Однако новая модель OpenAI o3 показала впечатляющие результаты на трёх тестах — GPQA (87%, впервые обогнав экспертов), Frontier Math (25% против прежних 2%) и ARC-AGI (87,5%). Параллельно появляются работоспособные узкие агенты — например, Google Gemini Deep Research за минуты составил 17-страничный отчёт со 118 ссылками, обработав 173 сайта. Мультимодальные модели вроде Veo 2 также резко улучшились — промпт «выдра в самолёте с wifi» теперь генерируется идеально. Главная тревога автора — не точность прогнозов, а то, что общество, организации и сотрудники не готовятся даже к нынешним возможностям ИИ, и эти разговоры нужно вести уже сейчас.
Пророчества о потопе
Как относиться к заявлениям ИИ-лабораторий?
В последнее время в индустрии ИИ что-то изменилось. Исследователи стали с настойчивостью говорить о приходе сверхразумных ИИ-систем, о потопе интеллекта. Не в отдалённом будущем, а вот-вот. Они часто упоминают AGI — Artificial General Intelligence — определяемый, пусть и неточно, как машины, способные превзойти людей-экспертов в большинстве интеллектуальных задач. Доступность интеллекта по запросу, по их мнению, глубоко изменит общество, и изменит его скоро.
Есть масса причин не верить инсайдерам, ведь у них есть очевидные мотивы делать смелые предсказания: они привлекают капитал, разгоняют оценку акций и, возможно, убеждают самих себя в собственной исторической значимости. Они технологи, а не пророки, и история технологических предсказаний полна уверенных заявлений, которые оказались преждевременными на десятилетия. Даже если оставить в стороне эти человеческие искажения, сама технология даёт повод для сомнений. Сегодняшние Large Language Models, несмотря на впечатляющие возможности, остаются фундаментально непоследовательными инструментами — блестящими в одних задачах и спотыкающимися о, казалось бы, более простые. Эта «зазубренная граница» — ключевая характеристика нынешних ИИ-систем, и сгладить её будет непросто.
Кроме того, даже если допустить, что исследователи правы насчёт достижения AGI в ближайший год-два, они, скорее всего, переоценивают скорость, с которой люди способны принять и адаптироваться к технологии. Изменения в организациях занимают много времени. Изменения в системах труда, жизни и образования — ещё медленнее. А технологиям нужно найти конкретные применения, имеющие значение в реальном мире, и это сам по себе медленный процесс. У нас мог бы быть AGI прямо сейчас, и большинство людей этого не заметили бы (более того, некоторые наблюдатели уже предположили, что это произошло, утверждая, что новейшие модели ИИ вроде Claude 3.5 фактически являются AGI1).
И всё же отмахиваться от этих предсказаний как от чистого хайпа, возможно, неполезно. Какими бы ни были их мотивы, исследователи и инженеры внутри ИИ-лабораторий, похоже, искренне убеждены, что становятся свидетелями появления чего-то беспрецедентного. Одной их уверенности было бы недостаточно — если бы не то, что всё больше публичных бенчмарков и демонстраций начинают намекать, почему они могут считать, что мы приближаемся к фундаментальному сдвигу в возможностях ИИ. Вода, как говорится, поднимается быстрее, чем ожидалось.
Где поднимается вода
Событием, запустившим больше всего спекуляций, стал анонс новой модели OpenAI под названием o3 в конце декабря. За пределами OpenAI этой системой пока никто толком не пользовался, но она — наследница o1, которая и без того уже очень впечатляет2. Модель o3 относится к новому поколению «рассуждающих» — ИИ-моделей, которые тратят дополнительное время на «размышления» перед ответом, что сильно повышает их способность решать сложные задачи. OpenAI представила ряд поразительных бенчмарков для o3, указывающих на большой скачок относительно o1 и, по сути, относительно того, что мы считали передним краем ИИ. Три бенчмарка, в частности, заслуживают внимания.
Первый — тест Graduate-Level Google-Proof Q&A (GPQA), который должен проверять знания высокого уровня серией вопросов с множественным выбором, ответы на которые не найти даже в Google. PhD с доступом к интернету правильно отвечали на 34% вопросов вне своей специальности и на 81% — внутри неё. При тестировании o3 набрала 87%, впервые обойдя людей-экспертов. Второй — Frontier Math, набор закрытых математических задач, созданных математиками так, чтобы их было невероятно трудно решить; и действительно, ни один ИИ не набирал больше 2%, пока не появилась o3, давшая 25% правильных ответов. Последний бенчмарк — ARC-AGI, довольно известный тест на гибкий интеллект, спроектированный так, чтобы быть относительно лёгким для людей и трудным для ИИ. И снова o3 обошла все предыдущие ИИ, а также базовый человеческий уровень в этом тесте, набрав 87,5%. У всех этих тестов есть существенные оговорки3, но они показывают, что барьеры в производительности ИИ, которые мы считали непреодолимыми, на самом деле могут быть взяты довольно быстро.
Агенты
По мере того как ИИ становятся умнее, они становятся и более эффективными агентами — ещё один плохо определённый термин (видите закономерность?), под которым обычно понимают ИИ, наделённый способностью действовать автономно ради достижения набора целей. Я демонстрировал некоторые ранние агентные системы в прошлых постах, но мне кажется, что последние несколько недель показали: практичные агенты — по крайней мере в узких, но экономически важных областях — теперь жизнеспособны.
Хороший пример — Google Gemini с Deep Research (доступен всем подписчикам Gemini), который, по сути, представляет собой специализированного исследовательского агента. Я задал ему тему: «исследовать сравнение способов финансирования стартапов с точки зрения основателей высокоростовых компаний». И агентная система составила план, прочитала 173(!) сайта и через несколько минут собрала для меня отчёт с ответом.
Результатом стала 17-страничная работа со 118 ссылками! Но насколько она хороша? Я преподаю вводный курс предпринимательства в Wharton уже более десяти лет, публиковался по этой теме, сам основывал компании и даже написал книгу о предпринимательстве — и я считаю, что это довольно солидно. Я не заметил очевидных ошибок, но вы можете прочитать его сами, если хотите. Главная проблема — не точность, а то, что агент ограничен публичными сайтами без пейволов и не имеет доступа к научным или премиальным изданиям. Он также несколько поверхностен и не выстраивает сильных аргументов перед лицом противоречивых данных. Так что не настолько хорош, как лучшие люди, но лучше, чем многие отчёты, которые мне попадаются.
И всё же это по-настоящему разрушительный пример агента с реальной ценностью. Поиск информации и написание отчётов — основная задача многих профессий. То, что Deep Research выполнил за три минуты, у человека заняло бы много часов — хотя он, возможно, добавил бы более тонкий анализ. С учётом этого, любому, кто пишет исследовательский отчёт, стоит попробовать Deep Research и посмотреть, как он работает в качестве стартовой точки, даже если хороший итоговый отчёт всё равно потребует человеческой руки. Мне удалось поговорить с руководителем проекта Deep Research, и я узнал, что это лишь пилотный проект небольшой команды. Поэтому я подозреваю, что другие группы и компании, сильно мотивированные создавать узких, но эффективных агентов, смогут это сделать. Узкие агенты теперь — реальный продукт, а не возможность будущего. Уже существует множество кодинг-агентов, и можно использовать экспериментальных open-source агентов, которые ведут научные и финансовые исследования.
Узкие агенты специализированы под конкретную задачу, а значит, несколько ограничены. Возникает вопрос: увидим ли мы вскоре универсальных агентов, у которых можно просто попросить что угодно, и они воспользуются компьютером и интернетом, чтобы это сделать. Simon Willison считает, что нет, несмотря на то что утверждает Sam Altman. По мере хода года мы узнаем больше, но если универсальные агентные системы будут работать надёжно и безопасно, это действительно всё изменит, поскольку позволит умным ИИ действовать в реальном мире.
Происходит множество более мелких подвижек
Агенты и очень умные модели — ключевые элементы, необходимые для трансформационного ИИ, но есть и множество других составляющих, в которых заметен быстрый прогресс. Сюда входят успехи в том, сколько ИИ могут запоминать (контекстные окна), и мультимодальные возможности, позволяющие им видеть и говорить. Полезно оглянуться назад, чтобы оценить прогресс. Например, я тестировал промпт «otter on a plane using wifi» («выдра в самолёте, пользующаяся wifi») в моделях для изображений и видео ещё до выхода ChatGPT. В октябре 2023 года этот промпт давал вам вот это пугающее чудовище.
Менее чем за 18 месяцев несколько инструментов генерации изображений идеально справляются с промптом. В результате мне пришлось придумывать что-то посложнее (это пример насыщения бенчмарков, когда старые тесты ИИ обходит). Я решил потратить несколько минут и посмотреть, как далеко смогу зайти с видеомоделью Google Veo 2 в создании фильма про путешествие выдры. Видео, которое вы увидите ниже, заняло меньше 15 минут активной работы, хотя пришлось подождать, пока ролики сгенерируются. Посмотрите на качество теней и света. Особенно мне нравится, как выдра в конце открывает компьютер.
И, чтобы поднять ставки ещё выше, я решил превратить сагу о выдре в научно-фантастическое аниме в стиле 1980-х с выдрами в космосе и тематической песней в духе эпохи (спасибо Suno). И снова — очень мало (человеческой) работы.
Что насчёт потопа?
С учётом всего этого, насколько серьёзно стоит относиться к заявлениям ИИ-лабораторий о грядущем потопе интеллекта? Даже если рассматривать только то, что мы уже видели — бенчмарки o3, разбивающие прежние барьеры, узких агентов, ведущих сложные исследования, и мультимодальные системы, создающие всё более изощрённый контент, — мы смотрим на возможности, которые могут трансформировать множество задач, основанных на знаниях. И всё же лаборатории настаивают, что это лишь начало, что куда более мощные системы и универсальные агенты не за горами.
Больше всего меня беспокоит не то, правы ли лаборатории насчёт сроков, — а то, что мы не готовимся адекватно к тому, что уже умеют нынешние ИИ, не говоря уже о шансе, что лаборатории окажутся правы. Пока ИИ-исследователи сосредоточены на alignment, обеспечении того, чтобы ИИ-системы действовали этично и ответственно, гораздо меньше голосов пытаются представить и сформулировать, как на самом деле может выглядеть мир, наводнённый искусственным интеллектом. Речь не только о самой технологии — речь о том, как мы решим её формировать и развёртывать. На эти вопросы не могут и не должны отвечать одни лишь разработчики ИИ. Это вопросы, требующие внимания от руководителей организаций, которым предстоит управлять этим переходом, от сотрудников, чья трудовая жизнь может измениться, и от стейкхолдеров, чьё будущее может зависеть от этих решений. Возможный потоп интеллекта сам по себе не хорош и не плох — но то, как мы к нему подготовимся, как адаптируемся и, самое главное, как решим его использовать, определит, станет ли он силой прогресса или разрушения. Время начинать эти разговоры — не после того, как вода начнёт прибывать, а сейчас.
Я попросил Claude прочитать готовый документ и дать мне обратную связь, и он написал: «Замечание в скобках о Claude 3.5, возможно, стоит обновить или пересмотреть, поскольку он упомянут как пример потенциального AGI. Как Claude 3.5 Sonnet, я должен отметить, что не могу подтвердить конкретные утверждения о своих возможностях в связи с AGI».
Они пропустили название o2, потому что это название телефонной компании в Великобритании; нейминг в ИИ по-прежнему очень плох.
Оговорка к GPQA состоит в том, что данные находятся в открытом доступе, и возможно, что модель обучалась на этих данных — случайно или намеренно, — хотя признаков этого нет. Оговорка к тесту Frontier Math в том, что задачи различаются по сложности: Tier 1 — сложные задачи уровня Математической олимпиады, Tier 2 — задачи уровня аспирантуры, а Tier 3 — настоящие исследовательские задачи. По словам ответственного математика, среди правильных ответов o3: «40% относились к Tier 1, 50% — к Tier 2 и 10% — к Tier 3. Однако большинство „решений“ Tier 3 — и многие из Tier 2 — основаны на эвристических обходных путях, а не на подлинном математическом понимании». Оговорка к ARC-AGI в том, что o3 потребовалось очень много дорогостоящего машинного времени, чтобы проработать достаточно долго и достичь своего высокого результата.