Prophecies of the Flood
Эссе Этана Молика обсуждает усилившиеся в индустрии заявления о скором наступлении AGI и рассматривает, насколько серьёзно к ним относиться. Скептицизм оправдан: у инсайдеров есть очевидные мотивы для громких прогнозов, а текущие LLM остаются «зазубренной» технологией с неровными способностями. Однако новая модель OpenAI o3 показала впечатляющие результаты на трёх тестах — GPQA (87%, впервые обогнав экспертов), Frontier Math (25% против прежних 2%) и ARC-AGI (87,5%). Параллельно появляются работоспособные узкие агенты — например, Google Gemini Deep Research за минуты составил 17-страничный отчёт со 118 ссылками, обработав 173 сайта. Мультимодальные модели вроде Veo 2 также резко улучшились — промпт «выдра в самолёте с wifi» теперь генерируется идеально. Главная тревога автора — не точность прогнозов, а то, что общество, организации и сотрудники не готовятся даже к нынешним возможностям ИИ, и эти разговоры нужно вести уже сейчас.
Prophecies of the Flood
Пророчества о потопе
What to make of the statements of the AI labs?
Как относиться к заявлениям ИИ-лабораторий?
Recently, something shifted in the AI industry. Researchers began speaking urgently about the arrival of supersmart AI systems, a flood of intelligence. Not in some distant future, but imminently. They often refer to AGI - Artificial General Intelligence - defined, albeit imprecisely, as machines that can outperform expert humans across most intellectual tasks. This availability of intelligence on demand will, they argue, change society deeply and will change it soon.
В последнее время в индустрии ИИ что-то изменилось. Исследователи стали с настойчивостью говорить о приходе сверхразумных ИИ-систем, о потопе интеллекта. Не в отдалённом будущем, а вот-вот. Они часто упоминают AGI — Artificial General Intelligence — определяемый, пусть и неточно, как машины, способные превзойти людей-экспертов в большинстве интеллектуальных задач. Доступность интеллекта по запросу, по их мнению, глубоко изменит общество, и изменит его скоро.
There are plenty of reasons to not believe insiders as they have clear incentives to make bold predictions: they're raising capital, boosting stock valuations, and perhaps convincing themselves of their own historical importance. They're technologists, not prophets, and the track record of technological predictions is littered with confident declarations that turned out to be decades premature. Even setting aside these human biases, the underlying technology itself gives us reason for doubt. Today's Large Language Models, despite their impressive capabilities, remain fundamentally inconsistent tools - brilliant at some tasks while stumbling over seemingly simpler ones. This “jagged frontier” is a core characteristic of current AI systems, one that won't be easily smoothed away
Есть масса причин не верить инсайдерам, ведь у них есть очевидные мотивы делать смелые предсказания: они привлекают капитал, разгоняют оценку акций и, возможно, убеждают самих себя в собственной исторической значимости. Они технологи, а не пророки, и история технологических предсказаний полна уверенных заявлений, которые оказались преждевременными на десятилетия. Даже если оставить в стороне эти человеческие искажения, сама технология даёт повод для сомнений. Сегодняшние Large Language Models, несмотря на впечатляющие возможности, остаются фундаментально непоследовательными инструментами — блестящими в одних задачах и спотыкающимися о, казалось бы, более простые. Эта «зазубренная граница» — ключевая характеристика нынешних ИИ-систем, и сгладить её будет непросто.
Plus, even assuming researchers are right about reaching AGI in the next year or two, they are likely overestimating the speed at which humans can adopt and adjust to a technology. Changes to organizations take a long time. Changes to systems of work, life, and education, are slower still. And technologies need to find specific uses that matter in the world, which is itself a slow process. We could have AGI right now and most people wouldn’t notice (indeed, some observers have suggested that has already happened, arguing that the latest AI models like Claude 3.5 are effectively AGI1).
Кроме того, даже если допустить, что исследователи правы насчёт достижения AGI в ближайший год-два, они, скорее всего, переоценивают скорость, с которой люди способны принять и адаптироваться к технологии. Изменения в организациях занимают много времени. Изменения в системах труда, жизни и образования — ещё медленнее. А технологиям нужно найти конкретные применения, имеющие значение в реальном мире, и это сам по себе медленный процесс. У нас мог бы быть AGI прямо сейчас, и большинство людей этого не заметили бы (более того, некоторые наблюдатели уже предположили, что это произошло, утверждая, что новейшие модели ИИ вроде Claude 3.5 фактически являются AGI1).
Yet dismissing these predictions as mere hype may not be helpful. Whatever their incentives, the researchers and engineers inside AI labs appear genuinely convinced they're witnessing the emergence of something unprecedented. Their certainty alone wouldn't matter - except that increasingly public benchmarks and demonstrations are beginning to hint at why they might believe we're approaching a fundamental shift in AI capabilities. The water, as it were, seems to be rising faster than expected.
И всё же отмахиваться от этих предсказаний как от чистого хайпа, возможно, неполезно. Какими бы ни были их мотивы, исследователи и инженеры внутри ИИ-лабораторий, похоже, искренне убеждены, что становятся свидетелями появления чего-то беспрецедентного. Одной их уверенности было бы недостаточно — если бы не то, что всё больше публичных бенчмарков и демонстраций начинают намекать, почему они могут считать, что мы приближаемся к фундаментальному сдвигу в возможностях ИИ. Вода, как говорится, поднимается быстрее, чем ожидалось.
Where the water is rising
Где поднимается вода
The event that kicked off the most speculation was the reveal of a new model by OpenAI called o3 in late December. No one outside of OpenAI has really used this system yet, but it is the successor to o1, which is already very impressive2. The o3 model is one of the new generation of “reasoners” - AI models that take extra time to “think” before answering questions, which greatly improves their ability to solve hard problems. OpenAI provided a number of startling benchmarks for o3 that suggest a large advance over o1, and, indeed, over where we thought the state-of-the-art in AI was. Three benchmarks, in particular, deserve a little attention.
Событием, запустившим больше всего спекуляций, стал анонс новой модели OpenAI под названием o3 в конце декабря. За пределами OpenAI этой системой пока никто толком не пользовался, но она — наследница o1, которая и без того уже очень впечатляет2. Модель o3 относится к новому поколению «рассуждающих» — ИИ-моделей, которые тратят дополнительное время на «размышления» перед ответом, что сильно повышает их способность решать сложные задачи. OpenAI представила ряд поразительных бенчмарков для o3, указывающих на большой скачок относительно o1 и, по сути, относительно того, что мы считали передним краем ИИ. Три бенчмарка, в частности, заслуживают внимания.
The first is the called the Graduate-Level Google-Proof Q&A test (GPQA), and it is supposed to test high-level knowledge with a series of multiple-choice problems that even Google can’t help you with. PhDs with access to the internet got 34% of the questions right on this test outside their specialty, and 81% right inside their specialty. When tested, o3 achieved 87% beating human experts for the first time. The second is Frontier Math, a set of private math problems created by mathematicians to be incredibly hard to solve, and, indeed, no AI ever scored higher than 2%, until o3, which got 25% right. The final benchmark is ARC-AGI, a rather famous test of fluid intelligence that was designed to be relatively easy for humans but hard for AIs. Again, o3 beat all previous AIs as well as the baseline human level on the test, scoring 87.5%. All of these tests come with significant caveats3 but they suggest that what we previously considered unpassable barriers to AI performance may actually be beaten quite quickly.
Первый — тест Graduate-Level Google-Proof Q&A (GPQA), который должен проверять знания высокого уровня серией вопросов с множественным выбором, ответы на которые не найти даже в Google. PhD с доступом к интернету правильно отвечали на 34% вопросов вне своей специальности и на 81% — внутри неё. При тестировании o3 набрала 87%, впервые обойдя людей-экспертов. Второй — Frontier Math, набор закрытых математических задач, созданных математиками так, чтобы их было невероятно трудно решить; и действительно, ни один ИИ не набирал больше 2%, пока не появилась o3, давшая 25% правильных ответов. Последний бенчмарк — ARC-AGI, довольно известный тест на гибкий интеллект, спроектированный так, чтобы быть относительно лёгким для людей и трудным для ИИ. И снова o3 обошла все предыдущие ИИ, а также базовый человеческий уровень в этом тесте, набрав 87,5%. У всех этих тестов есть существенные оговорки3, но они показывают, что барьеры в производительности ИИ, которые мы считали непреодолимыми, на самом деле могут быть взяты довольно быстро.
Agents
Агенты
As AIs get smarter, they become more effective agents, another ill-defined term (see a pattern?) that generally means an AI given the ability to act autonomously towards achieving a set of goals. I have demonstrated some of the early agentic systems in previous posts, but I think the past few weeks have also shown us that practical agents, at least for narrow but economically important areas, are now viable.
По мере того как ИИ становятся умнее, они становятся и более эффективными агентами — ещё один плохо определённый термин (видите закономерность?), под которым обычно понимают ИИ, наделённый способностью действовать автономно ради достижения набора целей. Я демонстрировал некоторые ранние агентные системы в прошлых постах, но мне кажется, что последние несколько недель показали: практичные агенты — по крайней мере в узких, но экономически важных областях — теперь жизнеспособны.
A nice example of that is Google’s Gemini with Deep Research (accessible to everyone who subscribes to Gemini), which is really a specialized research agent. I gave it a topic like “research a comparison of ways of funding startup companies, from the perspective of founders, for high growth ventures.” And the agentic system came up with a plan, read through 173(!) websites and compiled a report for me with the answer a few minutes later.
Хороший пример — Google Gemini с Deep Research (доступен всем подписчикам Gemini), который, по сути, представляет собой специализированного исследовательского агента. Я задал ему тему: «исследовать сравнение способов финансирования стартапов с точки зрения основателей высокоростовых компаний». И агентная система составила план, прочитала 173(!) сайта и через несколько минут собрала для меня отчёт с ответом.
The result was a 17 page paper with 118 references! But is it any good? I have taught the introductory entrepreneurship class at Wharton for over a decade, published on the topic, started companies myself, and even wrote a book on entrepreneurship, and I think this is pretty solid. I didn’t spot any obvious errors, but you can read it yourself if you would like here. The biggest issue is not accuracy, but that the agent is limited to public non-paywalled websites, and not scholarly or premium publications. It also is a bit shallow and does not make strong arguments in the face of conflicting evidence. So not as good as the best humans, but better than a lot of reports that I see.
Результатом стала 17-страничная работа со 118 ссылками! Но насколько она хороша? Я преподаю вводный курс предпринимательства в Wharton уже более десяти лет, публиковался по этой теме, сам основывал компании и даже написал книгу о предпринимательстве — и я считаю, что это довольно солидно. Я не заметил очевидных ошибок, но вы можете прочитать его сами, если хотите. Главная проблема — не точность, а то, что агент ограничен публичными сайтами без пейволов и не имеет доступа к научным или премиальным изданиям. Он также несколько поверхностен и не выстраивает сильных аргументов перед лицом противоречивых данных. Так что не настолько хорош, как лучшие люди, но лучше, чем многие отчёты, которые мне попадаются.
Still, this is a genuinely disruptive example of an agent with real value. Researching and report writing is a major task of many jobs. What Deep Research accomplished in three minutes would have taken a human many hours, though they might have added more nuanced analysis. Given that, anyone writing a research report should probably try Deep Research and see how it works as a starting place, even though a good final report will still require a human touch. I had a chance to speak with the leader of the Deep Research project, where I learned that it is just a pilot project from a small team. I thus suspect that other groups and companies that were highly incentivized to create narrow but effective agents would be able to do so. Narrow agents are now a real product, rather than a future possibility. There are already many coding agents, and you can use experimental open-source agents that do scientific and financial research.
И всё же это по-настоящему разрушительный пример агента с реальной ценностью. Поиск информации и написание отчётов — основная задача многих профессий. То, что Deep Research выполнил за три минуты, у человека заняло бы много часов — хотя он, возможно, добавил бы более тонкий анализ. С учётом этого, любому, кто пишет исследовательский отчёт, стоит попробовать Deep Research и посмотреть, как он работает в качестве стартовой точки, даже если хороший итоговый отчёт всё равно потребует человеческой руки. Мне удалось поговорить с руководителем проекта Deep Research, и я узнал, что это лишь пилотный проект небольшой команды. Поэтому я подозреваю, что другие группы и компании, сильно мотивированные создавать узких, но эффективных агентов, смогут это сделать. Узкие агенты теперь — реальный продукт, а не возможность будущего. Уже существует множество кодинг-агентов, и можно использовать экспериментальных open-source агентов, которые ведут научные и финансовые исследования.
Narrow agents are specialized for a particular task, which means they are somewhat limited. That raises the question of whether we soon see generalist agents where you can just ask the AI anything and it will use a computer and the internet to do it. Simon Willison thinks not despite what Sam Altman has argued. We will learn more as the year progresses, but if general agentic systems work reliably and safely, that really will change things, as it allows smart AIs to take action in the world.
Узкие агенты специализированы под конкретную задачу, а значит, несколько ограничены. Возникает вопрос: увидим ли мы вскоре универсальных агентов, у которых можно просто попросить что угодно, и они воспользуются компьютером и интернетом, чтобы это сделать. Simon Willison считает, что нет, несмотря на то что утверждает Sam Altman. По мере хода года мы узнаем больше, но если универсальные агентные системы будут работать надёжно и безопасно, это действительно всё изменит, поскольку позволит умным ИИ действовать в реальном мире.
Many smaller advances are happening
Происходит множество более мелких подвижек
Agents and very smart models are the core elements needed for transformative AI, but there are many other pieces as well that seem to be making rapid progress. This includes advances in how much AIs can remember (context windows) and multimodal capabilities that allow them to see and speak. It can be helpful to look back a little to get a sense of progress. For example, I have been testing the prompt “otter on a plane using wifi” for image and video models since before ChatGPT came out. In October, 2023, that prompt got you this terrifying monstrosity.
Агенты и очень умные модели — ключевые элементы, необходимые для трансформационного ИИ, но есть и множество других составляющих, в которых заметен быстрый прогресс. Сюда входят успехи в том, сколько ИИ могут запоминать (контекстные окна), и мультимодальные возможности, позволяющие им видеть и говорить. Полезно оглянуться назад, чтобы оценить прогресс. Например, я тестировал промпт «otter on a plane using wifi» («выдра в самолёте, пользующаяся wifi») в моделях для изображений и видео ещё до выхода ChatGPT. В октябре 2023 года этот промпт давал вам вот это пугающее чудовище.
Less than 18 months later, multiple image creation tools nail the prompt. The result is that I have had to figure out something more challenging (this is an example of benchmark saturation, where old benchmarks get beaten by the AI). I decided to take a few minutes and see how far I could get with Google’s Veo 2 video model in producing a movie of the otter’s journey. The video you see below took less than 15 minutes of active work, although I had to wait a bit for the videos to be created. Take a look at the quality of the shadows and light. I especially appreciate how the otter opens the computer at the end.
Менее чем за 18 месяцев несколько инструментов генерации изображений идеально справляются с промптом. В результате мне пришлось придумывать что-то посложнее (это пример насыщения бенчмарков, когда старые тесты ИИ обходит). Я решил потратить несколько минут и посмотреть, как далеко смогу зайти с видеомоделью Google Veo 2 в создании фильма про путешествие выдры. Видео, которое вы увидите ниже, заняло меньше 15 минут активной работы, хотя пришлось подождать, пока ролики сгенерируются. Посмотрите на качество теней и света. Особенно мне нравится, как выдра в конце открывает компьютер.
And, to up the ante even further, I decided to turn the saga of the otter into a 1980s style science fiction anime featuring otters in space and a period-appropriate theme song (thanks to Suno). Again, very little (human) work was involved.
И, чтобы поднять ставки ещё выше, я решил превратить сагу о выдре в научно-фантастическое аниме в стиле 1980-х с выдрами в космосе и тематической песней в духе эпохи (спасибо Suno). И снова — очень мало (человеческой) работы.
What of the flood?
Что насчёт потопа?
Given all of this, how seriously should we take the claims of the AI labs that a flood of intelligence is coming? Even if we only consider what we've already seen - the o3 benchmarks shattering previous barriers, narrow agents conducting complex research, and multimodal systems creating increasingly sophisticated content - we're looking at capabilities that could transform many knowledge-based tasks. And yet the labs insist this is merely the start, that far more capable systems and general agents are imminent.
С учётом всего этого, насколько серьёзно стоит относиться к заявлениям ИИ-лабораторий о грядущем потопе интеллекта? Даже если рассматривать только то, что мы уже видели — бенчмарки o3, разбивающие прежние барьеры, узких агентов, ведущих сложные исследования, и мультимодальные системы, создающие всё более изощрённый контент, — мы смотрим на возможности, которые могут трансформировать множество задач, основанных на знаниях. И всё же лаборатории настаивают, что это лишь начало, что куда более мощные системы и универсальные агенты не за горами.
What concerns me most isn't whether the labs are right about this timeline - it's that we're not adequately preparing for what even current levels of AI can do, let alone the chance that they might be correct. While AI researchers are focused on alignment, ensuring AI systems act ethically and responsibly, far fewer voices are trying to envision and articulate what a world awash in artificial intelligence might actually look like. This isn't just about the technology itself; it's about how we choose to shape and deploy it. These aren't questions that AI developers alone can or should answer. They're questions that demand attention from organizational leaders who will need to navigate this transition, from employees whose work lives may transform, and from stakeholders whose futures may depend on these decisions. The flood of intelligence that may be coming isn't inherently good or bad - but how we prepare for it, how we adapt to it, and most importantly, how we choose to use it, will determine whether it becomes a force for progress or disruption. The time to start having these conversations isn't after the water starts rising - it's now.
Больше всего меня беспокоит не то, правы ли лаборатории насчёт сроков, — а то, что мы не готовимся адекватно к тому, что уже умеют нынешние ИИ, не говоря уже о шансе, что лаборатории окажутся правы. Пока ИИ-исследователи сосредоточены на alignment, обеспечении того, чтобы ИИ-системы действовали этично и ответственно, гораздо меньше голосов пытаются представить и сформулировать, как на самом деле может выглядеть мир, наводнённый искусственным интеллектом. Речь не только о самой технологии — речь о том, как мы решим её формировать и развёртывать. На эти вопросы не могут и не должны отвечать одни лишь разработчики ИИ. Это вопросы, требующие внимания от руководителей организаций, которым предстоит управлять этим переходом, от сотрудников, чья трудовая жизнь может измениться, и от стейкхолдеров, чьё будущее может зависеть от этих решений. Возможный потоп интеллекта сам по себе не хорош и не плох — но то, как мы к нему подготовимся, как адаптируемся и, самое главное, как решим его использовать, определит, станет ли он силой прогресса или разрушения. Время начинать эти разговоры — не после того, как вода начнёт прибывать, а сейчас.
I asked Claude to read over the completed document and give me feedback and it wrote: “The parenthetical comment about Claude 3.5 could potentially benefit from an update or revision since it's mentioned as an example of potential AGI. As Claude 3.5 Sonnet, I should note that I can't verify specific claims about my capabilities in relation to AGI.”
Я попросил Claude прочитать готовый документ и дать мне обратную связь, и он написал: «Замечание в скобках о Claude 3.5, возможно, стоит обновить или пересмотреть, поскольку он упомянут как пример потенциального AGI. Как Claude 3.5 Sonnet, я должен отметить, что не могу подтвердить конкретные утверждения о своих возможностях в связи с AGI».
They skipped the name o2 because it is the name of a telephone company in the UK, AI naming continues to be very bad.
Они пропустили название o2, потому что это название телефонной компании в Великобритании; нейминг в ИИ по-прежнему очень плох.
The caveat for GPQA is that the data is publicly available, and it is possible that the model trained on that data, either by accident or on purpose, although there is no indication that it did so. The caveat from the Frontier Math test is that the problems differ in difficulty level, Tier 1 are hard Math Olympiad problems, Tier 2 are graduate level problems, and Tier 3 are genuine research-level problems. In the words of the mathematician in charge, of o3’s correct answers: “40% have been Tier 1, 50% Tier 2, and 10% Tier 3. However, most Tier 3 “solutions”—and many Tier 2 ones—stem from heuristic shortcuts rather than genuine mathematical understanding.” The caveat for ARC-AGI is that it required a lot of very expensive computer time for o3 to run long enough to achieve its high score.
Оговорка к GPQA состоит в том, что данные находятся в открытом доступе, и возможно, что модель обучалась на этих данных — случайно или намеренно, — хотя признаков этого нет. Оговорка к тесту Frontier Math в том, что задачи различаются по сложности: Tier 1 — сложные задачи уровня Математической олимпиады, Tier 2 — задачи уровня аспирантуры, а Tier 3 — настоящие исследовательские задачи. По словам ответственного математика, среди правильных ответов o3: «40% относились к Tier 1, 50% — к Tier 2 и 10% — к Tier 3. Однако большинство „решений“ Tier 3 — и многие из Tier 2 — основаны на эвристических обходных путях, а не на подлинном математическом понимании». Оговорка к ARC-AGI в том, что o3 потребовалось очень много дорогостоящего машинного времени, чтобы проработать достаточно долго и достичь своего высокого результата.