What just happened

What just happened

Что только что произошло

A transformative month rewrites the capabilities of AI

Переломный месяц переписывает возможности ИИ

The last month has transformed the state of AI, with the pace picking up dramatically in just the last week. AI labs have unleashed a flood of new products - some revolutionary, others incremental - making it hard for anyone to keep up. Several of these changes are, I believe, genuine breakthroughs that will reshape AI's (and maybe our) future. Here is where we now stand:

За последний месяц состояние дел в сфере ИИ кардинально изменилось, причём темп резко ускорился буквально за последнюю неделю. Лаборатории ИИ обрушили на нас поток новых продуктов — одни революционные, другие инкрементальные, — и уследить за всем этим крайне сложно. Некоторые из этих изменений, на мой взгляд, являются подлинными прорывами, которые изменят будущее ИИ (а может быть, и наше). Вот где мы сейчас находимся:

Smart AIs are now everywhere

Умные ИИ теперь повсюду

At the end of last year, there was only one publicly available GPT-4/Gen2 class model, and that was GPT-4. Now there are between six and ten such models, and some of them are open weights, which means they are free for anyone to use or modify. From the US we have OpenAI’s GPT-4o, Anthropic’s Claude Sonnet 3.5, Google’s Gemini 1.5, the open Llama 3.2 from Meta, Elon Musk’s Grok 2, and Amazon’s new Nova. Chinese companies have released three open multi-lingual models that appear to have GPT-4 class performance, notably Alibaba’s Qwen, R1’s DeepSeek, and 01.ai’s Yi. Europe has a lone entrant in the space, France’s Mistral. What this word salad of confusing names means is that building capable AIs did not involve some magical formula only OpenAI had, but was available to companies with computer science talent and the ability to get the chips and power needed to train a model.

В конце прошлого года существовала лишь одна общедоступная модель класса GPT-4/Gen2, и это была GPT-4. Сейчас таких моделей от шести до десяти, причём некоторые из них имеют открытые веса — то есть доступны бесплатно для использования и модификации. Из США у нас есть GPT-4o от OpenAI, Claude Sonnet 3.5 от Anthropic, Gemini 1.5 от Google, открытая Llama 3.2 от Meta, Grok 2 от Илона Маска и новая Nova от Amazon. Китайские компании выпустили три открытые мультиязычные модели, по всей видимости, соответствующие уровню GPT-4, — в первую очередь Qwen от Alibaba, DeepSeek от R1 и Yi от 01.ai. Европу представляет единственный участник — французская Mistral. Что означает весь этот словесный салат из запутанных названий: создание мощных ИИ не требовало какой-то магической формулы, доступной только OpenAI, а было по силам компаниям, обладающим талантами в области computer science и возможностью получить чипы и электроэнергию, необходимые для обучения модели.

In fact, GPT-4 level artificial intelligence, so startling when it was released that it led to considerable anxiety about the future, can now be run on my home computer. Meta’s newest small model, released this month, named Llama 3.3, offers similar performance and can operate entirely offline on my gaming PC. And the new, tiny Phi 4 from Microsoft is GPT-4 level and can almost run on your phone, while its slightly less capable predecessor, Phi 3.5, certainly can. Intelligence, of a sort, is available on demand.

Более того, искусственный интеллект уровня GPT-4 — настолько поразивший мир при своём выходе, что вызвал серьёзную тревогу о будущем, — теперь можно запустить на моём домашнем компьютере. Новейшая малая модель Meta, выпущенная в этом месяце под названием Llama 3.3, обеспечивает сопоставимую производительность и может работать полностью офлайн на моём игровом ПК. А новая крохотная Phi 4 от Microsoft соответствует уровню GPT-4 и почти способна работать на вашем телефоне, тогда как её чуть менее мощная предшественница Phi 3.5 точно может. Интеллект — в некотором смысле — теперь доступен по запросу.

And, as I have discussed (and will post about again soon), these ubiquitous AIs are now starting to power agents, autonomous AIs that can pursue their own goals. You can see what that means in this post, where I use early agents to do comparison shopping and monitor a construction site.

И, как я уже обсуждал (и скоро напишу об этом снова), эти вездесущие ИИ теперь начинают приводить в действие агентов — автономные ИИ, способные преследовать собственные цели. Что это значит на практике, вы можете увидеть в этом посте, где я использую ранних агентов для сравнения цен и мониторинга строительной площадки.

VERY smart AIs are now here

ОЧЕНЬ умные ИИ уже здесь

All of this means that if GPT-4 level performance was the maximum an AI could achieve, that would likely be enough for us to have five to ten years of continued change as we got used to their capabilities. But there isn’t a sign that a major slowdown in AI development is imminent. We know this because the last month has had two other significant releases - the first sign of the Gen3 models (you can think of these as GPT-5 class models) and the release of the o1 models that can “think” before answering, effectively making them much better reasoners than other LLMs. We are in the early days of Gen3 releases, so I am not going to write about them too much in this post, but I do want to talk about o1.

Всё это означает, что если бы уровень GPT-4 был потолком возможностей ИИ, нам, вероятно, хватило бы пяти-десяти лет непрерывных изменений, пока мы осваивали бы эти возможности. Но признаков серьёзного замедления в развитии ИИ не наблюдается. Мы знаем это, потому что за последний месяц произошли два других значимых релиза — первый признак моделей Gen3 (их можно считать моделями класса GPT-5) и выход моделей o1, которые умеют «думать» перед ответом, что делает их значительно лучшими логиками по сравнению с другими LLM. Мы находимся в самом начале эпохи Gen3, поэтому не буду подробно писать о них в этом посте, но хочу поговорить об o1.

I discussed the o1 release when it came out in early o1-preview form, but two more sophisticated variants, o1 and o1-pro, have considerably increased power. These models spend time invisibly “thinking” - mimicking human logical problem solving - before answering questions. This approach, called test time compute, turns out to be a key to making models better at problem solving. In fact, these models are now smart enough to make meaningful contributions to research, in ways big and small.

Я обсуждал релиз o1, когда он вышел в ранней версии o1-preview, но две более продвинутые модификации — o1 и o1-pro — значительно нарастили мощность. Эти модели тратят время на невидимое «размышление» — имитируя человеческое логическое решение задач — прежде чем ответить на вопрос. Этот подход, называемый test time compute, оказался ключом к улучшению способности моделей решать задачи. Собственно, эти модели уже достаточно умны, чтобы вносить значимый вклад в исследования — как в большом, так и в малом.

As one fun example, I read an article about a recent social media panic - an academic paper suggested that black plastic utensils could poison you because they were partially made with recycled e-waste. A compound called BDE-209 could leach from these utensils at such a high rate, the paper suggested, that it would approach the safe levels of dosage established by the EPA. A lot of people threw away their spatulas, but McGill University’s Joe Schwarcz thought this didn’t make sense and identified a math error where the authors incorrectly multiplied the dosage of BDE-209 by a factor of 10 on the seventh page of the article - an error missed by the paper’s authors and peer reviewers. I was curious if o1 could spot this error. So, from my phone, I pasted in the text of the PDF and typed: “carefully check the math in this paper.” That was it. o1 spotted the error immediately (other AI models did not).

Вот один занимательный пример: я прочитал статью о недавней панике в соцсетях — в научной работе утверждалось, что чёрные пластиковые столовые приборы могут вас отравить, потому что частично изготовлены из переработанных электронных отходов. Соединение BDE-209 якобы вымывалось из этих приборов в таком количестве, что приближалось к безопасным дозам, установленным EPA. Множество людей выбросили свои лопатки, но Джо Шварц из Университета Макгилла заподозрил неладное и обнаружил арифметическую ошибку: на седьмой странице статьи авторы ошибочно умножили дозировку BDE-209 на 10 — ошибка, пропущенная и авторами, и рецензентами. Мне стало интересно, сможет ли o1 заметить эту ошибку. И вот прямо с телефона я вставил текст PDF и набрал: «тщательно проверь математику в этой статье». Всё. o1 мгновенно нашла ошибку (другие ИИ-модели — нет).

When models are capable enough to not just process an entire academic paper, but to understand the context in which “checking math” makes sense, and then actually check the results successfully, that radically changes what AIs can do. In fact, my experiment, along with others doing the same thing, helped inspire an effort to see how often o1 can find errors in the scientific literature. We don’t know how frequently o1 can pull off this sort of feat, but it seems important to find out, as it points to a new frontier of capabilities.

Когда модели способны не просто обработать целую научную статью, но и понять контекст, в котором «проверка математики» имеет смысл, а затем действительно успешно проверить результаты — это радикально меняет возможности ИИ. Собственно, мой эксперимент, наряду с аналогичными опытами других людей, вдохновил инициативу по выяснению того, как часто o1 может находить ошибки в научной литературе. Мы пока не знаем, насколько часто o1 способна на подобное, но выяснить это представляется важным, поскольку это указывает на новый рубеж возможностей.

In fact, even the earlier version of o1, the preview model, seems to represent a leap in scientific ability. A bombshell of a medical working paper from Harvard, Stanford, and other researchers concluded that “o1-preview demonstrates superhuman performance [emphasis mine] in differential diagnosis, diagnostic clinical reasoning, and management reasoning, superior in multiple domains compared to prior model generations and human physicians." The paper has not been through peer review yet, and it does not suggest that AI can replace doctors, but it, along with the results above, does suggest a changing world where not using AI as a second opinion may soon be a mistake.

Более того, даже ранняя версия o1 — preview-модель — по-видимому, представляет собой скачок в научных способностях. Сенсационный медицинский препринт от исследователей из Гарварда, Стэнфорда и других университетов заключил, что «o1-preview демонстрирует сверхчеловеческую производительность [выделение моё] в дифференциальной диагностике, клиническом диагностическом мышлении и принятии решений по лечению, превосходя в ряде областей как предыдущие поколения моделей, так и врачей-людей». Статья ещё не прошла рецензирование и не утверждает, что ИИ может заменить врачей, но она, наряду с приведёнными выше результатами, указывает на меняющийся мир, в котором отказ от использования ИИ как «второго мнения» вскоре может стать ошибкой.

Potentially more significantly, I have increasingly been told by researchers that o1, and especially o1-pro, is generating novel ideas and solving unexpected problems in their field (here is one case). The issue is that only experts can now evaluate whether the AI is wrong or right. As an example, my very smart colleague at Wharton, Daniel Rock, asked me to give o1-pro a challenge: “ask it to prove, using a proof that isn’t in the literature, the universal function approximation theorem for neural networks without 1) assuming infinitely wide layers and 2) for more than 2 layers.” Here is what it wrote back:

Возможно, ещё более значимо то, что исследователи всё чаще говорят мне: o1, и особенно o1-pro, генерирует новые идеи и решает неожиданные проблемы в их области (вот один пример). Проблема в том, что теперь только эксперты могут оценить, права модель или нет. Для примера: мой очень умный коллега из Wharton, Daniel Rock, попросил меня дать o1-pro задание: «попроси её доказать, используя доказательство, которого нет в литературе, теорему об универсальной аппроксимации функций для нейронных сетей без 1) допущения о бесконечной ширине слоёв и 2) для более чем двух слоёв». Вот что она ответила:

Is this right? I have no idea. This is beyond my fields of expertise. Daniel and other experts who looked at it couldn’t tell whether it was right at first glance, either, but felt it was interesting enough to look into. It turns out the proof has errors (though it might be that more interactions with o1-pro could fix them). But the results still introduced some novel approaches that spurred further thinking. As Daniel noted to me, when used by researchers, o1 doesn’t need to be right to be useful: “Asking o1 to complete proofs in creative ways is effectively asking it to be a research colleague. The model doesn't have to get proofs right to be useful, it just has to help us be better researchers.”

Верно ли это? Понятия не имею. Это за пределами моей экспертизы. Daniel и другие эксперты, которые посмотрели на это, тоже не смогли сходу определить, правильно ли доказательство, но сочли его достаточно интересным, чтобы разобраться подробнее. Выяснилось, что в доказательстве есть ошибки (хотя, возможно, дополнительное взаимодействие с o1-pro могло бы их исправить). Тем не менее результаты содержали некоторые новые подходы, которые стимулировали дальнейшее мышление. Как заметил мне Daniel, когда o1 используется исследователями, ей не обязательно быть правой, чтобы быть полезной: «Просить o1 выполнять доказательства нестандартными способами — это фактически просить её быть коллегой-исследователем. Модели не обязательно давать правильные доказательства, чтобы быть полезной, — ей достаточно помогать нам быть лучшими исследователями».

We now have an AI that seems to be able to address very hard, PhD-level problems, or at least work productively as a co-intelligence for researchers trying to solve them. Of course, the issue is that you don’t actually know if these answers are right unless you are a PhD in a field yourself, creating a new set of challenges in AI evaluation. Further testing will be needed to understand how useful it is, and in what fields, but this new frontier in AI ability is worth watching.

Теперь у нас есть ИИ, который, по всей видимости, способен решать очень сложные задачи уровня PhD — или, по крайней мере, продуктивно работать как со-интеллект для исследователей, пытающихся их решить. Разумеется, проблема в том, что вы не узнаете, верны ли эти ответы, если сами не являетесь PhD в соответствующей области, — и это создаёт новый набор вызовов в оценке ИИ. Потребуются дополнительные исследования, чтобы понять, насколько это полезно и в каких областях, но этот новый рубеж возможностей ИИ заслуживает пристального внимания.

AIs can watch and talk to you

ИИ может видеть вас и разговаривать с вами

We have had AI voice models for a few months, but the last week saw the introduction of a new capability - vision. Both ChatGPT and Gemini can now see live video and interact with voice simultaneously. For example, I can now share a live screen with Gemini’s new small Gen3 model, Gemini 2.0 Flash. You should watch it give me feedback on a draft of this post to see what this feels like:

Голосовые ИИ-модели существуют уже несколько месяцев, но на прошлой неделе появилась новая возможность — зрение. И ChatGPT, и Gemini теперь могут одновременно видеть живое видео и общаться голосом. Например, я могу транслировать свой экран в реальном времени новой малой модели Gen3 от Google — Gemini 2.0 Flash. Посмотрите, как она даёт мне обратную связь по черновику этого поста, чтобы почувствовать, как это работает:

Or even better, try it yourself for free. Seriously, it is worth experiencing what this system can do. Gemini 2.0 Flash is still a small model with a limited memory, but you start to see the point here. Models that can interact with humans in real time through the most common human senses - vision and voice - turn AI into present companions, in the room with you, rather than entities trapped in a chat box on your computer. The fact that ChatGPT Advanced Voice Mode can do the same thing from your phone means this capability is widely available to millions of users. The implications are going to be quite profound as AI becomes more present in our lives.

А ещё лучше — попробуйте сами бесплатно. Серьёзно, стоит лично ощутить, на что способна эта система. Gemini 2.0 Flash — всё ещё малая модель с ограниченной памятью, но суть вы уловите. Модели, способные взаимодействовать с людьми в реальном времени через основные человеческие каналы — зрение и голос — превращают ИИ из сущности, запертой в окне чата на вашем компьютере, в присутствующего рядом компаньона. Тот факт, что ChatGPT Advanced Voice Mode может делать то же самое с вашего телефона, означает, что эта возможность уже доступна миллионам пользователей. Последствия будут весьма глубокими по мере того, как ИИ всё больше входит в нашу жизнь.

AI video suddenly got very good

ИИ-видео внезапно стало очень качественным

AI image creation has become really impressive over the past year, with models that can run on my laptop producing images that are indistinguishable from real photographs. They have also become much easier to direct, responding appropriately for the prompts “otter on a plane using bluetooth” and “otter on a plane using wifi.” If you want to experiment yourself, Google’s ImageFX is a really easy interface for using the powerful Imagen 3 model which was released in the last week.

Генерация изображений с помощью ИИ стала действительно впечатляющей за последний год — модели, работающие на моём ноутбуке, создают изображения, неотличимые от реальных фотографий. Управлять ими тоже стало гораздо проще: они корректно реагируют на промпты вроде «выдра в самолёте пользуется bluetooth» и «выдра в самолёте пользуется wifi». Если хотите поэкспериментировать сами, Google ImageFX — очень удобный интерфейс для работы с мощной моделью Imagen 3, выпущенной на прошлой неделе.

But the real leap in the last week has come from AI text-to-video generators. Previously, AI models from Chinese companies generally represented the state-of-the-art in video generation, including impressive systems like Kling, as well as some open models. But the situation is changing rapidly. First, OpenAI released its powerful Sora tool and then Google, in what has become a theme of late, released its even more powerful Veo 2 video creator. You can play with Sora now if you subscribe to ChatGPT Plus, and it is worth doing, but I got early access to Veo 2 (coming in a month or two, apparently) and it is… astonishing.

Но настоящий прорыв за последнюю неделю произошёл в генераторах видео из текста. Раньше передовые позиции в генерации видео занимали модели китайских компаний, включая впечатляющие системы вроде Kling, а также ряд открытых моделей. Но ситуация стремительно меняется. Сначала OpenAI выпустила свой мощный инструмент Sora, а затем Google — в духе последних тенденций — представила ещё более мощный видеогенератор Veo 2. Поиграть с Sora можно прямо сейчас, если вы подписаны на ChatGPT Plus, и это стоит сделать, но я получил ранний доступ к Veo 2 (публичный релиз, судя по всему, через месяц-два), и это… поразительно.

It is always better to show than tell, so take a look at this compilation of 8 second clips (the limit for right now, though it can apparently do much longer movies). I provide the exact prompt in each clip, and the clips are only selected from the very first set of movies that Veo 2 made (it creates four clips at a time), so there is no cherry-picking from many examples. Pay attention to the apparent weight and heft of objects, shadows and reflection, the consistency across scenes as hair style and details are maintained, and how close the scenes are to what I asked for (the red balloon is there, if you look for it). There are errors, but they are now much harder to spot at first glance (though it still struggles with gymnastics, which are very hard for video models). Really impressive.

Лучше один раз увидеть, чем сто раз услышать, поэтому взгляните на эту подборку восьмисекундных клипов (пока это максимальная длительность, хотя система способна на гораздо более длинные ролики). Я привожу точный промпт в каждом клипе, и клипы выбраны из самой первой серии видео, созданных Veo 2 (она генерирует четыре клипа за раз), так что никакой выборки из множества примеров нет. Обратите внимание на кажущийся вес и массу объектов, тени и отражения, последовательность между сценами — причёска и детали сохраняются, — и на то, насколько сцены соответствуют запросу (красный воздушный шарик на месте, если присмотреться). Ошибки есть, но их стало гораздо сложнее заметить с первого взгляда (хотя гимнастика по-прежнему даётся видеомоделям с трудом). Действительно впечатляюще.

What does this all mean?

Что всё это значит?

I will save a more detailed reflection for a future post, but the lesson to take away from this is that, for better and for worse, we are far from seeing the end of AI advancement. What's remarkable isn't just the individual breakthroughs - AIs checking math papers, generating nearly cinema-quality video clips, or running on gaming PCs. It's the pace and breadth of change. A year ago, GPT-4 felt like a glimpse of the future. Now it's basically running on phones, while new models are catching errors that slip past academic peer review. This isn't steady progress - we're watching AI take uneven leaps past our ability to easily gauge its implications. And this suggests that the opportunity to shape how these technologies transform your field exists now, when the situation is fluid, and not after the transformation is complete.

Более подробные размышления я приберегу для будущего поста, но главный вывод таков: к лучшему это или к худшему, мы далеки от конца прогресса в ИИ. Поражают не столько отдельные прорывы — ИИ проверяет математику в научных статьях, генерирует видеоклипы почти кинематографического качества или работает на игровых ПК. Поражают темп и широта изменений. Год назад GPT-4 казалась окном в будущее. Теперь она, по сути, работает на телефонах, а новые модели ловят ошибки, проскользнувшие мимо академического рецензирования. Это не плавный прогресс — мы наблюдаем, как ИИ совершает неравномерные скачки, опережая нашу способность легко оценить последствия. А это значит, что возможность определить, как эти технологии трансформируют вашу область, существует сейчас, пока ситуация подвижна, а не после того, как трансформация завершится.

Share

Поделиться