The recent history of AI in 32 otters

The recent history of AI in 32 otters

Недавняя история ИИ в 32 выдрах

Three years of progress as shown by marine mammals

Три года прогресса, показанные морскими млекопитающими

Two years ago, I was on a plane with my teenage daughter, messing around with a new AI image generator while the wifi refused to work. Otters were her favorite animal, so naturally I typed: “otter on a plane using wifi” just as the connection was restored. The resulting thread went viral and “otter on a plane using wifi” has since become one of my go-to tests of progress AI image generation.

Два года назад я летел в самолёте со своей дочерью-подростком и баловался с новым ИИ-генератором изображений, пока wifi отказывался работать. Выдры были её любимыми животными, так что я естественным образом набрал: «выдра в самолёте с wifi» — как раз когда соединение восстановилось. Получившийся тред стал вирусным, и «выдра в самолёте с wifi» с тех пор стала одним из моих любимых тестов прогресса в ИИ-генерации изображений.

What started as a silly prompt has become my accidental benchmark for AI progress. And tracking these otters over the years reveals three major shifts in AI over the past few years: the growth of multiple types of AI tools, rapid improvement, and the status of local and open models.

То, что началось как глупый промпт, стало моим случайным бенчмарком прогресса ИИ. И отслеживание этих выдр на протяжении лет раскрывает три крупных сдвига в ИИ за последние несколько лет: рост множества типов ИИ-инструментов, быстрое улучшение и статус локальных и открытых моделей.

Diffusion models

Диффузионные модели

The first otters I created were made with image generation tools. For most of the very recent history of AI, image generation used a process called diffusion, which works fundamentally differently from Large Language Models like ChatGPT. While LLMs generate text one word at a time, always moving forward, diffusion models start with random static and transform the entire image simultaneously through dozens of steps. It is like the difference between writing a story sentence by sentence versus starting with a marble block and gradually sculpting it into a statue, every part of the image is being refined at once, not built up sequentially. Instead of predicting "what comes next?" like a language model, diffusion models predict "what should this noise become?" and transform randomness into coherent images through repeated refinement.

Первые выдры, которые я создал, были сделаны с помощью инструментов генерации изображений. На протяжении большей части совсем недавней истории ИИ генерация изображений использовала процесс под названием диффузия, который работает принципиально иначе, чем большие языковые модели вроде ChatGPT. В то время как LLM генерируют текст по одному слову, всегда двигаясь вперёд, диффузионные модели начинают со случайного шума и преобразуют всё изображение целиком за десятки шагов. Это как разница между написанием истории предложение за предложением и началом с мраморной глыбы, которую постепенно вытёсывают в статую: каждая часть изображения уточняется одновременно, а не выстраивается последовательно. Вместо того чтобы предсказывать «что идёт дальше?», как языковая модель, диффузионные модели предсказывают «чем должен стать этот шум?» и превращают случайность в связные изображения через повторяющееся уточнение.

There are a number of diffusion models out there, but I have tended to use Midjourney, which has been around longer than many other AI tools. Using Midjourney allows us to see how diffusion models have developed over time, as you can see with the simple prompt “otter on a plane using wifi” (for every image and video in this post, I pick the best out of the first four images generated). We go from melted fur at the start of 2022 to a visible otter (with too many fingers and a weird keyboard) at the end of that year. In 2023, we get a photorealistic otter, but still a weird keyboard and plane windows. In 2024, the lighting and positioning become better, and by 2025 we have excellent photorealism.

Существует немало диффузионных моделей, но я обычно использовал Midjourney, который существует дольше многих других ИИ-инструментов. Использование Midjourney позволяет увидеть, как диффузионные модели развивались со временем, что видно на простом промпте «выдра в самолёте с wifi» (для каждого изображения и видео в этом посте я выбираю лучшее из первых четырёх сгенерированных). Мы переходим от расплавленного меха в начале 2022 года к различимой выдре (со слишком большим числом пальцев и странной клавиатурой) в конце того же года. В 2023 году мы получаем фотореалистичную выдру, но всё ещё странную клавиатуру и иллюминаторы. В 2024 году освещение и расположение становятся лучше, а к 2025-му у нас отличный фотореализм.

But what makes diffusion models interesting is not their increasing ability to make photorealistic images, but rather the fact that they can create images in various styles. This cuts to the heart of why AI image generation is so controversial, as many AI models are trained on images from throughout the web, including copyrighted work, and can thus replicate images in the style of living artists without their permission or compensation. But you can see how this works when applied to older artists and styles. Here is “otter on a plane using wifi” in the style of the Bayeux Tapestry, Egon Schiele, street art graffiti, and a Japanese Ukiyo-e print. (The wider your knowledge of art history, the more you can make these image creators do).

Но интересными диффузионные модели делает не их растущая способность создавать фотореалистичные изображения, а скорее тот факт, что они могут создавать изображения в самых разных стилях. Это бьёт в самую суть того, почему ИИ-генерация изображений столь спорна: многие ИИ-модели обучены на изображениях со всего интернета, включая защищённые авторским правом работы, и потому могут воспроизводить изображения в стиле живущих художников без их разрешения или компенсации. Но как это работает, можно увидеть на примере старых художников и стилей. Вот «выдра в самолёте с wifi» в стиле гобелена из Байё, Эгона Шиле, уличного граффити и японской гравюры укиё-э. (Чем шире ваши знания истории искусства, тем больше вы можете заставить эти генераторы изображений делать.)

Diffusion models are not limited to existing styles. Midjourney lets any creator train the model to create images in a style they like and then share those unique “style codes.” If I end a prompt with one of these style codes, I get very different results: ranging from cyberpunk otters to cartoon ones.

Диффузионные модели не ограничены существующими стилями. Midjourney позволяет любому автору обучить модель создавать изображения в понравившемся ему стиле, а затем поделиться этими уникальными «кодами стиля». Если я завершаю промпт одним из таких кодов стиля, я получаю совершенно разные результаты: от киберпанк-выдр до мультяшных.

I want to show you one last diffusion image, but this one is fundamentally different. I created it on my home computer using Flux. Unlike proprietary AI models like Midjourney or ChatGPT that run in corporate data centers, open weights models can be downloaded, modified, and run by anyone, anywhere. This high-quality image wasn't generated by a tech giant's servers but by the graphics card on my PC (you can also see ComfyUI, the interface I used to generate the image). It is remarkably close to the quality of the best closed-source models.

Хочу показать вам ещё одно, последнее диффузионное изображение, но это — принципиально иное. Я создал его на своём домашнем компьютере с помощью Flux. В отличие от проприетарных ИИ-моделей вроде Midjourney или ChatGPT, которые работают в корпоративных дата-центрах, модели с открытыми весами можно скачать, изменить и запустить кому угодно и где угодно. Это высококачественное изображение было сгенерировано не серверами технологического гиганта, а видеокартой моего ПК (на нём также видно ComfyUI — интерфейс, который я использовал для генерации). Оно поразительно близко по качеству к лучшим закрытым моделям.

Whether open or proprietary, diffusion models tend to produce pretty random results, and creating a single quality image can often take multiple tries. The latest diffusion models (like Google’s Imagen 4) do better, but there is still a lot of luck and trial-and-error involved in a good output.

Будь то открытые или проприетарные, диффузионные модели обычно выдают довольно случайные результаты, и создание одного качественного изображения нередко требует нескольких попыток. Новейшие диффузионные модели (вроде Imagen 4 от Google) справляются лучше, но в хорошем результате всё ещё немало удачи и метода проб и ошибок.

Multimodal Image Generation

Мультимодальная генерация изображений

For most of the era of Large Language Models, when an LLM like ChatGPT created an image, it was actually calling on one of these diffusion models to make the image and show the results. Because this was all done indirectly (the LLM prompted the diffusion model which created the image), the process of creating an image seemed even more random than working with a standard image generator.

На протяжении большей части эпохи больших языковых моделей, когда LLM вроде ChatGPT создавала изображение, она на самом деле обращалась к одной из этих диффузионных моделей, чтобы та сделала изображение и показала результат. Поскольку всё это делалось косвенно (LLM давала промпт диффузионной модели, которая создавала изображение), процесс создания изображения казался ещё более случайным, чем работа со стандартным генератором изображений.

That changed with the release of multimodal image generation by OpenAI and Google in the past couple months. Unlike diffusion models that transform noise into images, multimodal generation lets Large Language Models directly create images by adding tiny patches of color one after another, just as they add words one after another. This gives AIs deep control over the images it creates. Here is "an otter on an airplane using wifi, on their laptop screen is image generation software creating an image of an otter on a plane using wifi," on my very first attempt.

Это изменилось с выходом мультимодальной генерации изображений от OpenAI и Google в последние пару месяцев. В отличие от диффузионных моделей, которые преобразуют шум в изображения, мультимодальная генерация позволяет большим языковым моделям напрямую создавать изображения, добавляя крошечные пятна цвета одно за другим — ровно так же, как они добавляют слова одно за другим. Это даёт ИИ глубокий контроль над создаваемыми изображениями. Вот «выдра в самолёте с wifi, на экране её ноутбука — программа генерации изображений, создающая изображение выдры в самолёте с wifi» — с моей самой первой попытки.

But now I have to confess something: my daughter's favorite animal is not just any otter, it is the sea otter, and every single image so far has been of the much more common river otter. Finally, with multimodal generation, I could vindicate myself as a father, as multimodal models can make specific changes and adjustments: "make it a sea otter instead, give it a mohawk, they should be using a Razer gaming laptop."

Но теперь мне придётся кое в чём признаться: любимое животное моей дочери — не просто выдра, а именно морская выдра (калан), а каждое изображение до сих пор было гораздо более распространённой речной выдрой. Наконец, с мультимодальной генерацией, я мог оправдаться как отец, ведь мультимодальные модели могут вносить конкретные изменения и правки: «сделай это морской выдрой, дай ей ирокез, пусть она пользуется игровым ноутбуком Razer».

I still use Midjourney and Imagen when I am trying to achieve a visual impact and when I am willing to spend a lot of time working through randomized images, but if I want a particular picture, I now always turn towards multimodal image generators. I suspect they will become increasingly common. As of yet, there are no open weights multimodal image generators, but that is likely to change soon.

Я по-прежнему использую Midjourney и Imagen, когда хочу добиться визуального эффекта и готов потратить много времени, перебирая случайные изображения, но если мне нужна конкретная картинка, я теперь всегда обращаюсь к мультимодальным генераторам изображений. Подозреваю, что они будут становиться всё более распространёнными. Пока что мультимодальных генераторов изображений с открытыми весами нет, но это, вероятно, скоро изменится.

Using Code for Images and “Sparks”

Использование кода для изображений и «искры»

Multimodal generation shows AI can control images with precision. But there's a deeper question: does AI actually understand what it's creating, or is it just recombining patterns from training data? To test true spatial reasoning, we can force AI to draw using code - no visual feedback, no pre-trained image patterns to lean on. It's like asking someone to paint blindfolded using only mathematical instructions.

Мультимодальная генерация показывает, что ИИ может точно контролировать изображения. Но есть более глубокий вопрос: действительно ли ИИ понимает, что создаёт, или он просто перекомбинирует паттерны из обучающих данных? Чтобы проверить настоящее пространственное мышление, мы можем заставить ИИ рисовать с помощью кода — без визуальной обратной связи, без предобученных паттернов изображений, на которые можно опереться. Это как попросить кого-то рисовать с завязанными глазами, пользуясь только математическими инструкциями.

One particularly challenging type of code to use to draw is TikZ, a mathematical language used for producing scientific diagrams in academic papers. It is so ill-suited to the purpose that the name TikZ stands for the recursive German phrase "TikZ ist kein Zeichenprogramm" (“TikZ is not a drawing program”). Because of that, there is very little training data on using TikZ for drawings, meaning the AI cannot “remember” code from its training, it has to make it up itself. Creating an image with pure math in this language is a difficult job. In fact, a TikZ drawing of a unicorn by the now obsolete GPT-4 was considered, in a hugely influential paper, to be a sign that LLMs might have a “spark” of AGI - otherwise how could it be so creative? Here is how that unicorn looked, for reference:

Один особенно сложный для рисования тип кода — это TikZ, математический язык для создания научных диаграмм в академических статьях. Он настолько непригоден для этой цели, что название TikZ расшифровывается как рекурсивная немецкая фраза «TikZ ist kein Zeichenprogramm» («TikZ — это не программа для рисования»). Из-за этого данных для обучения использованию TikZ в рисовании очень мало, а значит, ИИ не может «вспомнить» код из своего обучения — он должен придумать его сам. Создание изображения чистой математикой на этом языке — трудная задача. На самом деле, рисунок единорога на TikZ, сделанный ныне устаревшей GPT-4, был сочтён в чрезвычайно влиятельной статье признаком того, что у LLM может быть «искра» AGI — иначе как бы она могла быть настолько изобретательной? Вот как выглядел тот единорог, для справки:

I had a little less luck getting the old GPT-4 to draw an otter on a plane using wifi:

Мне повезло чуть меньше, когда я пытался заставить старую GPT-4 нарисовать выдру в самолёте с wifi:

But what happens if we ask a more recent model, like Gemini 2.5 Pro, to draw our otter with TikZ? It isn’t perfect (and Gemini took “on a plane” literally and made the otter sit on the wing), but if the pink unicorn showed a spark this certainly represents a larger leap.

Но что произойдёт, если попросить более свежую модель, например Gemini 2.5 Pro, нарисовать нашу выдру с помощью TikZ? Это не идеально (и Gemini понял «в самолёте» буквально и посадил выдру на крыло), но если розовый единорог показал искру, то это, безусловно, представляет собой более крупный скачок.

And open weights models are catching up here as well, though they generally remain a few months behind the frontier. The new version of DeepSeek r1, probably the best open weights model available, produces a TikZ otter that is not quite as good as the closed source models like Gemini, but I expect that it will continue to improve.

И модели с открытыми весами тоже здесь догоняют, хотя обычно остаются на несколько месяцев позади передового края. Новая версия DeepSeek r1, вероятно, лучшая доступная модель с открытыми весами, выдаёт выдру на TikZ, которая не настолько хороша, как закрытые модели вроде Gemini, но я ожидаю, что она продолжит улучшаться.

These drawings themselves aren’t as important as the fact that models are reasoning about spatial relationships from scratch. That is why the authors of the “Sparks” papers suggested these systems aren't just pattern-matching from training data but developing something closer to actual understanding.

Сами эти рисунки не так важны, как тот факт, что модели рассуждают о пространственных отношениях с нуля. Именно поэтому авторы статей про «искры» предположили, что эти системы не просто сопоставляют паттерны из обучающих данных, а развивают нечто более близкое к настоящему пониманию.

Video

Видео

If still images show impressive progress, video generation reveals just how fast AI is accelerating. This was an “otter on a plane using wifi on a computer” as generated by the best available video generator of July, 2024, Runway Gen-3 alpha.

Если неподвижные изображения показывают впечатляющий прогресс, то генерация видео раскрывает, насколько быстро ИИ ускоряется. Это была «выдра в самолёте с wifi на компьютере» в исполнении лучшего на тот момент доступного генератора видео в июле 2024 года — Runway Gen-3 alpha.

And this is in Google’s Veo 3 with the same prompt “otter on a plane using wifi on a computer” in 2025, less than a year later. Yes, the sound is 100% AI generated as well.

А это — в Veo 3 от Google с тем же промптом «выдра в самолёте с wifi на компьютере» в 2025 году, менее чем год спустя. Да, звук тоже на 100% сгенерирован ИИ.

And, continuing the theme, there are now open weights AI models that can run on my home computer that are behind the state-of-the-art, but catching up. Here are the results from Tencent’s HunyuanVideo for the same prompt. Yes, it's hideous - but this is made on my home computer, not a massive data center.

И, продолжая тему, теперь существуют ИИ-модели с открытыми весами, которые могут работать на моём домашнем компьютере, — они позади передового уровня, но догоняют. Вот результаты HunyuanVideo от Tencent для того же промпта. Да, это ужасно — но сделано на моём домашнем компьютере, а не в огромном дата-центре.

What this all means

Что всё это означает

The otter evolution reveals two crucial trends with some big implications. First, there clearly continues to be rapid improvement across a wide range of AI capabilities from image generation to video to LLM code generation. Second, open weights models, while not generally as good as proprietary models, are often only months behind the state-of-the-art.

Эволюция выдр раскрывает два ключевых тренда с серьёзными последствиями. Во-первых, явно продолжается быстрое улучшение по широкому спектру возможностей ИИ — от генерации изображений до видео и генерации кода LLM. Во-вторых, модели с открытыми весами, хотя в целом и не так хороши, как проприетарные, нередко отстают от передового уровня лишь на месяцы.

If you put these trends together, it becomes clear that we are heading towards a place where not only are image and video generations likely to be good enough to fool most people, but that those capabilities will be widely available and, thanks to open models, very hard to regulate or control. I think we need to be prepared for a world where it is impossible to tell real from AI-generated images and video, with implications for a wide swath of society, from the entertainment we enjoy to our trust for online content.

Если соединить эти тренды, становится ясно, что мы движемся к моменту, когда генерация изображений и видео не только, вероятно, станет достаточно хорошей, чтобы обмануть большинство людей, но и эти возможности будут широко доступны и, благодаря открытым моделям, очень трудно поддаваться регулированию или контролю. Думаю, нам нужно быть готовыми к миру, где невозможно отличить настоящие изображения и видео от сгенерированных ИИ, с последствиями для широкого среза общества — от развлечений, которые мы любим, до нашего доверия к онлайн-контенту.

That future is not far away, as you can see from this final video, which I made with simple text prompts to Veo 3. When you are done watching (and I apologize in advance for the results of the prompt “like the musical Cats but for otters”), look back at the first Midjourney image from 2022. The time between a text prompt producing abstracts masses of fur and those producing realistic videos with sound was less than three years.

Это будущее не за горами, что видно по этому финальному видео, которое я сделал простыми текстовыми промптами в Veo 3. Когда досмотрите (и заранее прошу прощения за результаты промпта «как мюзикл „Кошки“, но про выдр»), оглянитесь на первое изображение Midjourney из 2022 года. Время между текстовым промптом, выдающим абстрактные массы меха, и тем, что выдаёт реалистичные видео со звуком, составило менее трёх лет.

Share

Поделиться