No elephants: Breakthroughs in image generation
За две недели сначала Google, а затем OpenAI выпустили мультимодальную генерацию изображений — это качественный скачок. Раньше LLM не создавала картинку сама, а отправляла текстовый промпт во внешний, менее «умный» инструмент, из-за чего, например, на запрос «комната без слонов» система всё равно рисовала слонов. Теперь изображение строится так же, как текст у LLM — по токенам, фрагмент за фрагментом, что даёт точный контроль, читаемый текст и отражает «мышление» модели. Эфан Моллик показывает на примерах GPT-4o (инфографика про настолки, выдра с планшетом, реклама энергетика Speedster, замена мебели на фото, мокап сайта про доставку гуакамоле дронами), как картинки можно итеративно дорабатывать обычными текстовыми указаниями, хотя ошибки вроде «Definc» вместо «Define» ещё случаются. Автор отдельно отмечает сложные вопросы: перенос стиля (Симпсоны, Studio Ghibli), авторские права на обучающие данные, дипфейки и поддельные чеки. Вывод: то, что произошло с текстом, неизбежно случится с изображениями, видео и 3D, и важно осознанно формировать эти изменения.
No elephants: Breakthroughs in image generation
Без слонов: прорывы в генерации изображений
When Language Models Learn to See and Create
Когда языковые модели учатся видеть и創 создавать
Over the past two weeks, first Google and then OpenAI rolled out their multimodal image generation abilities. This is a big deal. Previously, when a Large Language Model AI generated an image, it wasn’t really the LLM doing the work. Instead, the AI would send a text prompt to a separate image generation tool and show you what came back. The AI creates the text prompt, but another, less intelligent system creates the image. For example, if prompted “show me a room with no elephants in it, make sure to annotate the image to show me why there are no possible elephants” the less intelligent image generation system would see the word elephant multiple times and add them to the picture. As a result, AI image generations were pretty mediocre with distorted text and random elements; sometimes fun, but rarely useful.
За последние две недели сначала Google, а затем OpenAI развернули свои возможности мультимодальной генерации изображений. Это важное событие. Раньше, когда ИИ на базе большой языковой модели (LLM) генерировал изображение, на самом деле работу выполняла не сама LLM. Вместо этого ИИ отправлял текстовый промпт в отдельный инструмент генерации изображений и показывал вам то, что приходило в ответ. ИИ создаёт текстовый промпт, но картинку создаёт другая, менее интеллектуальная система. Например, если дать промпт «покажи мне комнату, в которой нет слонов, и обязательно сделай на изображении пометки, объясняющие, почему никаких слонов тут быть не может», менее интеллектуальная система генерации изображений увидела бы слово «слон» несколько раз и добавила бы их на картинку. В результате генерации ИИ были довольно посредственными — с искажённым текстом и случайными элементами; иногда забавными, но редко полезными.
Multimodal image generation, on the other hand, lets the AI directly control the image being made. While there are lots of variations (and the companies keep some of their methods secret), in multimodal image generation, images are created in the same way that LLMs create text, a token at a time. Instead of adding individual words to make a sentence, the AI creates the image in individual pieces, one after another, that are assembled into a whole picture. This lets the AI create much more impressive, exacting images. Not only are you guaranteed no elephants, but the final results of this image creation process reflect the intelligence of the LLM’s “thinking”, as well as clear writing and precise control.
Мультимодальная генерация изображений, напротив, позволяет ИИ напрямую управлять создаваемой картинкой. Хотя вариаций много (и компании держат часть своих методов в секрете), при мультимодальной генерации изображения создаются так же, как LLM создают текст — по одному токену за раз. Вместо того чтобы добавлять отдельные слова и складывать из них предложение, ИИ создаёт изображение отдельными частями, одна за другой, которые собираются в цельную картинку. Это позволяет ИИ создавать гораздо более впечатляющие и точные изображения. Вам не только гарантировано отсутствие слонов — итоговый результат этого процесса создания изображения отражает интеллект «мышления» LLM, а также чёткое письмо и точный контроль.
While the implications of these new image models are vast (and I'll touch on some issues later), let's first explore what these systems can actually do through some examples.
Хотя последствия появления этих новых моделей изображений огромны (и некоторых проблем я коснусь позже), давайте сначала на нескольких примерах разберёмся, на что эти системы действительно способны.
Prompting, but for images
Промптинг, но для изображений
In my book and in many posts, I talk about how a useful way to prompt AI is to treat it like a person, even though it isn’t. Giving clear directions, feedback as you iterate, and appropriate context to make a decision all help humans, and they also help AI. Previously, this was something you could only do with text, but now you can do it with images as well.
В своей книге и во многих постах я рассказываю о том, что полезный способ давать промпты ИИ — относиться к нему как к человеку, хотя он им и не является. Чёткие указания, обратная связь по ходу итераций и подходящий контекст для принятия решения помогают людям — и точно так же помогают ИИ. Раньше это можно было делать только с текстом, но теперь это можно делать и с изображениями.
For example, I prompted GPT-4o “create an infographic about how to build a good boardgame.” With previous image generators, this would result in nonsense, as there was no intelligence to guide the image generation so words and images would be distorted. Now, I get a good first pass the first time around. However, I did not provide context about what I was looking for, or any additional content, so the AI made all the creative choices. What if I want to change it? Let’s try.
Например, я дал GPT-4o промпт «создай инфографику о том, как сделать хорошую настольную игру». С прежними генераторами изображений это вылилось бы в бессмыслицу, поскольку не было интеллекта, направляющего генерацию, и слова с изображениями искажались бы. Теперь же я получаю хороший первый вариант с первой попытки. Однако я не дал контекста о том, что именно ищу, и никакого дополнительного содержания, поэтому ИИ сделал все творческие выборы сам. Что, если я захочу что-то изменить? Давайте попробуем.
First, I asked it “make the graphics look hyper realistic instead” and you can see how it took the concepts from the initial draft and updated their look. I had more changes I wanted: “I want the colors to be less earth toned and more like textured metal, keep everything else the same, also make sure the small bulleted text is lighter so it is easier to read.” I liked the new look, but I noticed an error had been introduced, the word “Define” had become “Definc” - a sign that these systems, as good as they are, are not yet close to perfect. I prompted “You spelled Define as Definc, please fix” and got a reasonable output.
Сначала я попросил его «сделай графику вместо этого гиперреалистичной» — и вы можете увидеть, как он взял концепции из первоначального наброска и обновил их вид. У меня были и другие правки: «Хочу, чтобы цвета были менее землистыми и больше похожими на текстурированный металл, всё остальное оставь как есть, а также сделай мелкий маркированный текст светлее, чтобы его было легче читать». Новый вид мне понравился, но я заметил, что закралась ошибка: слово «Define» превратилось в «Definc» — признак того, что эти системы, какими бы хорошими они ни были, пока далеки от совершенства. Я дал промпт «Ты написал Define как Definc, пожалуйста, исправь» и получил вполне приемлемый результат.
But the fascinating thing about these models is that they are capable of producing almost any image: “put this infographic in the hands of an otter standing in front of a volcano, it should look like a photo and like the otter is holding this carved onto a metal tablet”
Но самое увлекательное в этих моделях — то, что они способны создать практически любое изображение: «вложи эту инфографику в лапы выдры, стоящей перед вулканом, это должно выглядеть как фотография, и будто выдра держит её, вырезанную на металлической табличке»
Why stop there? “it is night, the tablet is illuminated by a flashlight shining directly at the center of the tablet (no need to show the flashlight)”— the results of this are more impressive than it might seem because it was redoing the lighting without any sort of underlying lighting model. “Make an action figure of the otter, complete with packaging, make the board game one of the accessories on the side. Call it "Game Design Otter" and give it a couple other accessories.” “Make an otter on an airplane using a laptop, they are buying a copy of Game Design Otter on a site called OtterExpress.” Impressive, but not quite right: “fix the keyboard so it is realistic and remove the otter action figure he is holding.”
Зачем останавливаться? «сейчас ночь, табличку освещает фонарик, светящий прямо в центр таблички (сам фонарик показывать не нужно)» — результаты этого впечатляют сильнее, чем может показаться, потому что система переделывала освещение без какой-либо лежащей в основе модели света. «Сделай фигурку выдры, в комплекте с упаковкой, и пусть настольная игра будет одним из аксессуаров сбоку. Назови её "Game Design Otter" и добавь ещё пару аксессуаров». «Сделай выдру в самолёте, работающую за ноутбуком, она покупает копию Game Design Otter на сайте под названием OtterExpress». Впечатляюще, но не совсем то: «исправь клавиатуру, чтобы она выглядела реалистично, и убери фигурку выдры, которую он держит.»
As you can see these systems are not flawless… but also remember that the pictures below are what the results of the prompt “otter on an airplane using wifi” looked like two and a half years ago. The state-of-the-art is advancing rapidly.
Как видите, эти системы небезупречны… но не забывайте и о том, что картинки ниже — это то, как выглядели результаты промпта «выдра в самолёте, пользующаяся wifi» два с половиной года назад. Передовой уровень технологий стремительно растёт.
But what is it good for?
Но для чего это годится?
The past couple years have been spent trying to figure out what text AI models are good for, and new use cases are being developed continuously. It will be the same with image-based LLMs. Image generation is likely to be very disruptive in ways we don’t understand right now. This is especially true because you can upload images that the LLM can now directly see and manipulate. Some examples, all done using GPT-4o (though you can also upload and create images in Google’s Gemini Flash):
Последние пару лет ушли на то, чтобы понять, для чего годятся текстовые модели ИИ, и новые сценарии использования появляются непрерывно. То же будет и с LLM для изображений. Генерация изображений, вероятно, окажется очень революционной — способами, которые мы сейчас не понимаем. Это особенно верно потому, что вы можете загружать изображения, которые LLM теперь может напрямую видеть и редактировать. Несколько примеров, все сделаны с помощью GPT-4o (хотя загружать и создавать изображения можно также в Gemini Flash от Google):
I can take a hand-drawn image and ask the AI to “make this an ad for Speedster Energy drink, make sure the packaging and logo are awesome, this should look like a photograph.” (This took two prompts, the first time it misspelled Speedster on the label). The results are not as good as a professional designer could create but are an impressive first prototype.
Я могу взять нарисованную от руки картинку и попросить ИИ «сделай из этого рекламу энергетика Speedster, убедись, что упаковка и логотип выглядят шикарно, это должно выглядеть как фотография.» (Это заняло два промпта: в первый раз система неправильно написала Speedster на этикетке.) Результаты не так хороши, как мог бы создать профессиональный дизайнер, но это впечатляющий первый прототип.
I can give GPT-4o two photographs and the prompt “Can you swap out the coffee table in the image with the blue couch for the one in the white couch?” (Note how the new glass tabletop shows parts of the image that weren’t there in the original. On the other hand, the table that was swapped is not exactly the same). I then asked, “Can you make the carpet less faded?” Again, there are several details that are not perfect, but this sort of image editing in plain English was impossible before.
Я могу дать GPT-4o две фотографии и промпт «Можешь поменять журнальный столик на изображении с синим диваном на тот, что на изображении с белым диваном?» (Обратите внимание, как новая стеклянная столешница показывает части изображения, которых не было в оригинале. С другой стороны, заменённый столик не совсем такой же.) Затем я спросил: «Можешь сделать ковёр менее выцветшим?» И снова есть несколько деталей, которые не идеальны, но такое редактирование изображений на обычном английском раньше было невозможно.
Or I can create an instant website mockup, ad concepts, and pitch deck for my terrific startup idea where a drone delivers guacamole to you on demand (pretty sure it is going to be a hit). You can see this is not yet a substitute for the insights of a human designer, but it is still a very useful first prototype.
Или я могу создать мгновенный макет сайта, концепции рекламы и питч-дек для моей потрясающей стартап-идеи, где дрон по требованию доставляет вам гуакамоле (почти уверен, что это будет хит). Видно, что это пока не замена прозрениям человека-дизайнера, но всё же очень полезный первый прототип.
Adding to this, there are many other uses that I and others are discovering including: Visual recipes, homepages, textures for video games, illustrated poems, unhinged monologues, photo improvements, and visual adventure games, to name just a few.
Вдобавок есть множество других применений, которые я и другие открываем, в том числе: визуальные рецепты, главные страницы сайтов, текстуры для видеоигр, иллюстрированные стихи, безумные монологи, улучшение фотографий и визуальные приключенческие игры — и это лишь некоторые из них.
Complexities
Сложности
If you have been following the online discussion over these new image generators, you probably noticed that I haven’t demonstrated their most viral use - doing style transfer, where people ask AI to convert photos into images that look like they were made for the Simpsons or by Studio Ghibli. These sorts of application highlight all of the complexities of using AI for art: Is it okay to reproduce the hard-won style of other artists using AI? Who owns the resulting art? Who profits from it? Which artists are in the training data for AI, and what is the legal and ethical status of using copyrighted work for training? These were important questions before multimodal AI, but now developing answers to them is increasingly urgent. Plus, of course, there are many other potential risks associated with multimodal AI. Deepfakes have been trivial to make for at least a year, but multimodal AI makes it easier, including adding the ability to create all sorts of other visual illusions, like fake receipts. And we don’t yet understand what biases or other issues multimodal AIs might bring into image generation.
Если вы следили за онлайн-обсуждением этих новых генераторов изображений, то наверняка заметили, что я не продемонстрировал их самое вирусное применение — перенос стиля, когда люди просят ИИ превратить фотографии в изображения, выглядящие так, будто их сделали для «Симпсонов» или в Studio Ghibli. Подобные применения высвечивают все сложности использования ИИ для искусства: допустимо ли воспроизводить с трудом выработанный стиль других художников с помощью ИИ? Кому принадлежит получившееся произведение? Кто на нём зарабатывает? Чьи работы попали в обучающие данные ИИ и каков юридический и этический статус использования защищённых авторским правом работ для обучения? Эти вопросы были важны и до мультимодального ИИ, но теперь поиск ответов на них становится всё более неотложным. Плюс, конечно, есть множество других потенциальных рисков, связанных с мультимодальным ИИ. Дипфейки тривиально создавать как минимум уже год, но мультимодальный ИИ упрощает это ещё больше, включая возможность создавать всевозможные другие визуальные иллюзии, например поддельные чеки. И мы пока не понимаем, какие предвзятости и прочие проблемы мультимодальный ИИ может привнести в генерацию изображений.
Yet it is clear that what has happened to text will happen to images, and eventually video and 3D environments. These multimodal systems are reshaping the landscape of visual creation, offering powerful new capabilities while raising legitimate questions about creative ownership and authenticity. The line between human and AI creation will continue to blur, pushing us to reconsider what constitutes originality in a world where anyone can generate sophisticated visuals with a few prompts. Some creative professions will adapt; others may be unchanged, and still others may transform entirely. As with any significant technological shift, we'll need well-considered frameworks to navigate the complex terrain ahead. The question isn't whether these tools will change visual media, but whether we'll be thoughtful enough to shape that change intentionally.
Тем не менее ясно, что то, что произошло с текстом, произойдёт и с изображениями, а со временем — с видео и 3D-средами. Эти мультимодальные системы перекраивают ландшафт визуального творчества, предлагая мощные новые возможности и одновременно поднимая закономерные вопросы о творческой собственности и подлинности. Грань между человеческим и ИИ-творчеством будет и дальше размываться, заставляя нас переосмыслить, что такое оригинальность в мире, где любой может сгенерировать сложные визуальные образы с помощью нескольких промптов. Одни творческие профессии адаптируются; другие, возможно, останутся неизменными, а третьи могут полностью преобразиться. Как и при любом значимом технологическом сдвиге, нам понадобятся хорошо продуманные рамки, чтобы ориентироваться в сложной местности впереди. Вопрос не в том, изменят ли эти инструменты визуальные медиа, а в том, окажемся ли мы достаточно вдумчивыми, чтобы формировать эти изменения осознанно.
