On giving AI eyes and ears

On giving AI eyes and ears

О том, как дать ИИ глаза и уши

AI can listen and see, with bigger implications than we might realize.

ИИ умеет слушать и видеть, и последствия этого масштабнее, чем мы можем себе представить.

Over the past seven months, AI has come to mean chatbots. All of the web interfaces of the big Large Language Models (Bard, Bing/ChatGPT, and Claude) started as chatbots, and that has shaped our popular understanding of what AI can do. It anthropomorphizes AI as “someone” you can talk with, and it makes us think that AIs can only communicate via text.

За последние семь месяцев ИИ стал синонимом чат-ботов. Все веб-интерфейсы крупных больших языковых моделей (Bard, Bing/ChatGPT и Claude) начинались как чат-боты, и это сформировало наше массовое представление о том, на что способен ИИ. Такой подход очеловечивает ИИ, превращая его в «кого-то», с кем можно поговорить, и заставляет нас думать, что ИИ способен общаться только через текст.

Recently, though, new modes of using AI have appeared. I discussed the appearance of write-it-for-me buttons in Google Docs as one example, where, rather than engage in a dialog with an AI chatbot, the AI seamlessly becomes part of doing work. This seemingly small change has big implications for work and the meaning of writing.

Однако в последнее время появились новые способы использования ИИ. Я уже разбирал появление кнопок «напиши за меня» в Google Docs как один из примеров, когда ИИ, вместо того чтобы вести с вами диалог в чате, бесшовно встраивается в саму работу. Это, казалось бы, небольшое изменение имеет огромные последствия для работы и самого смысла письма.

But even this is just the beginning, and new modes of using AI are appearing, which further increases their capabilities. I want to show you some examples of this emerging world, which I think will soon introduce a new wave of AI use cases, and accompanying disruption.

Но и это лишь начало: появляются всё новые способы использования ИИ, которые дополнительно расширяют его возможности. Я хочу показать вам несколько примеров этого зарождающегося мира — мира, который, как мне кажется, вскоре породит новую волну сценариев применения ИИ и сопутствующих ему потрясений.

Eyes

Глаза

When the most advanced AI, GPT-4, was announced to the world a couple months ago, it was introduced as a multimodal AI, which means it can process different kinds of input, including images. But, likely because of cost issues, the multimodal features were never made available. That changed (at least for me), yesterday, when I was randomly given access to the multimodal capability of Bing, which uses GPT-4 in creative mode. Everyone is likely to get this feature for free in the next four weeks. And it really does radically change what AI can do.

Когда пару месяцев назад миру представили самый продвинутый ИИ, GPT-4, его презентовали как мультимодальный ИИ — то есть способный обрабатывать разные виды входных данных, включая изображения. Но, вероятно из-за вопросов стоимости, мультимодальные функции так и не стали доступны. Это изменилось (по крайней мере для меня) вчера, когда мне случайным образом открыли доступ к мультимодальным возможностям Bing, который использует GPT-4 в творческом режиме. Скорее всего, в ближайшие четыре недели все получат эту функцию бесплатно. И она действительно радикально меняет то, на что способен ИИ.

What multimodal AI does is let the AI “see” images and “understand” what it is seeing. I had some fun with this by uploading a recent meme (and thus one that would not be in the training data of the AI) with a little bit of image manipulation to make sure Bing couldn’t find the image by searching for it. The AI not only accurately described the scene in the meme but read the text in the image, and even explained why the meme was funny. I also gave it the challenge of coming up with creative ideas for foods in my fridge based on an original photo (it identified the items correctly, though the creative recipe suggestions were mildly horrifying). However, as amazing as it is, the system still suffers from hallucinations and mistakes. In my third experiment, while it correctly identified that I was playing poker and even figured out my hand, it misidentified other cards and suffered from a typical case of AI confusion, where it forgot important details until reminded. So, multimodal AI feels a lot like text-based AI: miraculously cool things mixed with errors.

Что делает мультимодальный ИИ — он позволяет ИИ «видеть» изображения и «понимать» то, что он видит. Я немного повеселился с этим, загрузив свежий мем (а значит, тот, которого не могло быть в обучающих данных ИИ) с небольшой обработкой картинки, чтобы Bing точно не нашёл изображение через поиск. ИИ не только точно описал сцену на меме, но и прочитал текст на картинке и даже объяснил, почему мем смешной. Я также дал ему задачу придумать креативные блюда из продуктов в моём холодильнике по обычной фотографии (он правильно определил продукты, хотя предложенные креативные рецепты были слегка пугающими). Тем не менее, каким бы поразительным он ни был, система по-прежнему страдает от галлюцинаций и ошибок. В моём третьем эксперименте, хотя ИИ верно определил, что я играю в покер, и даже вычислил мою комбинацию, он ошибочно распознал другие карты и проявил типичную для ИИ путаницу, забыв важные детали, пока ему о них не напомнили. Так что мультимодальный ИИ ощущается во многом как текстовый: чудесно крутые вещи вперемешку с ошибками.

But multimodal AI also lets us do things that were previously impossible. Because the AI can now “see,” it can interact with the world in an entirely new way with some big implications. To get a sense of how this works, I gave the AI a design challenge:

Но мультимодальный ИИ также позволяет нам делать то, что раньше было невозможно. Поскольку теперь ИИ может «видеть», он способен взаимодействовать с миром совершенно по-новому, и это несёт серьёзные последствия. Чтобы понять, как это работает, я дал ИИ задачу на дизайн:

Act as a fashion designer who designs shoes that match the latest trend. come up with an idea for a new on-trend shoe and pass that detailed suggestion on to image creator. Bing did its thing, looking up trends before sending a prompt to Bing Image Creator (which uses OpenAI’s DALL-E) to make a picture. As a result of its research, it asked for “a bold ballerina flat with embellishments and a micro heel” and DALL-E produced that image. Before multimodal AI, this is where things would have ended - with an impressive output (the images are completely AI generated), but one that required humans to develop further. That is because, in the past, the AI couldn’t tell what DALL-E was doing with its prompts, and had no way of understanding what images were created.

Выступи в роли модельера, который создаёт обувь, соответствующую последним трендам. Придумай идею новой модной обуви и передай это подробное предложение генератору изображений. Bing занялся своим делом, изучив тренды, прежде чем отправить промпт в Bing Image Creator (который использует DALL-E от OpenAI) для создания картинки. По итогам исследования он запросил «смелые балетки с декором и микрокаблуком», и DALL-E создал это изображение. До мультимодального ИИ на этом всё бы и закончилось — впечатляющим результатом (изображения полностью сгенерированы ИИ), который, однако, требовал доработки человеком. Это потому, что раньше ИИ не мог понять, что DALL-E делает с его промптами, и никак не мог осознать, какие изображения были созданы.

But now it could! Using the multimodal option, I gave Bing the four images it had created with Image Creator, and the prompt: You came up with four designs. Here they are. Still acting as a fashion designer, critique them, select the one that seems best. then come up with a more complex, revised prompt that you think will improve the design and send it to image creator.

Но теперь смог! Используя мультимодальный режим, я дал Bing четыре изображения, которые он создал с помощью Image Creator, и промпт: Ты придумал четыре дизайна. Вот они. По-прежнему выступая в роли модельера, раскритикуй их, выбери тот, что кажется лучшим. Затем придумай более сложный, доработанный промпт, который, по твоему мнению, улучшит дизайн, и отправь его генератору изображений.

It is worth reading the AIs criticism of its work, which was surprisingly good and insightful. It critiqued the first design, “it looks like someone just glued some beads and sequins on a plain shoe” and trashed (correctly) the third: “The third image is the worst of all. It has nothing to do with the original prompt. It looks like a cheap advertisement rather than a shoe design. I would suggest scrapping this one entirely and starting over.” It liked the last design best, writing “It has a nice balance of color, shine, and detail. The gold color is elegant and the silver embellishments are intricate and sophisticated. It looks like a shoe that would appeal to many women.” But it decided to refine the idea further to make it more “trendy”, so it gave an entirely new prompt to the image creator: a gold ballerina flat with a small heel and intricate silver embellishments on the toe and heel, plus a thin ankle strap with a buckle, and a pointed toe with a bow

Стоит прочитать критику ИИ в адрес собственной работы — она оказалась на удивление точной и проницательной. Он раскритиковал первый дизайн: «выглядит так, будто кто-то просто приклеил бусины и пайетки на обычную туфлю» — и (справедливо) разгромил третий: «Третье изображение хуже всех. Оно вообще не имеет отношения к исходному промпту. Это похоже на дешёвую рекламу, а не на дизайн обуви. Я бы предложил полностью отказаться от него и начать заново». Больше всего ему понравился последний дизайн: «В нём приятный баланс цвета, блеска и деталей. Золотой цвет элегантен, а серебряный декор изящен и утончён. Это похоже на туфлю, которая понравится многим женщинам». Но он решил доработать идею ещё больше, чтобы сделать её более «трендовой», и поэтому дал генератору изображений совершенно новый промпт: золотые балетки с небольшим каблуком и изящным серебряным декором на мыске и пятке, плюс тонкий ремешок на щиколотке с пряжкой и заострённый мысок с бантом

After seeing those images, it gave another round of critiques of its own work deciding, “I would select the first image as the best one, but I think it can still be improved by changing the background color or adding some pattern. I think this would make the shoe look more attractive and fashionable.” Again, it sent new instructions to DALL-E.

Увидев эти изображения, он выдал ещё один раунд критики собственной работы, решив: «Я бы выбрал первое изображение как лучшее, но думаю, что его всё ещё можно улучшить, изменив цвет фона или добавив какой-нибудь узор. Думаю, это сделало бы туфлю более привлекательной и модной». И снова он отправил новые инструкции в DALL-E.

Finally, it came up with a design it said it was “proud of,” and wrote some compelling marketing copy as well. Remember, all of this is fully AI created. This shoe never existed.

Наконец, он пришёл к дизайну, которым, по его словам, «гордится», а заодно написал убедительный маркетинговый текст. Помните: всё это полностью создано ИИ. Этой туфли никогда не существовало.

An important thing to note is that I did essentially nothing beyond the first prompt, other than feeding it its own results. The result was self-improvement, as the AI developed and refined an idea that combined visual elements, research, and a sense of style. The result is that the AI can now build and refine prototypes using vision, a large increase in capabilities. And this is just the start. As AI can observe and comment on the world around it, we will see all sorts of new uses emerge.

Важно отметить, что я фактически не делал ничего, кроме первого промпта, — лишь возвращал ИИ его собственные результаты. Итогом стало самосовершенствование: ИИ развивал и оттачивал идею, объединявшую визуальные элементы, исследование и чувство стиля. В результате ИИ теперь может создавать и дорабатывать прототипы с помощью зрения — а это огромный прирост возможностей. И это лишь начало. По мере того как ИИ научится наблюдать за окружающим миром и комментировать его, мы увидим, как возникает множество новых сценариев применения.

Ears

Уши

But vision is not the only new capability. An often-overlooked OpenAI product is Whisper, a voice-to-text system that is very, very good. If you are used to your phone’s voice recognition system, you know it makes a ton of errors. Whisper is much better. From my experiments, it handles everything from my rapid-paced talking style to heavy accents with equal ease. And now it is part of the ChatGPT app on mobile phones, making voice-to-text very easy.

Но зрение — не единственная новая возможность. Часто упускаемый из виду продукт OpenAI — это Whisper, система преобразования речи в текст, которая работает очень, очень хорошо. Если вы привыкли к системе распознавания речи на своём телефоне, то знаете, что она делает массу ошибок. Whisper гораздо лучше. По моим экспериментам, он с одинаковой лёгкостью справляется со всем — от моей скоростной манеры говорить до сильных акцентов. И теперь он стал частью мобильного приложения ChatGPT, что делает преобразование речи в текст очень простым.

This again changes how we can use AI. For example, you can use it as an intelligent assistant. If I tried to use voice-to-speech with Siri or Google to write an email, I would have to dictate every word I say. With ChatGPT on my phone, I can just state my intent, and the AI will do it. For example:

Это снова меняет то, как мы можем использовать ИИ. Например, вы можете использовать его как умного помощника. Если бы я попытался воспользоваться голосовым вводом в Siri или Google, чтобы написать письмо, мне пришлось бы диктовать каждое слово. С ChatGPT на телефоне я могу просто обозначить своё намерение, и ИИ сделает всё сам. Например:

It is very easy to image the near future, where AI assistants are actually useful, and operate on your behalf, anticipating your needs, customizing answers to you, and more. A big contrast to trying to use Siri or Alexa today!

Очень легко представить ближайшее будущее, в котором ИИ-ассистенты действительно полезны и действуют от вашего имени: предугадывают ваши потребности, подстраивают ответы под вас и многое другое. Какой контраст с попытками пользоваться Siri или Alexa сегодня!

But this is not the only way that voice offers new opportunities. It can be very useful in education as well. As an example, I did an experiment in class using AI for real time presentation feedback. My entrepreneurship class was giving startup pitches, and we had a venture capitalist come to provide a human perspective, but I also had GPT-4 act as a real-time virtual VC, using voice recognition on the pitches and prompting it give VC-like feedback.

It was incredibly easy to do, and did not require any equipment or additional expense. I was able to sit in the front row of class and record the pitches directly with the ChatGPT app on my phone, it captured everything extremely well. At the end of each pitch, I just added a simple prompt: You are a seed stage venture capitalist who evaluates startup pitches. Evaluate the following pitch from that perspective and offer 4 positives and negatives, as well as what you think about the pitch overall as an investor. Here’s a sample of the output it gave:

Но это не единственный способ, которым голос открывает новые возможности. Он может быть очень полезен и в образовании. В качестве примера я провёл на занятии эксперимент, используя ИИ для обратной связи по презентациям в реальном времени. Мой класс по предпринимательству представлял стартап-питчи, и мы пригласили венчурного инвестора, чтобы он дал человеческую точку зрения, но я также заставил GPT-4 выступить в роли виртуального VC в реальном времени, используя распознавание речи на питчах и предлагая ему давать обратную связь в духе венчурного инвестора. Это было невероятно просто сделать и не потребовало никакого оборудования или дополнительных затрат. Я смог сесть в первом ряду класса и записывать питчи прямо в приложении ChatGPT на телефоне — оно отлично всё уловило. В конце каждого питча я просто добавлял простой промпт: Ты венчурный инвестор посевной стадии, который оценивает стартап-питчи. Оцени следующий питч с этой точки зрения и предложи 4 плюса и минуса, а также то, что ты думаешь о питче в целом как инвестор. Вот образец того, что он выдал:

Those results were of high quality, and the VC in the room was impressed. So were most of the students when I surveyed them. Everyone considered the results to be either somewhat or very realistic; 55% of students rated the feedback as very useful, and 35% as somewhat useful; 95% reported either minor or no hallucinations; and only 20% of the class did not find the feedback at least somewhat insightful. Of course, this is just a small sample, but the ability to get feedback live to verbal presentations is an exciting one with lots of teaching implications. You can now get instant feedback from any simulated individual you want to any talk you want to give.

Эти результаты были высокого качества, и VC в аудитории был впечатлён. Как и большинство студентов, когда я их опросил. Все сочли результаты либо отчасти, либо очень реалистичными; 55% студентов оценили обратную связь как очень полезную, а 35% — как отчасти полезную; 95% сообщили о незначительных галлюцинациях или их отсутствии; и лишь 20% класса не нашли обратную связь хоть сколько-нибудь содержательной. Конечно, это всего лишь небольшая выборка, но возможность получать обратную связь на устные выступления в реальном времени — это воодушевляющая вещь с массой последствий для преподавания. Теперь вы можете мгновенно получить отзыв от любой смоделированной личности на любое выступление, которое вы хотите произнести.

When AI knows about the world

Когда ИИ знает о мире

We got used to AI that was restricted in what it could know about the world. Its knowledge was limited to before 2022. It couldn’t surf the web. It could only know what you typed into a chatbox. And it could only produce text.

Мы привыкли к ИИ, который был ограничен в том, что он мог знать о мире. Его знания ограничивались периодом до 2022 года. Он не мог выходить в интернет. Он мог знать только то, что вы напечатали в окне чата. И он мог производить только текст.

One-by-one, these assumptions have changed. Connecting AI to the internet made it much more powerful. Giving AI the tools to write and execute code made it much more powerful. And, now the capabilities to watch and listen are going to do the same. AI doesn’t just advance because of new fundamental models, like going to GPT-5, it advances when it is given the tools to operate in the real world. Jobs that require visual or audio interactions felt insulated from AI, but now they are not - for better and for worse. We need to recognize that these capabilities will continue to grow, and AI will be able to play a more active role in the real world by observing and listening. The implications are likely to be profound, and we should start thinking through both the huge benefits and major concerns today.

Одно за другим эти допущения менялись. Подключение ИИ к интернету сделало его гораздо мощнее. Предоставление ИИ инструментов для написания и выполнения кода сделало его гораздо мощнее. И теперь способности видеть и слышать сделают то же самое. ИИ развивается не только благодаря новым фундаментальным моделям, вроде перехода к GPT-5, — он развивается, когда ему дают инструменты для работы в реальном мире. Профессии, требующие визуального или аудиовзаимодействия, казались защищёнными от ИИ, но теперь это не так — к лучшему и к худшему. Нам нужно осознать, что эти возможности будут продолжать расти, и ИИ сможет играть более активную роль в реальном мире, наблюдая и слушая. Последствия, вероятно, будут глубокими, и нам стоит уже сегодня начать обдумывать как огромные выгоды, так и серьёзные опасения.

Share

Поделиться