On giving AI eyes and ears

О том, как дать ИИ глаза и уши

ИИ умеет слушать и видеть, и последствия этого масштабнее, чем мы можем себе представить.

За последние семь месяцев ИИ стал синонимом чат-ботов. Все веб-интерфейсы крупных больших языковых моделей (Bard, Bing/ChatGPT и Claude) начинались как чат-боты, и это сформировало наше массовое представление о том, на что способен ИИ. Такой подход очеловечивает ИИ, превращая его в «кого-то», с кем можно поговорить, и заставляет нас думать, что ИИ способен общаться только через текст.

Однако в последнее время появились новые способы использования ИИ. Я уже разбирал появление кнопок «напиши за меня» в Google Docs как один из примеров, когда ИИ, вместо того чтобы вести с вами диалог в чате, бесшовно встраивается в саму работу. Это, казалось бы, небольшое изменение имеет огромные последствия для работы и самого смысла письма.

Но и это лишь начало: появляются всё новые способы использования ИИ, которые дополнительно расширяют его возможности. Я хочу показать вам несколько примеров этого зарождающегося мира — мира, который, как мне кажется, вскоре породит новую волну сценариев применения ИИ и сопутствующих ему потрясений.

Глаза

Когда пару месяцев назад миру представили самый продвинутый ИИ, GPT-4, его презентовали как мультимодальный ИИ — то есть способный обрабатывать разные виды входных данных, включая изображения. Но, вероятно из-за вопросов стоимости, мультимодальные функции так и не стали доступны. Это изменилось (по крайней мере для меня) вчера, когда мне случайным образом открыли доступ к мультимодальным возможностям Bing, который использует GPT-4 в творческом режиме. Скорее всего, в ближайшие четыре недели все получат эту функцию бесплатно. И она действительно радикально меняет то, на что способен ИИ.

Что делает мультимодальный ИИ — он позволяет ИИ «видеть» изображения и «понимать» то, что он видит. Я немного повеселился с этим, загрузив свежий мем (а значит, тот, которого не могло быть в обучающих данных ИИ) с небольшой обработкой картинки, чтобы Bing точно не нашёл изображение через поиск. ИИ не только точно описал сцену на меме, но и прочитал текст на картинке и даже объяснил, почему мем смешной. Я также дал ему задачу придумать креативные блюда из продуктов в моём холодильнике по обычной фотографии (он правильно определил продукты, хотя предложенные креативные рецепты были слегка пугающими). Тем не менее, каким бы поразительным он ни был, система по-прежнему страдает от галлюцинаций и ошибок. В моём третьем эксперименте, хотя ИИ верно определил, что я играю в покер, и даже вычислил мою комбинацию, он ошибочно распознал другие карты и проявил типичную для ИИ путаницу, забыв важные детали, пока ему о них не напомнили. Так что мультимодальный ИИ ощущается во многом как текстовый: чудесно крутые вещи вперемешку с ошибками.

Но мультимодальный ИИ также позволяет нам делать то, что раньше было невозможно. Поскольку теперь ИИ может «видеть», он способен взаимодействовать с миром совершенно по-новому, и это несёт серьёзные последствия. Чтобы понять, как это работает, я дал ИИ задачу на дизайн:

Выступи в роли модельера, который создаёт обувь, соответствующую последним трендам. Придумай идею новой модной обуви и передай это подробное предложение генератору изображений. Bing занялся своим делом, изучив тренды, прежде чем отправить промпт в Bing Image Creator (который использует DALL-E от OpenAI) для создания картинки. По итогам исследования он запросил «смелые балетки с декором и микрокаблуком», и DALL-E создал это изображение. До мультимодального ИИ на этом всё бы и закончилось — впечатляющим результатом (изображения полностью сгенерированы ИИ), который, однако, требовал доработки человеком. Это потому, что раньше ИИ не мог понять, что DALL-E делает с его промптами, и никак не мог осознать, какие изображения были созданы.

Но теперь смог! Используя мультимодальный режим, я дал Bing четыре изображения, которые он создал с помощью Image Creator, и промпт: Ты придумал четыре дизайна. Вот они. По-прежнему выступая в роли модельера, раскритикуй их, выбери тот, что кажется лучшим. Затем придумай более сложный, доработанный промпт, который, по твоему мнению, улучшит дизайн, и отправь его генератору изображений.

Стоит прочитать критику ИИ в адрес собственной работы — она оказалась на удивление точной и проницательной. Он раскритиковал первый дизайн: «выглядит так, будто кто-то просто приклеил бусины и пайетки на обычную туфлю» — и (справедливо) разгромил третий: «Третье изображение хуже всех. Оно вообще не имеет отношения к исходному промпту. Это похоже на дешёвую рекламу, а не на дизайн обуви. Я бы предложил полностью отказаться от него и начать заново». Больше всего ему понравился последний дизайн: «В нём приятный баланс цвета, блеска и деталей. Золотой цвет элегантен, а серебряный декор изящен и утончён. Это похоже на туфлю, которая понравится многим женщинам». Но он решил доработать идею ещё больше, чтобы сделать её более «трендовой», и поэтому дал генератору изображений совершенно новый промпт: золотые балетки с небольшим каблуком и изящным серебряным декором на мыске и пятке, плюс тонкий ремешок на щиколотке с пряжкой и заострённый мысок с бантом

Увидев эти изображения, он выдал ещё один раунд критики собственной работы, решив: «Я бы выбрал первое изображение как лучшее, но думаю, что его всё ещё можно улучшить, изменив цвет фона или добавив какой-нибудь узор. Думаю, это сделало бы туфлю более привлекательной и модной». И снова он отправил новые инструкции в DALL-E.

Наконец, он пришёл к дизайну, которым, по его словам, «гордится», а заодно написал убедительный маркетинговый текст. Помните: всё это полностью создано ИИ. Этой туфли никогда не существовало.

Важно отметить, что я фактически не делал ничего, кроме первого промпта, — лишь возвращал ИИ его собственные результаты. Итогом стало самосовершенствование: ИИ развивал и оттачивал идею, объединявшую визуальные элементы, исследование и чувство стиля. В результате ИИ теперь может создавать и дорабатывать прототипы с помощью зрения — а это огромный прирост возможностей. И это лишь начало. По мере того как ИИ научится наблюдать за окружающим миром и комментировать его, мы увидим, как возникает множество новых сценариев применения.

Уши

Но зрение — не единственная новая возможность. Часто упускаемый из виду продукт OpenAI — это Whisper, система преобразования речи в текст, которая работает очень, очень хорошо. Если вы привыкли к системе распознавания речи на своём телефоне, то знаете, что она делает массу ошибок. Whisper гораздо лучше. По моим экспериментам, он с одинаковой лёгкостью справляется со всем — от моей скоростной манеры говорить до сильных акцентов. И теперь он стал частью мобильного приложения ChatGPT, что делает преобразование речи в текст очень простым.

Это снова меняет то, как мы можем использовать ИИ. Например, вы можете использовать его как умного помощника. Если бы я попытался воспользоваться голосовым вводом в Siri или Google, чтобы написать письмо, мне пришлось бы диктовать каждое слово. С ChatGPT на телефоне я могу просто обозначить своё намерение, и ИИ сделает всё сам. Например:

Очень легко представить ближайшее будущее, в котором ИИ-ассистенты действительно полезны и действуют от вашего имени: предугадывают ваши потребности, подстраивают ответы под вас и многое другое. Какой контраст с попытками пользоваться Siri или Alexa сегодня!

Но это не единственный способ, которым голос открывает новые возможности. Он может быть очень полезен и в образовании. В качестве примера я провёл на занятии эксперимент, используя ИИ для обратной связи по презентациям в реальном времени. Мой класс по предпринимательству представлял стартап-питчи, и мы пригласили венчурного инвестора, чтобы он дал человеческую точку зрения, но я также заставил GPT-4 выступить в роли виртуального VC в реальном времени, используя распознавание речи на питчах и предлагая ему давать обратную связь в духе венчурного инвестора. Это было невероятно просто сделать и не потребовало никакого оборудования или дополнительных затрат. Я смог сесть в первом ряду класса и записывать питчи прямо в приложении ChatGPT на телефоне — оно отлично всё уловило. В конце каждого питча я просто добавлял простой промпт: Ты венчурный инвестор посевной стадии, который оценивает стартап-питчи. Оцени следующий питч с этой точки зрения и предложи 4 плюса и минуса, а также то, что ты думаешь о питче в целом как инвестор. Вот образец того, что он выдал:

Эти результаты были высокого качества, и VC в аудитории был впечатлён. Как и большинство студентов, когда я их опросил. Все сочли результаты либо отчасти, либо очень реалистичными; 55% студентов оценили обратную связь как очень полезную, а 35% — как отчасти полезную; 95% сообщили о незначительных галлюцинациях или их отсутствии; и лишь 20% класса не нашли обратную связь хоть сколько-нибудь содержательной. Конечно, это всего лишь небольшая выборка, но возможность получать обратную связь на устные выступления в реальном времени — это воодушевляющая вещь с массой последствий для преподавания. Теперь вы можете мгновенно получить отзыв от любой смоделированной личности на любое выступление, которое вы хотите произнести.

Когда ИИ знает о мире

Мы привыкли к ИИ, который был ограничен в том, что он мог знать о мире. Его знания ограничивались периодом до 2022 года. Он не мог выходить в интернет. Он мог знать только то, что вы напечатали в окне чата. И он мог производить только текст.

Одно за другим эти допущения менялись. Подключение ИИ к интернету сделало его гораздо мощнее. Предоставление ИИ инструментов для написания и выполнения кода сделало его гораздо мощнее. И теперь способности видеть и слышать сделают то же самое. ИИ развивается не только благодаря новым фундаментальным моделям, вроде перехода к GPT-5, — он развивается, когда ему дают инструменты для работы в реальном мире. Профессии, требующие визуального или аудиовзаимодействия, казались защищёнными от ИИ, но теперь это не так — к лучшему и к худшему. Нам нужно осознать, что эти возможности будут продолжать расти, и ИИ сможет играть более активную роль в реальном мире, наблюдая и слушая. Последствия, вероятно, будут глубокими, и нам стоит уже сегодня начать обдумывать как огромные выгоды, так и серьёзные опасения.

Поделиться