Working with AI: Two paths to prompting

Работа с AI: два пути к промптингу

Не усложняйте

Многие читали нашу статью, показывающую, что использование AI повысило качество работы консультантов топовой Boston Consulting Company на 40%, но большинство упускает ключевой фактор. Консультантам не выдавали какую-то особую версию AI, обученную на проприетарных данных и с кастомным интерфейсом. Нет, им просто дали GPT-4 с минимальным обучением и парой примеров. Тот самый старый добрый GPT-4 ещё с апреля, до того, как ему добавили все новые возможности. Тот самый GPT-4, к которому каждый житель 169 стран может бесплатно получить доступ через Microsoft Bing в творческом режиме. И хотя часть консультантов прошла небольшое обучение (которое мало помогло), большинство просто начали пользоваться AI без каких-либо инструкций.

И всё равно они получили колоссальный прирост производительности.

Урок в том, что само использование AI научит вас им пользоваться. Вы можете стать мировым экспертом по применению AI в своей сфере, просто много работая с ним, пока не разберётесь, в чём он силён, а в чём слаб. Это одна из двух причин, по которым мне не нравится зацикленность на промптинге, пронизывающая большинство дискуссий об AI: она представляет работу с AI-системами куда более сложной и таинственной, чем она есть. Просто пользуйтесь и смотрите, куда это вас приведёт.

Вторая причина, по которой мне не нравится упор на промптинг, в том, что для большинства людей необходимость вообще задумываться о промптах — это очень временное состояние. По мере улучшения AI-систем потребность в эзотерическом промптинге падает, потому что сами AI становятся лучше в угадывании того, что вам нужно. Моя любимая иллюстрация этого сдвига — генераторы изображений. Если вы ещё не знали, OpenAI выпустил новый генератор картинок под названием DALL-E 3 (его можно получить через платный ChatGPT Plus, выбрав режим DALL-E, или бесплатно через Bing). Хотя он не сильно лучше других генераторов (вроде Midjourney или Adobe Firefly), есть важное отличие: вместо того чтобы составлять промпты для картинок, система DALL-E позволяет вам просто рассказать AI о том, что вы хотите изобразить, а AI сам составляет промпты.

Например, я могу просто попросить AI: Создай крутую сцену, похожую на стоп-кадр из фильма, с автомобильной погоней двух маслкаров. Гиперреалистично, пожалуйста.

Вы видите длинный, выразительный промпт, который AI написал под изображением. Результаты ничего, но не совсем то, что я хотел: Я хотел, чтобы было гораздо более гиперреалистично. Это больше похоже на картину, чем на кадр из фильма.

Теперь очень близко. Круто, сцена вполне неплохая. Можешь оставить ту же сцену, но сделать Firebird красным?

Готово. (Всё, что вы видите, — первая попытка AI, без редактирования. Это заняло всего минуту.)

А что если я хочу сделать это по старинке (две недели назад в мире AI — это уже старина)? Для этого требуется составление промптов с использованием инструмента вроде Midjourney. Я начал с промпта для киношных сцен, который подсмотрел у случайного твиттер-аккаунта (сам бы я до такого не додумался), содержащего набор ключевых слов: Ultra Panavision 70, тёплая плёнка Eastman Kodak, raw-стиль. Потом я генерировал картинки одну за другой, играл с деталями, менял промпт. Я так и не смог получить именно ту картинку, которую хотел, но, с другой стороны, она больше похожа на реальный кадр из фильма, хоть и не из того фильма, который я задумывал. Это заняло десять минут, и то только потому, что я хорошо знаком с Midjourney. Новичок потратил бы значительно больше времени.

Это, на мой взгляд, отлично иллюстрирует текущее состояние промптинга. С одной стороны, как вы видели на примере DALL-E 3, мне не нужны никакие специальные навыки, чтобы создать изображение. Я просто говорю AI, чего хочу, и он это делает. Назовём это разговорным подходом к промптингу. Сейчас картинка получается лишь на 80% так же хороша, как у Midjourney, но со временем станет намного лучше. Мне не нужно осваивать никаких специальных навыков, мне просто нужно подождать, пока технология разовьётся.

С другой стороны, я могу получить результат лучше, занимаясь промпт-крафтингом — по крайней мере, пока. Это требует от меня потратить много времени и сил на освоение Midjourney и создание идеального промпта. Картинка получается чуть лучше, у меня больше прямого контроля, и результаты могут быть более уникальными. Но мне нужно выучить формулу таких промптов. Зато когда у меня уже есть рабочий промпт, я могу передать его другим, и они получат похожие результаты. Мы называем это структурированными промптами (Structured Prompts). Это как AI-программы, которые позволяют другим людям воспользоваться тем, что вы изучили и нашли.

Большинству людей сегодня разговорного подхода достаточно, чтобы он помогал им в работе. Для некоторых задач, по крайней мере пока, более формальные структурированные промпты имеют ценность. Какой бы подход вы ни выбрали, экспериментируйте с самой продвинутой моделью, до которой можете дотянуться. Сейчас это GPT-4 (пожалуйста, очень прошу не пользоваться бесплатным ChatGPT на GPT-3.5, он намного слабее) или Claude 2, но скоро ожидается новая модель от Google.

Разговорный промптинг

Большинству людей достаточно просто поговорить с AI, чтобы попросить о том, что нужно. С AI можно даже разговаривать, не зная, чего именно вы хотите — просто скажите, что вам может понадобиться, и посмотрите, что получится.

Как чат-бот, AI создан именно для такого использования, когда вы общаетесь с ним как с другим человеком: бесконечно услужливым аспирантом, который немного наивен и так хочет вам угодить, что скорее выдумает факты, чем разочарует вас. Работая с AI таким образом, вы выработаете интуицию относительно его пределов и сильных сторон, того, где он обычно говорит правду, а где ненадёжен.

Есть один главный приём, который заметно улучшит ваши диалоги: давайте контекст. Можно (неточно, но полезно) представить знания AI как огромное облако. В одном углу этого облака AI отвечает только шекспировскими сонетами, в другом — как ипотечный брокер, в третьем — преимущественно опираясь на математические формулы из школьных учебников. По умолчанию AI выдаёт ответы из центра облака — наиболее вероятные ответы среднего человека на ваш вопрос. Давая контекст, вы можете подтолкнуть AI к более интересному уголку его знаний, получая более уникальные ответы, лучше соответствующие вашим вопросам. Многие из самых интересных применений AI требуют именно такой специализации.

Самый простой способ это сделать — начать с того, чтобы дать AI идентичность (ты — экспертный, дружелюбный учитель, который помогает ученикам со сложными темами). Это, конечно, не превратит его волшебным образом в точного преподавателя, но даёт AI контекст того, какие ответы вам нужны и каким тоном их давать. Контекст можно задавать и другими способами — например, вставить текст, над которым вы работаете, или форму, которую нужно заполнить, и посмотреть, как он отвечает.

Большинству людей этого вполне достаточно для старта, и это техника, которой я пользуюсь чаще всего в работе с AI. Не усложняйте — просто взаимодействуйте с системой и смотрите, что получится. Однако со временем, набравшись опыта, вы можете захотеть создать промпты, которыми можно поделиться с другими, — промпты, в которые встроена ваша экспертиза. Мы называем этот подход структурированным промптингом (Structured Prompting), и хотя улучшение AI скоро может сделать его ненужным, сейчас это полезный инструмент, чтобы помогать другим, закодировав ваши знания в промпт, которым может воспользоваться любой.

Структурированный промптинг

Структурированный промптинг — это превращение AI в инструмент, который хорошо делает одну конкретную задачу повторяемым образом и адаптируется под пользователя. Поскольку AI не всегда заточен под это, потребуются эксперименты и усилия, чтобы заставить промпт работать более-менее стабильно (добиться 100% стабильности от LLM очень трудно). Для начала вам нужна чёткая цель. Например, в этом промпте из нашей статьи об AI и преподавании мы хотим, чтобы AI провёл «премортем» — упражнение, в котором вы представляете, как проект может провалиться, чтобы снизить риск настоящего провала. Премортем нужно делать определённым образом, и для текущего поколения AI важно следить, чтобы он выполнял процесс корректно, а не просто реагировал на реплики в чате. Тут-то и приходит на помощь структурированный промпт. Пример вы можете увидеть ниже (или поэкспериментировать с ним здесь)

Промпт состоит из нескольких элементов:

Роль и цель. Как и в разговорном подходе, ограничения по роли и цели сужают AI до более узкого, более подходящего диапазона ответов, а роль задействует естественные возможности AI к пониманию языка, опираясь на его предобученные знания об эффективном общении внутри этой роли.

Пошаговые инструкции. Давать AI инструкции — ключ к получению полезного результата. Хорошее правило: если инструкции легко поймёт другой человек (незнакомый с вашим конкретным запросом или предметной областью), то и AI с большей вероятностью их поймёт. К тому же чем лучше эти инструкции структурированы, тем больше шансов получить полезный вывод. Поскольку с одними темами AI знаком лучше, чем с другими, не предполагайте знания какой-либо конкретной темы. Когда даёте AI инструкции, будьте лаконичны, используйте простой и прямой язык, избегайте двусмысленных слов. Можно начать с цели или общего обзора (объяснить смысл задачи или вопроса и желаемый результат) — это иногда, кажется, помогает сориентировать LLM.

Исследования показали, что часто лучше всего работает давать AI явные пошаговые инструкции. Один из подходов под названием Chain of Thought prompting — это когда вы даёте AI пример того, как вы хотите, чтобы он рассуждал, прежде чем сделать запрос; но можно и просто давать пошаговые указания, как делаем мы в этом промпте. Если у инструкций несколько частей, чётко выделите эти части (Сначала придумай несколько стратегий, которые мне стоит рассмотреть при составлении бизнес-плана. Затем объясни каждую из этих стратегий и то, как, учитывая мой бизнес, я могу их развивать.) Если вам нужна помощь со сложной многоступенчатой задачей, разбейте её на шаги и попросите AI «думать шаг за шагом». Как и при любом взаимодействии с AI (особенно сложном), проверяйте и оценивайте шаги по ходу. Идёт ли AI в ожидаемом направлении? Следует ли он инструкциям и держит ли их в уме? Если нет — корректируйте подход.

Экспертиза (в данном случае «педагогика»). Самая важная часть структурированного промпта — это ваши собственные знания и взгляды на то, как именно AI должен действовать в рамках промпта. Здесь видно, что у нас было педагогическое представление о том, как AI должен работать со студентами, подталкивая их думать о точках провала — не выдавая ответы, а задавая вопросы. Вам нужно определить, чего вы хотите от AI и чем это отличается от его поведения по умолчанию.

Ограничения. Ограничения внутри промпта — это правила или условия, которые направляют поведение AI в его взаимодействии с пользователем. Например, при просьбе сыграть роль наставника AI часто играет и роль наставника, и роль ученика. Если цель промпта — помочь ученику освоить концепцию, ограничение «дождись, пока ученик ответит, прежде чем двигаться дальше» помогает направить AI в его взаимодействии с пользователем. Ограничения могут также сделать поведение AI более предсказуемым. Например, если AI должен задать ряд вопросов пользователю и ему сказано «задавай только один вопрос за раз», это ограничение позволяет вести более интерактивный и управляемый диалог. Дополнительные ограничения могут лимитировать длину ответов AI, чтобы они не подавляли, или количество обменов репликами, чтобы AI не застрял в цикле и не потерял нить разговора. Можно также определить, когда и как AI начинает диалог. Например: «всегда жди, пока пользователь начнёт разговор» или «всегда начинай диалог с представления себя как AI-Coach, который здесь, чтобы помочь команде провести разбор полётов».

Персонализация. Особенно полезны промпты, которые запрашивают информацию у пользователей. Можно попросить AI задавать вопросы, чтобы проработать проблему. Поскольку AI «знает» только тот контекст, который ему дан, работа с ним через серию вопросов даёт AI контекст, который он может использовать, чтобы вам помочь. В структурированном промпте поместить AI в роль проводника, задающего вам вопросы, — это часть дизайна универсального промпта; это помогает персонализировать взаимодействие, чтобы AI мог адаптироваться к разным сценариям.

Ещё пара вещей, которые могут пригодиться:

Примеры и few-shot. Few-shot обучение — это когда модели дают небольшое количество примеров («шотов»), чтобы направить её поведение на новой задаче. Это противоположно zero-shot обучению, где модели не дают примеров вообще и просят рассуждать самостоятельно. В few-shot промптинге модели показывают пару примеров того типа контента, текста или решений, который вы хотите от AI получить. Абстрактные инструкции в паре с примерами усиливают способность AI адаптироваться и отвечать. В этом промпте мы так не делаем, но вы можете поэкспериментировать с примерами в своих промптах.

Запрос конкретного формата вывода. Наконец, учитывая возможности моделей, вы можете запрашивать самые разные форматы вывода. Например, можно попросить картинку, объяснение, диаграмму, таблицу, документ, Excel-таблицу или сайт. Экспериментируйте с разными подходами — вас могут ждать сюрпризы.

Добавлено 2 ноября: Эмоциональные апелляции. Сам не до конца уверен, как к этому относиться, но недавняя статья предполагает, что LLM, включая ChatGPT-3.5 и GPT-4, выдают результаты почти на 10% лучше по разным параметрам, если добавить эмоциональную апелляцию. В статье авторы просто добавляли в конец запроса одну из нескольких эмоциональных фраз, в том числе: «Это очень важно для моей карьеры», «Лучше будь уверен», «Гордись своей работой и сделай её на максимуме. Твоя приверженность совершенству выделяет тебя», и «Ты уверен, что это твой окончательный ответ? Верь в свои способности и стремись к совершенству. Твой упорный труд принесёт замечательные плоды». Разные фразы работали лучше в разных контекстах, так что единой лучшей фразы нет, хотя про карьеру часто срабатывало хорошо. Так что, как бы неловко ни было давать такой совет, можно просто добавлять что-то подобное в конец промпта. У исследователей пока нет ответа, почему это работает. AI порой странный.

В качестве финального шага нужно проверить ваш промпт, попробовав его с хорошими, плохими и нейтральными входными данными. Встаньте на позицию своих пользователей — полезен ли AI? Работает ли процесс? Как AI мог бы быть полезнее? Нужен ли ему больше контекст? Нужны ли дополнительные ограничения? Можно продолжать дорабатывать промпт, пока он не заработает для вас и пока вы не почувствуете, что он сработает для вашей аудитории. Затем поделитесь им и соберите обратную связь.

Для меня самое увлекательное в структурированных промптах — это возможность делиться. Они позволяют любому взять то, что вы наработали, и применить к своему контексту. Например, Microsoft собрала набор наших образовательных промптов, которыми вы можете свободно пользоваться или экспериментировать (нам не платит ни Microsoft, ни какая-либо другая AI-компания). Надеемся, что и другие начнут делиться своими структурированными промптами.

С чего начать

Самый простой способ начать работу с AI — применять его к задачам, которые вы делаете каждый день. Пишете письмо — попросите AI его написать, а потом разговорным способом просите улучшать. Генерируете идеи — спросите AI. Принимаете решение — отдайте данные AI и попросите его мнение. Не воспринимайте всё это слишком серьёзно, особенно пока только знакомитесь с возможностями, но часов через 10 вы начнёте по-настоящему понимать, на что AI способен.

Помните: вам очень дёшево экспериментировать с задачами, которые вы и так делаете каждый день, но другим людям гораздо труднее понять, как именно вам лучше использовать AI. Из этого два следствия. Во-первых, никто особо не сможет вам помочь — нет инструкции под ваш конкретный случай, разбираться придётся самостоятельно. Во-вторых, вы можете стать мировым экспертом по применению AI к вашей собственной работе, что даст вам огромное преимущество. Когда будете готовы, начните делиться этим преимуществом с другими через структурированные промпты. Но и структурированные промпты выглядят как временный этап в развитии AI: по мере того как AI становится способнее, он всё больше будет сам задавать вопросы нам, помогая достичь наших целей, а не ждать, пока мы зададим вопрос ему.

Поделиться