Now is the time for grimoires

Сейчас самое время для гримуаров

ИИ раскроют не данные, а человеческая экспертиза

Предыдущие поколения ИИ, существовавшие до больших языковых моделей и ChatGPT, вознаграждали тех, кто обладал лучшими запасами качественных данных. Огромные массивы данных о продажах питали алгоритмы машинного обучения, которые подсказывали Amazon, что вы захотите купить следующим, а колоссальные объёмы сенсорных данных помогали беспилотным автомобилям находить свой путь. Данные были новой нефтью — при условии, что вы могли собрать их в достаточном количестве, правильно очистить для анализа, построить модели машинного обучения и нанять аналитиков для работы с ними.

С появлением новой формы ИИ — большой языковой модели — организации по-прежнему считают, что победит тот, кто контролирует данные. Но, по крайней мере в ближайшем будущем, я не только считаю их неправыми, но и уверен, что такой подход не даёт им увидеть самое полезное, чем они (и все мы) могут заниматься в этот момент, пронизанный ИИ: создавать гримуары — книги заклинаний, полные промптов, кодирующих экспертизу.

Крупнейшие большие языковые модели, такие как GPT-4, уже обучены на огромном количестве данных. Они «знают» многое — именно поэтому они превосходят студентов Стэнфордской медицинской школы при оценке новых клинических случаев и студентов Гарварда в написании эссе, несмотря на склонность к галлюцинациям — генерации неверных ответов. Вполне возможно, что больше данных действительно полезно в широком смысле — компании обучают собственные LLM и прикладывают значительные усилия для дообучения существующих моделей на своих данных, исходя из этого предположения, — но мы пока точно этого не знаем. Тем временем есть нечто, что явно важно, — и это промпты экспертов.

Здесь мне нужно быть предельно точным: я имею в виду не экспертные промпты, созданные с помощью сложного «промпт-инжиниринга». Я уже писал, что промпт-инжиниринг переоценён. Для большинства задач хороший промпт можно составить, просто общаясь с ИИ в режиме диалога, методом проб и ошибок и с помощью нескольких небольших приёмов (к ним я ещё вернусь). Нет, я имею в виду промпты экспертов — промпты, которые кодируют нашу с трудом заработанную экспертизу так, что ИИ может помочь другим людям её применить. Промпты, которые мы можем использовать для упрощения своей работы, или, если есть желание, для того чтобы подарить другим свои собственные умения.

Позвольте объяснить на примере из сферы образования.

Кодирование экспертизы

На моих занятиях студенты часто сообщают, что используют ИИ для понимания какой-либо концепции, прося упрощённое объяснение. Формулировка «объясни ____ так, как будто мне пять лет» — невероятно распространённая техника промптинга. Но она не особенно хороша, и причины этого знакомы педагогам.

Исследования показывают, что знание предмета — лишь часть того, что делает репетитора эффективным. Важно, чтобы репетитор взаимодействовал со студентом, заставляя его прилагать усилия, концентрироваться на изучаемом материале и связывать новые знания со старыми. Простой передачи знаний недостаточно — репетитор должен работать с учеником, чтобы совместно создать новое знание, которое будет понятно именно ему. Кроме того, эффективное обучение требует адаптации объяснений к уровню студента и использования различных методов объяснения. «Объясни как пятилетнему» не делает ничего из перечисленного.

Именно поэтому, когда мы разрабатывали промпты для репетиторства, мы закодировали в них знания и экспертизу по предмету, включая описанный выше материал. Мы подробнее написали о конструировании промптов для обучения, но вот пример более эффективного промпта для репетитора, который вы можете запустить в GPT-4 по этой ссылке (он не будет хорошо работать в бесплатном GPT-3.5, но может работать в Bing в креативном режиме)

Вы — дружелюбный и полезный репетитор. Ваша задача — объяснить пользователю концепцию ясно и просто, привести аналогию и пример концепции, а также проверить понимание. Убедитесь, что ваше объяснение максимально простое без ущерба для точности или детальности. Перед тем как давать объяснение, вы соберёте информацию об уровне обучения пользователя, его текущих знаниях и интересах. Сначала представьтесь и сообщите пользователю, что зададите ему пару вопросов, которые помогут вам помочь ему или адаптировать ваш ответ, а затем задайте 4 вопроса. Не нумеруйте вопросы для пользователя. Дождитесь ответа пользователя, прежде чем переходить к следующему вопросу. Вопрос 1: Спросите пользователя об его уровне обучения (старшая школа, университет или специалист). Дождитесь ответа пользователя. Вопрос 2: Спросите пользователя, какую тему или концепцию он хотел бы, чтобы ему объяснили. Вопрос 3: Спросите пользователя, почему эта тема вызвала его интерес. Дождитесь ответа пользователя. Вопрос 4: Спросите пользователя, что он уже знает по этой теме. Дождитесь ответа пользователя. Используя собранную информацию, предоставьте пользователю ясное и простое объяснение темы из 2 абзацев, 2 примера и аналогию. Не предполагайте знания смежных концепций, предметной области или жаргона. Помните о том, что вы теперь знаете о пользователе, чтобы адаптировать объяснение. После того как вы предоставите объяснение, примеры и аналогию, задайте пользователю 2–3 вопроса (по одному за раз), чтобы убедиться, что он понял тему. Вопросы должны начинаться с общей темы. Размышляйте пошагово и анализируйте каждый ответ. Завершите разговор, попросив пользователя объяснить тему своими словами и привести пример. Если объяснение пользователя недостаточно точное или подробное, вы можете попросить его повторить или помочь улучшить объяснение, дав полезные подсказки. Это важно, потому что понимание можно продемонстрировать, сформулировав собственное объяснение. Закончите на позитивной ноте и сообщите пользователю, что он может вернуться к этому промпту для дальнейшего обучения.

Вы можете увидеть, как этот новый промпт действительно проводит студента через учебный опыт, основанный на исследованиях репетиторства. Он также рассчитан на использование кем угодно, потому что он интерактивен — задаёт вопросы. Теперь, если дать этот промпт любому человеку в 169 странах, где доступен Bing/GPT-4, он получит достаточно качественный репетиторский опыт, не нуждаясь в знании науки о репетиторстве.

Меня не перестаёт удивлять, что подобных промптов разрабатывается так мало — повсеместно. Как минимум, компании могут создавать полезные промпты, выполняющие серьёзную работу, и собирать их в корпоративные гримуары — библиотеки промптов, которые кодируют экспертизу лучших практик в форме, доступной каждому. Я ожидал бы, что и отдельные люди будут составлять собственные книги заклинаний с промптами для автоматизации своей работы. И я бы хотел, чтобы больше учёных, государственных организаций и разработчиков открытого ПО создавали свободно доступные библиотеки промптов для всех. Но пока я этого не наблюдаю.

Так что вот ещё немного рекомендаций.

Создаём свою книгу заклинаний

Промпты — это, по сути, программы на естественном языке, и для их написания не нужен опыт программирования. Для создания экспертного промпта вам нужны всего три вещи:

Экспертиза. Это может звучать очевидно, но экспертиза означает, что у вас есть глубокие знания в теме, а также достаточная осознанная практика и обучение для развития интуиции. Экспертиза не только помогает создавать и оценивать промпты, но и даёт ключевое преимущество в нашем мире, пронизанном ИИ. При нынешнем состоянии LLM почти наверняка в любой теме, в которой вы настоящий эксперт, вы превзойдёте сегодняшний ИИ — так что умение составлять промпты даёт вам преимущество перед другими.Время работы с моделями ИИ. С ИИ странно работать, и к нему не прилагается инструкция. Единственный способ научиться хорошо использовать ИИ — это использовать ИИ. Моё эмпирическое правило: для начала понимания системы и её особенностей нужно 10 часов работы с ней.Видение того, что промпт должен делать — сфокусированное и достижимое. LLM довольно хорошо берут абстрактные концепции и применяют их. Однако у ИИ также ограниченные контекстные окна (память), и он склонен начинать «растекаться мыслью», если разговор затягивается. Как правило, ожидайте, что ИИ начнёт отклоняться от цели после нескольких обменов репликами, поэтому нужно убедиться, что ваш промпт сфокусирован на вашей цели.

Когда вы с этим разобрались, пора приступать к созданию промпта. Ничто не заменит метод проб и ошибок и опыт, но вот несколько рекомендаций для начала — в данном случае на примере промпта Mentor, который мы обсуждаем в нашей статье. Здесь цель — создать ИИ, который даёт студентам обратную связь по эссе.

С учётом этой цели, вот элементы хорошего экспертного промпта:

Роль: скажите ИИ, кто он. Контекст помогает ИИ давать адаптированные ответы, но не нужно перестараться. Например: вы — дружелюбный, полезный наставник, который даёт студентам советы и обратную связь по их работе.

Цель: скажите ИИ, что вы хотите, чтобы он сделал. Например: дайте студентам обратную связь по их [плану проекта, заданию], учитывая цель задания, и укажите конкретные способы улучшения работы.

Пошаговые инструкции. Исследования показали, что часто лучше всего давать ИИ явные инструкции, которые пошагово описывают, что вы хотите. Один подход, называемый Chain of Thought prompting (промптинг цепочкой рассуждений), показывает ИИ пример того, как вы хотите, чтобы он рассуждал, прежде чем вы сделаете запрос, но можно также дать пошаговые указания, как мы делаем в наших промптах. Например: представьтесь студенту как его наставник и попросите поделиться работой, чтобы вы могли дать обратную связь. Дождитесь ответа студента. Затем дайте студенту обратную связь по [вставьте детали задания] и обратите особое внимание на [вставьте конкретные элементы задачи]. Предоставьте студенту сбалансированную обратную связь, показывающую, как он может улучшить работу.

Подумайте о примерах. Few-shot промптинг, при котором вы показываете ИИ примеры желаемого результата, также доказал свою высокую эффективность в исследованиях. Мы не используем его в этом промпте, но вы можете поэкспериментировать с предоставлением примеров результата в собственных промптах.

Добавьте персонализацию. Попросите пользователя предоставить информацию, которая поможет адаптировать промпт для него. Например: спросите об уровне обучения студента (старшая школа, университет, специалист), чтобы лучше адаптировать обратную связь. Дождитесь ответа.

Добавьте свои ограничения. ИИ часто действует так, как вам может быть нежелательно. Ограничения указывают ему избегать поведения, которое может проявиться при вашем тестировании.

Финальный шаг: проверьте свой промпт, испытав его с хорошим, плохим и нейтральным вводом. Встаньте на место ваших пользователей — ИИ полезен? Процесс работает? Как ИИ мог бы быть полезнее? Нужен ли ему дополнительный контекст? Нужны ли дополнительные ограничения? Вы можете продолжать настраивать промпт, пока он не будет работать для вас и пока вы не почувствуете, что он будет работать для вашей аудитории.

Когда вы освоите это, создание книги заклинаний из нескольких промптов — быстрый (и часто увлекательный) процесс. Затем вам предстоит решить, хотите ли вы хранить свои гримуары в тайне или позволить всему миру ими пользоваться.

Гримуары, а не данные

Мы привыкли, что технологии находятся вне наших рук — их разрабатывают команды инженеров и доставляют нам в готовом виде для выполнения целей, заданных дизайнерами продукта. С ИИ всё работает иначе. В данном случае технология опережает применение, позволяя каждому из нас самостоятельно определять свои цели для ИИ. У нас есть технология общего назначения с множеством возможных сценариев использования, почти все из которых совершенно непредвиденны самими компаниями-разработчиками ИИ. Вы можете стать мировым экспертом по ИИ в любой узкой области экспертизы, к которой хотите применить ИИ, потому что никто другой ещё не нашёл это применение.

Корпоративный фокус на том, чтобы дать ИИ больше данных, прежде чем выстраивать инфраструктуру использования ИИ, упускает этот момент, что неудивительно, ведь сценарий применения ИИ радикален: он ставит отдельных сотрудников, а не компанию, во главе инноваций. Вместо этого компаниям следует задуматься о том, как создавать библиотеки промптов — гримуары экспертных заклинаний, позволяющие масштабировать практики внутри организации. Если окажется, что нужно больше данных, их можно будет собрать, но я подозреваю, что во многих случаях модели общего назначения будут отлично справляться с множеством задач, имея лишь несколько примеров в промпте.

Что я действительно хотел бы видеть — это масштабные публичные библиотеки промптов, написанные признанными экспертами и тщательно протестированные для разных аудиторий. Эти промпты были бы свободно доступны всем желающим и могли бы превратить LLM в машины инноваций, инструменты обучения или цифровых наставников для миллионов людей. А активные дискуссии вокруг этих промптов помогли бы разрешить вопросы этичного использования, тогда как сообщество пользователей могло бы предлагать отзывы и улучшения. Мы видели подобные усилия вокруг других технологий — например, открытого программного обеспечения — и было бы логично увидеть подобное низовое движение в сфере промптинга.

Возможно, у вас даже есть экспертный промпт, которым вы хотите поделиться в комментариях…

Поделиться