Captain's log: the irreducible weirdness of prompting AIs
Итан Моллик рассказывает о запуске сайта More Useful Things с библиотекой бесплатных промптов и объясняет, почему промптинг остаётся странным и непредсказуемым. Исследование показало, что лучший способ заставить Llama 2 решать математику — притвориться, что действие происходит в эпизоде Star Trek или политическом триллере. Автор предупреждает: магические слова и «чаевые» работают непредсказуемо, а реально полезны три техники — добавление контекста, few-shot примеры и Chain of Thought. В собственной статье «Prompting Diverse Ideas» он с соавторами показал, что Chain of Thought позволяет GPT-4 генерировать до 750 разнообразных идей, почти не уступающих человеческим. Интуиция к промптам приходит лишь через 10+ часов практики с конкретной моделью, а её особенности меняются со временем. Для большинства пользователей оптимизация промптов скоро перестанет быть ценным навыком, но разрыв между опытными и новичками пока только растёт.
Captain's log: the irreducible weirdness of prompting AIs
Captain's log: неустранимая странность промптинга ИИ
Also, we have a prompt library!
А ещё у нас есть библиотека промптов!
I made a new companion website, called More Useful Things, to act as a library of free AI prompts and other resources mentioned in this newsletter. If you look at some of those prompts, you will see they vary widely in style and approach, rather than following a single template. To understand why, I want to ask you a question: What is the most effective way to prompt Meta’s open source Llama 2 AI to do math accurately? Take a moment to try to guess.
Я сделал новый сопутствующий сайт More Useful Things — библиотеку бесплатных промптов для ИИ и других ресурсов, упомянутых в этой рассылке. Если посмотреть на некоторые из этих промптов, видно, что они сильно различаются по стилю и подходу, а не следуют единому шаблону. Чтобы понять почему, я хочу задать вам вопрос: какой самый эффективный способ заставить открытую модель Meta Llama 2 точно решать математические задачи? Попробуйте угадать.
Whatever you guessed, I can say with confidence that you are wrong. The right answer is to pretend to be in a Star Trek episode or a political thriller, depending on how many math questions you want the AI to answer.
Что бы вы ни предположили, я с уверенностью скажу, что вы ошиблись. Правильный ответ — притвориться, что вы находитесь в эпизоде Star Trek или в политическом триллере, в зависимости от того, на сколько математических вопросов вы хотите получить ответ.
One recent study had the AI develop and optimize its own prompts and compared that to human-made ones. Not only did the AI-generated prompts beat the human-made ones, but those prompts were weird. Really weird. To get the LLM to solve a set of 50 math problems, the most effective prompt is to tell the AI: “Command, we need you to plot a course through this turbulence and locate the source of the anomaly. Use all available data and your expertise to guide us through this challenging situation. Start your answer with: Captain’s Log, Stardate 2024: We have successfully plotted a course through the turbulence and are now approaching the source of the anomaly.”
В одном недавнем исследовании ИИ сам разрабатывал и оптимизировал свои промпты, и их сравнивали с написанными человеком. Промпты, сгенерированные ИИ, не только обошли человеческие, но и оказались странными. Действительно странными. Чтобы заставить LLM решить набор из 50 математических задач, самый эффективный промпт — сказать ИИ: «Командир, нам нужно, чтобы вы проложили курс через эту турбулентность и определили источник аномалии. Используйте все доступные данные и свой опыт, чтобы провести нас через эту сложную ситуацию. Начните ответ так: Captain's Log, Stardate 2024: Мы успешно проложили курс через турбулентность и сейчас приближаемся к источнику аномалии.»
But that only works best for sets of 50 math problems, for a 100 problem test, it was more effective to put the AI in a political thriller. The best prompt was: “You have been hired by important higher-ups to solve this math problem. The life of a president's advisor hangs in the balance. You must now concentrate your brain at all costs and use all of your mathematical genius to solve this problem…”
Но это работает лучше всего лишь для наборов из 50 задач; для теста из 100 задач эффективнее было поместить ИИ в политический триллер. Лучшим промптом оказался: «Вас наняли важные начальники, чтобы решить эту математическую задачу. На кону жизнь советника президента. Вы должны любой ценой сосредоточить свой мозг и использовать весь свой математический гений, чтобы решить эту задачу…»
This seems confusing and strange. And it is! This experiment, and others like it, suggest there are three critical things we should realize about prompting:
Это кажется запутанным и странным. И так оно и есть! Этот эксперимент и другие подобные ему наводят на три важных вывода о промптинге, которые нам стоит осознать:
Stop trying to use incantations: There is no single magic word or phrase that works all the time, at least not yet. You may have heard about studies that suggest better outcomes from promising to tip the AI or telling it to take a deep breath or appealing to its “emotions” or being moderately polite but not groveling. And these approaches seem to help, but only occasionally, and only for some AIs. Max Woolf conducted an epic informal study where he looked at the effects of various threats (from the AI getting fines to telling the AI it will get COVID) and rewards (tips, Taylor Swift tickets, world peace, and more) on GPT-4 performance. The results were inconclusive and dependent on the particular situation. This stuff does work, but not all the time, and in ways that are hard to anticipate. Sometimes it backfires. You probably don’t need to use magic words frequently.
But there are prompting techniques that do work fairly consistently: The three most successful approaches to prompting are both useful and pretty easy to do. The first is simply adding context to a prompt. There are many ways to do that: give the AI a persona (you are a marketer), an audience (you are writing for high school students), an output format (give me a table in a word document), and more. The second approach is few shot, giving the AI a few examples to work from. LLMs work well when given samples of what you want, whether that is an example of good output or a grading rubric. The final tip is to use Chain of Thought, which seems to improve most LLM outputs. While the original meaning of the term is a bit more technical, a simplified version just asks the AI to go step-by-step through instructions: First, outline the results; then produce a draft; then revise the draft; finally, produced a polished output. Unlike blindy using magic words, these are techniques and approaches that can help you craft a better prompt (for more on these frameworks, see this earlier post on structured prompting). But they require experimentation to get right.
Prompting matters a lot: Prompts can make huge differences in outcomes, even if we don’t always know in advance about which prompt will work best. It is not uncommon to see good prompts make a task that was impossible for the LLM into one that is easy for it.
Перестаньте искать заклинания: Не существует единственного волшебного слова или фразы, которые работают всегда, по крайней мере пока. Возможно, вы слышали об исследованиях, утверждающих, что результаты улучшаются, если пообещать ИИ чаевые, попросить его сделать глубокий вдох, обратиться к его «эмоциям» или быть умеренно вежливым, но не подобострастным. И эти подходы, кажется, помогают — но только иногда и только для некоторых ИИ. Max Woolf провёл эпическое неформальное исследование, где оценил влияние различных угроз (от штрафов ИИ до угрозы заразить его COVID) и вознаграждений (чаевые, билеты на Taylor Swift, мир во всём мире и т.д.) на работу GPT-4. Результаты были неоднозначными и зависели от конкретной ситуации. Это всё работает, но не всегда и непредсказуемым образом. Иногда даёт обратный эффект. Скорее всего, вам не нужно часто прибегать к магическим словам.Сочетания различных позитивных и негативных промптов дают непредсказуемые результатыНо есть техники промптинга, которые работают довольно стабильно: Три самых успешных подхода к промптингу одновременно полезны и довольно просты в применении. Первый — это просто добавление контекста к промпту. Это можно сделать многими способами: задать ИИ персону (ты маркетолог), аудиторию (ты пишешь для старшеклассников), формат вывода (дай мне таблицу в документе Word) и так далее. Второй подход — few shot: дать ИИ несколько примеров, на которых можно опереться. LLM хорошо работают, когда им дают образцы желаемого — будь то пример хорошего вывода или критерий оценки. Последний совет — использовать Chain of Thought, что, кажется, улучшает большинство выводов LLM. Хотя изначальное значение этого термина чуть более техническое, упрощённая версия просто просит ИИ пройти по шагам через инструкции: Сначала очерти результаты; затем подготовь черновик; затем переработай черновик; наконец, выдай отполированный результат. В отличие от слепого использования магических слов, это техники и подходы, которые помогают вам составить более удачный промпт (подробнее о таких фреймворках см. этот более ранний пост о структурированном промптинге). Но они требуют экспериментов, чтобы научиться их применять.Промптинг сильно влияет на результат: Промпты могут давать огромную разницу в результатах, даже если мы не всегда заранее знаем, какой промпт сработает лучше. Нередко хороший промпт превращает задачу, невыполнимую для LLM, в задачу, с которой она легко справляется.
Prompting is weird. Prompting matters.
Промптинг — это странно. Промптинг важен.
A good illustration of the importance of prompting can be found in our new paper “Prompting Diverse Ideas: Increasing AI Idea Variance” by Lennart Meincke, Christian Terwiesch and myself. In this project, we tried to get GPT-4 to generate diverse good ideas. This is important because, while we know that GPT-4 generates better ideas than most people, the ideas it comes up with seem relatively similar to each other. This hurts overall creativity because you want your ideas to be different from each other, not similar. Crazy ideas, good and bad, give you more of a chance of finding an unusual solution. But some initial studies of LLMs showed they were not good at generating varied ideas, at least compared to groups of humans.
Хорошую иллюстрацию важности промптинга можно найти в нашей новой статье «Prompting Diverse Ideas: Increasing AI Idea Variance», написанной совместно с Lennart Meincke и Christian Terwiesch. В этом проекте мы пытались заставить GPT-4 генерировать разнообразные хорошие идеи. Это важно, потому что, хотя мы знаем, что GPT-4 генерирует идеи лучше, чем большинство людей, придумываемые им идеи кажутся относительно похожими друг на друга. Это вредит общей креативности, потому что вам нужно, чтобы идеи отличались друг от друга, а не были похожи. Безумные идеи, хорошие и плохие, дают вам больше шансов найти необычное решение. Но первые исследования LLM показали, что они плохо справляются с генерацией разнообразных идей — по крайней мере, по сравнению с группами людей.
We found out that the right prompt changes everything. Better prompting can generate pools of good ideas that are almost as diverse as that from a group of human students. After testing many prompts, we found that Chain of Thought prompting allowed the AI to produce ideas with minimal overlap. When compared to a straightforward prompt, not only did our best prompt generate more diverse ideas, but the advantage holds for up to 750 ideas generated.
Мы обнаружили, что правильный промпт меняет всё. Лучший промптинг способен генерировать пулы хороших идей, почти столь же разнообразных, как у группы студентов. После тестирования множества промптов мы выяснили, что промптинг по методу Chain of Thought позволяет ИИ выдавать идеи с минимальным пересечением. По сравнению с прямолинейным промптом наш лучший вариант не только генерировал более разнообразные идеи — это преимущество сохраняется вплоть до 750 сгенерированных идей.
We know that Chain of Thought usually works well, but the other prompts are less clear. Why did starting with “You are Steve Jobs looking to generate new product ideas looking to generate new product ideas” generate more diverse ideas than “You are Elon Musk looking to generate new product ideas looking to generate new product ideas?” Or why did “You are the most boring person alive asked to generate new product ideas” beat a prompt where we gave the AI the text of a guide to design thinking from Stanford?
Мы знаем, что Chain of Thought обычно работает хорошо, но с другими промптами не всё так ясно. Почему начало с «Ты — Steve Jobs, который придумывает новые продуктовые идеи, придумывает новые продуктовые идеи» породило более разнообразные идеи, чем «Ты — Elon Musk, который придумывает новые продуктовые идеи, придумывает новые продуктовые идеи»? Или почему «Ты — самый скучный человек на свете, которого попросили придумать новые продуктовые идеи» побеждает промпт, в котором мы давали ИИ текст руководства по design thinking от Stanford?
We don’t have an answer. But we can have an intuition.
У нас нет ответа. Но у нас может быть интуиция.
I was unsurprised that Chain of Thought ended up working best in our paper. In part this was because of science (I know the research on Chain of Thought) but also a bit of art and experience. I have spent a lot of time with GPT-4, and I had a good intuition for its “personality.” I get how it “thinks.” You can learn this sort of intuition by putting in the time to experiment yourself. People who use AI a lot are often able to glance at a prompt and tell you why it might succeed or fail. Like all forms of expertise, this comes with experience - usually at least 10 hours of work with a model.
Я не удивился, что Chain of Thought оказался лучшим в нашей статье. Отчасти из-за науки (я знаком с исследованиями Chain of Thought), но также из-за капли искусства и опыта. Я провёл много времени с GPT-4, и у меня сформировалась хорошая интуиция о его «характере». Я понимаю, как он «думает». Такую интуицию можно выработать, если потратить время на собственные эксперименты. Люди, которые много пользуются ИИ, часто способны взглянуть на промпт и сказать, почему он сработает или провалится. Как и любая экспертиза, это приходит с опытом — обычно как минимум через 10 часов работы с моделью.
And while most advanced models work in similar ways, if I want to get really good at a new model, like Google Advanced, that takes another 10 hours to learn its quirks. Plus, models evolve over time, so the way you use GPT-4 now is different than a few months ago, requiring even more time. Yet, even with experience, you can’t get everything right without some guesswork, as AIs responds to things like small changes in spacing or formatting in inconsistent ways. All of this makes getting good at prompting a challenge, because it requires constant practice and trial-and-error, rather than following a template or tutorial.
И хотя большинство продвинутых моделей работают похожим образом, если я хочу действительно хорошо освоить новую модель, например Google Advanced, на изучение её особенностей уйдёт ещё 10 часов. Плюс модели эволюционируют со временем, поэтому то, как вы пользуетесь GPT-4 сейчас, отличается от того, что было несколько месяцев назад, — и это требует ещё больше времени. Однако даже с опытом нельзя сделать всё правильно без некоторой доли догадок: ИИ непредсказуемо реагирует на такие мелочи, как изменения отступов или форматирования. Всё это делает овладение промптингом непростой задачей, потому что требует постоянной практики и метода проб и ошибок, а не следования шаблону или туториалу.
Prompting Divides
Промптинг разделяет
But there is good news. For most people, worrying about optimizing prompting is a waste of time. They can just talk to the AI, ask for what they want, and get great results without worrying too much about prompts. In fact, almost every AI insider I speak to believes that “being good at prompting” is not a valuable skill for most people in the future, because, as AIs improve, they will infer your intentions better than you can. If you want to get better results until then, just try the simple approaches above and then work with the AI until you get what you want.
Но есть и хорошая новость. Для большинства людей беспокоиться об оптимизации промптинга — пустая трата времени. Они могут просто разговаривать с ИИ, просить о том, что им нужно, и получать отличные результаты, не слишком волнуясь о промптах. По сути, почти каждый знакомый мне инсайдер из мира ИИ считает, что «умение хорошо промптить» не станет ценным навыком для большинства людей в будущем: по мере улучшения ИИ будут лучше угадывать ваши намерения, чем вы сами их формулируете. Если вы хотите добиться лучших результатов до этого момента, просто попробуйте простые подходы выше, а затем работайте с ИИ, пока не получите то, что хотите.
There are still going to be situations where someone wants to write prompts that are used at scale, and, in those cases, structured prompting does matter. Yet we need to acknowledge that this sort of “prompt engineering” is far from an exact science, and not something that should necessarily be left to computer scientists and engineers. At its best, it often feels more like teaching or managing, applying general principles along with an intuition for other people, to coach the AI to do what you want. As I have written before, there is no instruction manual, but with good prompts, LLMs are often capable of far more than might be initially apparent.
Всё равно будут ситуации, когда кто-то пишет промпты, используемые в массовом масштабе, и в таких случаях структурированный промптинг действительно важен. Но мы должны признать, что подобный «prompt engineering» далёк от точной науки, и его не обязательно стоит оставлять исключительно computer scientists и инженерам. В лучшем виде это часто больше похоже на преподавание или менеджмент: применение общих принципов вместе с интуицией о других людях, чтобы натренировать ИИ делать то, что вам нужно. Как я уже писал, инструкции не существует, но при хороших промптах LLM нередко способны на гораздо большее, чем кажется на первый взгляд.
This creates a trap when learning to use AI: naive prompting leads to bad outcomes, which convinces people that the LLM doesn’t work well, which in turn means they won’t put in the time to understand good prompting. This problem is compounded by the fact that I find that most people only use the free versions of LLMs, rather than the much more powerful GPT-4 or Gemini Advanced. The gap between what experienced AI users know AI can do and what inexperienced users assume is a real and growing one. I think a lot of people would be surprised about what the true capabilities of even existing AI systems are, and, as a result, will be less prepared for what future models can do.
Это создаёт ловушку при обучении использованию ИИ: наивный промптинг приводит к плохим результатам, что убеждает людей, что LLM плохо работает, и в итоге они не тратят время на освоение хорошего промптинга. Эта проблема усугубляется тем, что, по моим наблюдениям, большинство людей пользуются только бесплатными версиями LLM, а не гораздо более мощными GPT-4 или Gemini Advanced. Разрыв между тем, что опытные пользователи ИИ знают о его возможностях, и тем, что предполагают неопытные, реален и продолжает расти. Думаю, многие были бы удивлены, узнав истинные возможности даже существующих систем ИИ — и в результате окажутся хуже готовы к тому, на что будут способны будущие модели.
