15 Times to use AI, and 5 Not to
Ethan Mollick выделяет 15 ситуаций, в которых ИИ особенно полезен, и 5, в которых его применение контрпродуктивно. Среди полезных сценариев — генерация большого количества идей, суммаризация объёмных текстов, перевод между форматами и аудиториями, преодоление творческих тупиков, предпринимательская работа с ИИ в роли компетентного партнёра, а также задачи, где исследования подтверждают эффективность ИИ (например, программирование). Не стоит использовать ИИ, когда цель — глубокое обучение, когда требуется высочайшая точность, когда вы не понимаете типичных ошибок модели, когда смысл заключён в самом процессе усилия и когда ИИ просто плох в конкретной задаче. Ключевой парадокс: ИИ наиболее полезен там, где вы уже достаточно эксперт, чтобы заметить его ошибки, и наименее полезен в глубокой работе, которая сделала вас экспертом. Автор подчёркивает, что умение правильно применять ИИ — это форма мудрости, которая требует постоянного пересмотра по мере развития технологий.
15 Times to use AI, and 5 Not to
15 ситуаций, когда стоит использовать ИИ, и 5 — когда нет
Notes on the Practical Wisdom of AI Use
Заметки о практической мудрости использования ИИ
There are several types of work where AI can be particularly useful, given the current capabilities and limitations of LLMs. Though this list is based in science, it draws even more from experience. Like any form of wisdom, using AI well requires holding opposing ideas in mind: it can be transformative yet must be approached with skepticism, powerful yet prone to subtle failures, essential for some tasks yet actively harmful for others. I also want to caveat that you shouldn't take this list too seriously except as inspiration - you know your own situation best, and local knowledge matters more than any general principles. With all that out of the way, below are several types of tasks where AI can be especially useful, given current capabilities—and some scenarios where you should remain wary.
Существует несколько типов работы, в которых ИИ может быть особенно полезен с учётом нынешних возможностей и ограничений LLM. Хотя этот список основан на научных данных, он ещё больше опирается на опыт. Как и любая форма мудрости, грамотное использование ИИ требует удержания в голове противоположных идей: он может быть трансформационным, но к нему нужно подходить со скепсисом; мощным, но склонным к неочевидным сбоям; незаменимым для одних задач и откровенно вредным для других. Я также хочу оговориться, что не стоит воспринимать этот список слишком серьёзно — разве что как источник вдохновения. Вы лучше знаете свою ситуацию, и локальное знание важнее любых общих принципов. С учётом всех этих оговорок — ниже несколько типов задач, для которых ИИ может быть особенно полезен при текущих возможностях, а также ряд сценариев, в которых стоит проявлять осторожность.
Work that requires quantity. For example, the number of ideas you generate determines the quality of the best idea. You want to generate a lot of ideas in any brainstorming session. Most people stop after generating just a few ideas because they become exhausted but, the AI can provide hundreds that do not meaningfully repeat.1
Work where you are an expert and can assess quickly whether AI is good or bad. This can involve complicated and exacting work, but it relies on your expertise to determine whether the AI is providing valuable outputs. For example, o1, the new AI model from OpenAI, can solve some PhD-level problems, but it can be hard to know whether its answers are useful without being an expert yourself.
Work that involves summarizing large amounts of information, but where the downside of errors is low, and you are not expected to have detailed knowledge of the underlying information. AI is good at summarizing novel-length work, but less successful at fact-checking it.
Work that is mere translation between frames or perspectives. For example, you have developed a policy but now have to turn it into a dozen different training documents for different audiences in your organization. AI is very good at this sort of translation, increasing and decreasing complexity of documents so that people can understand them.
Work that will keep you moving forward. Little things often block our way, and a push might be all we need to accomplish it. When writing prior to AI, I might get stuck on a sentence and walk away from writing for an hour, but now I ask AI give me thirty distinct ways to end this sentence
Work where you know that AI is better than the Best Available Human that you can access, and where the failure modes of AI will not result in worse outcomes if it gets something wrong.
Work that contains some elements that you can understand but need help on the context or details. Tyler Cowen suggests using the AI as a companion when reading, because it allows you to ask infinite questions.
Work where you need variance, and where you will select the best answer as an editor or curator. Asking for a variety of solutions - give me 15 ways to rewrite this bullet in radically different styles, be creative - allows you to find ideas that might be interesting.
Work that research shows that AI is almost certainly helpful in - many kinds of coding, for example.
Work where you need a first pass view at what a hostile, friendly, or naive recipient might think.
Work that is entrepreneurial, where you are expected to stretch your expertise widely over many different disciplines, and where the alternative to a good-enough partner is to not be able to act at all. AI can be a surprisingly competent co-founder, helping give mentorship while also acting to build the documents, demos, and approaches that are otherwise likely to be outside your experience.
Work where you need a specific perspective, and where a simulated first pass from that perspective can be helpful, like reactions from fictional personas.
Work that is mere ritual, long severed from its purpose (like certain standardized reports that no one reads). What, in the words of Bob Sutton and Huggy Rao, scatters your attention and makes you less valuable? What work serves no useful purpose? In an ideal world, you would remove the work, but you can at least reduce its hold on you by having AI help. (Though make sure this is indeed the case, far too many people automate performance reviews, for example, which are meaningful only when done by a human)
Work where you want a second opinion. Give an AI access to the data and see if reaches the same conclusion.
Work that AIs can do better than humans. This is likely to be the fastest-growing category.
Работа, требующая количества. Например, число сгенерированных идей определяет качество лучшей из них. На любом мозговом штурме нужно генерировать много идей. Большинство людей останавливаются после нескольких, потому что устают, но ИИ способен выдать сотни идей, которые не повторяются по существу.1 Работа, в которой вы эксперт и можете быстро оценить, хорош результат ИИ или нет. Это может быть сложная и точная работа, но она опирается на вашу экспертизу в определении ценности выдачи ИИ. Например, o1 — новая модель ИИ от OpenAI — способна решать некоторые задачи уровня PhD, но без экспертных знаний трудно понять, полезны ли её ответы.Работа, связанная с обобщением больших объёмов информации, при условии что цена ошибки невелика и от вас не ожидают детального знания исходного материала. ИИ хорошо справляется с суммаризацией текстов объёмом с роман, но хуже — с проверкой фактов.Работа, представляющая собой перевод между форматами или перспективами. Например, вы разработали политику, но теперь нужно превратить её в дюжину разных учебных документов для разных аудиторий в организации. ИИ отлично справляется с таким переводом, повышая и понижая сложность документов, чтобы люди могли их понять. Работа, которая помогает не останавливаться. Мелочи часто преграждают нам путь, и иногда достаточно лёгкого толчка, чтобы двигаться дальше. До появления ИИ я мог застрять на одном предложении и уйти от текста на час, но теперь я прошу ИИ: дай мне тридцать различных способов закончить это предложение30 способов закончить предложение. Скорее всего, я не использую ни один из них дословно, но они могут подсказать направления, о которых я бы не подумал.Работа, в которой вы знаете, что ИИ лучше лучшего доступного вам специалиста, и где ошибки ИИ не приведут к худшим последствиям, чем ошибки человека.Работа, в которой вы понимаете основные элементы, но нуждаетесь в помощи с контекстом или деталями. Tyler Cowen предлагает использовать ИИ как компаньона при чтении, потому что это позволяет задавать бесконечное количество вопросов. Работа, где вам нужно разнообразие и где вы будете выбирать лучший вариант как редактор или куратор. Запрос на множество решений — дай мне 15 способов переписать этот пункт в радикально разных стилях, будь креативным — позволяет находить идеи, которые могут оказаться интересными.дай мне 15 способов переписать этот пункт в радикально разных стилях, будь креативнымРабота, в которой, по данным исследований, ИИ почти наверняка полезен — например, многие виды программирования.Работа, где вам нужно получить первое приближение того, как отреагирует враждебный, дружелюбный или наивный получатель.Предпринимательская работа, где от вас ожидают широкого охвата множества дисциплин и где альтернатива достаточно хорошему партнёру — полное бездействие. ИИ может быть на удивление компетентным сооснователем, помогая с менторством и одновременно создавая документы, демо и подходы, которые иначе были бы за пределами вашего опыта.Работа, где нужна определённая точка зрения и где смоделированная первая реакция с этой позиции может быть полезна — например, отклики от вымышленных персон. Работа, ставшая пустым ритуалом, давно утратившим своё назначение (как некоторые стандартизированные отчёты, которые никто не читает). Что, по словам Bob Sutton и Huggy Rao, рассеивает ваше внимание и делает вас менее ценным? Какая работа не служит никакой полезной цели? В идеальном мире вы бы её устранили, но по крайней мере можете ослабить её хватку с помощью ИИ. (Хотя убедитесь, что это действительно так: слишком многие автоматизируют, например, оценку эффективности сотрудников, которая имеет смысл только тогда, когда её проводит человек.)Работа, где вам нужно второе мнение. Дайте ИИ доступ к данным и посмотрите, придёт ли он к тому же выводу.Работа, которую ИИ делает лучше людей. Вероятно, это самая быстрорастущая категория.
5 Times Not to Use AI
5 ситуаций, когда не стоит использовать ИИ
Before diving into the specific cases where AI use is problematic, we can set aside the obvious scenarios - using AI for illegal purposes, in high-stakes situations where errors could be catastrophic, or for decisions that ethically require human work. Beyond these clear-cut cases, here are five subtle but important areas where AI use can be counterproductive:
Прежде чем перейти к конкретным случаям, где использование ИИ проблематично, отложим в сторону очевидные сценарии — применение ИИ в незаконных целях, в ситуациях с высокими ставками, где ошибки могут быть катастрофическими, или для решений, которые с этической точки зрения требуют человеческого участия. Помимо этих однозначных случаев, вот пять неочевидных, но важных областей, где использование ИИ может быть контрпродуктивным:
When you need to learn and synthesize new ideas or information. Asking for a summary is not the same as reading for yourself. Asking AI to solve a problem for you is not an effective way to learn, even if it feels like it should be. To learn something new, you are going to have to do the reading and thinking yourself, though you may still find an AI helpful for parts of the learning process.
When very high accuracy is required. The problem with AI errors, the infamous hallucinations, is that, because of how LLMs work, the errors are going to be very plausible. Hallucinations are therefore very hard to spot, and research suggests that people don’t even try, “falling asleep at the wheel” and not paying attention. Hallucinations can be reduced, but not eliminated. (However, many tasks in the real world are tolerant of error - humans make mistakes, too - and it may be that AI is less error-prone than humans in certain cases)
When you do not understand the failure modes of AI. AI doesn’t fail exactly like a human. You know it can hallucinate, but that is only one form of error: AIs often try to persuade you that they are right, or they might become sycophantic and agree with your incorrect answer. You need to use AI enough to understand these risks.
When the effort is the point. In many areas, people need to struggle with a topic to succeed - writers rewrite the same page, academics revisit a theory many times. By shortcutting that struggle, no matter how frustrating, you may lose the ability to reach the vital “aha” moment.
When AI is bad. This may seem obvious, but AI is bad at things you wouldn’t expect (counting the number of r’s in the word “strawberry”) and good at things you wouldn’t expect (writing a Shakespearean sonnet about how hard it is to count the number of r’s in the word strawberry where the first letter of every line spells out two fruits). Unfortunately, there is no general manual to tell you the shape of the Jagged Frontier of AI abilities, which are constantly evolving. Trial and error, and sharing information with peers, is vital to figuring this out.
Когда вам нужно изучить и синтезировать новые идеи или информацию. Попросить краткое изложение — не то же самое, что прочитать самому. Просить ИИ решить задачу за вас — неэффективный способ обучения, даже если кажется, что должно быть наоборот. Чтобы узнать что-то новое, вам придётся читать и думать самостоятельно, хотя ИИ всё же может быть полезен на отдельных этапах процесса обучения.Когда требуется очень высокая точность. Проблема ошибок ИИ — пресловутых галлюцинаций — в том, что из-за принципа работы LLM ошибки выглядят очень правдоподобно. Поэтому галлюцинации крайне трудно заметить, и исследования показывают, что люди даже не пытаются, «засыпая за рулём» и теряя бдительность. Галлюцинации можно уменьшить, но не устранить полностью. (Впрочем, многие задачи в реальном мире терпимы к ошибкам — люди тоже ошибаются — и вполне возможно, что в некоторых случаях ИИ ошибается реже людей.) Когда вы не понимаете типичных сбоев ИИ. ИИ ломается не так, как человек. Вы знаете, что он может галлюцинировать, но это лишь одна форма ошибки: ИИ часто пытается убедить вас в своей правоте или может стать подобострастным и согласиться с вашим неправильным ответом. Вам нужно достаточно поработать с ИИ, чтобы понимать эти риски.Когда смысл в самом усилии. Во многих областях людям необходимо бороться с темой, чтобы преуспеть — писатели переписывают одну и ту же страницу, учёные возвращаются к теории снова и снова. Срезая путь в обход этой борьбы, какой бы изматывающей она ни была, вы рискуете потерять способность достичь того самого ключевого момента озарения.Когда ИИ плохо справляется. Это может показаться очевидным, но ИИ плох в вещах, которых вы не ожидаете (подсчёт количества букв «r» в слове «strawberry»), и хорош в вещах, которых вы тоже не ожидаете (написание шекспировского сонета о том, как сложно подсчитать буквы «r» в слове «strawberry», где первые буквы каждой строки складываются в названия двух фруктов). К сожалению, не существует универсального руководства, описывающего контуры зубчатой границы возможностей ИИ, которая постоянно смещается. Метод проб и ошибок и обмен опытом с коллегами — единственный способ в этом разобраться.
Knowing when to use AI turns out to be a form of wisdom, not just technical knowledge. Like most wisdom, it's somewhat paradoxical: AI is often most useful where we're already expert enough to spot its mistakes, yet least helpful in the deep work that made us experts in the first place. It works best for tasks we could do ourselves but shouldn't waste time on, yet can actively harm our learning when we use it to skip necessary struggles. And perhaps most importantly, wisdom means knowing that these patterns will keep shifting as AI capabilities evolve, and as more research comes in, requiring us to keep questioning our assumptions about where it helps and where it hinders.
Знание того, когда использовать ИИ, оказывается формой мудрости, а не просто технической грамотности. Как и большинство проявлений мудрости, оно парадоксально: ИИ часто наиболее полезен там, где мы уже достаточно экспертны, чтобы замечать его ошибки, и наименее полезен в глубокой работе, которая и сделала нас экспертами. Он лучше всего работает для задач, которые мы могли бы сделать сами, но не должны тратить на них время, — и в то же время может навредить нашему обучению, когда мы используем его, чтобы пропустить необходимую борьбу. И, возможно, самое важное: мудрость означает понимание того, что эти закономерности будут продолжать меняться по мере развития возможностей ИИ и появления новых исследований, требуя от нас постоянного пересмотра предположений о том, где он помогает, а где мешает.
The best prompt for idea generation in our paper for GPT-4 was “Generate product ideas with the following requirements: [insert constraints here]. The ideas are just ideas. The product need not yet exist, nor may it necessarily be clearly feasible. Follow these steps. Do each step, even if you think you do not need to. First generate a list of 100 ideas (short title only) Second, go through the list and determine whether the ideas are different and bold, modify the ideas as needed to make them bolder and more different. No two ideas should be the same. This is important! Next, give the ideas a name and combine it with a product description. The name and idea are separated by a colon and followed by a description. The idea should be expressed as a paragraph of 40-80 words. Do this step by step!”
Лучший промпт для генерации идей в нашей статье для GPT-4 был следующим: «Сгенерируй идеи продуктов со следующими требованиями: [вставьте ограничения]. Это просто идеи. Продукт не обязан существовать и не обязательно должен быть очевидно осуществим. Следуй этим шагам. Выполняй каждый шаг, даже если считаешь, что он не нужен. Сначала сгенерируй список из 100 идей (только короткое название). Затем пройдись по списку и определи, достаточно ли идеи отличаются друг от друга и достаточно ли они смелые; измени идеи по необходимости, чтобы сделать их смелее и разнообразнее. Никакие две идеи не должны совпадать. Это важно! Далее дай каждой идее название и добавь описание продукта. Название и идея разделяются двоеточием, за которым следует описание. Идея должна быть выражена абзацем из 40–80 слов. Делай это шаг за шагом!»