15 Times to use AI, and 5 Not to
Ethan Mollick выделяет 15 ситуаций, в которых ИИ особенно полезен, и 5, в которых его применение контрпродуктивно. Среди полезных сценариев — генерация большого количества идей, суммаризация объёмных текстов, перевод между форматами и аудиториями, преодоление творческих тупиков, предпринимательская работа с ИИ в роли компетентного партнёра, а также задачи, где исследования подтверждают эффективность ИИ (например, программирование). Не стоит использовать ИИ, когда цель — глубокое обучение, когда требуется высочайшая точность, когда вы не понимаете типичных ошибок модели, когда смысл заключён в самом процессе усилия и когда ИИ просто плох в конкретной задаче. Ключевой парадокс: ИИ наиболее полезен там, где вы уже достаточно эксперт, чтобы заметить его ошибки, и наименее полезен в глубокой работе, которая сделала вас экспертом. Автор подчёркивает, что умение правильно применять ИИ — это форма мудрости, которая требует постоянного пересмотра по мере развития технологий.
15 ситуаций, когда стоит использовать ИИ, и 5 — когда нет
Заметки о практической мудрости использования ИИ
Существует несколько типов работы, в которых ИИ может быть особенно полезен с учётом нынешних возможностей и ограничений LLM. Хотя этот список основан на научных данных, он ещё больше опирается на опыт. Как и любая форма мудрости, грамотное использование ИИ требует удержания в голове противоположных идей: он может быть трансформационным, но к нему нужно подходить со скепсисом; мощным, но склонным к неочевидным сбоям; незаменимым для одних задач и откровенно вредным для других. Я также хочу оговориться, что не стоит воспринимать этот список слишком серьёзно — разве что как источник вдохновения. Вы лучше знаете свою ситуацию, и локальное знание важнее любых общих принципов. С учётом всех этих оговорок — ниже несколько типов задач, для которых ИИ может быть особенно полезен при текущих возможностях, а также ряд сценариев, в которых стоит проявлять осторожность.
Работа, требующая количества. Например, число сгенерированных идей определяет качество лучшей из них. На любом мозговом штурме нужно генерировать много идей. Большинство людей останавливаются после нескольких, потому что устают, но ИИ способен выдать сотни идей, которые не повторяются по существу.1 Работа, в которой вы эксперт и можете быстро оценить, хорош результат ИИ или нет. Это может быть сложная и точная работа, но она опирается на вашу экспертизу в определении ценности выдачи ИИ. Например, o1 — новая модель ИИ от OpenAI — способна решать некоторые задачи уровня PhD, но без экспертных знаний трудно понять, полезны ли её ответы.Работа, связанная с обобщением больших объёмов информации, при условии что цена ошибки невелика и от вас не ожидают детального знания исходного материала. ИИ хорошо справляется с суммаризацией текстов объёмом с роман, но хуже — с проверкой фактов.Работа, представляющая собой перевод между форматами или перспективами. Например, вы разработали политику, но теперь нужно превратить её в дюжину разных учебных документов для разных аудиторий в организации. ИИ отлично справляется с таким переводом, повышая и понижая сложность документов, чтобы люди могли их понять. Работа, которая помогает не останавливаться. Мелочи часто преграждают нам путь, и иногда достаточно лёгкого толчка, чтобы двигаться дальше. До появления ИИ я мог застрять на одном предложении и уйти от текста на час, но теперь я прошу ИИ: дай мне тридцать различных способов закончить это предложение30 способов закончить предложение. Скорее всего, я не использую ни один из них дословно, но они могут подсказать направления, о которых я бы не подумал.Работа, в которой вы знаете, что ИИ лучше лучшего доступного вам специалиста, и где ошибки ИИ не приведут к худшим последствиям, чем ошибки человека.Работа, в которой вы понимаете основные элементы, но нуждаетесь в помощи с контекстом или деталями. Tyler Cowen предлагает использовать ИИ как компаньона при чтении, потому что это позволяет задавать бесконечное количество вопросов. Работа, где вам нужно разнообразие и где вы будете выбирать лучший вариант как редактор или куратор. Запрос на множество решений — дай мне 15 способов переписать этот пункт в радикально разных стилях, будь креативным — позволяет находить идеи, которые могут оказаться интересными.дай мне 15 способов переписать этот пункт в радикально разных стилях, будь креативнымРабота, в которой, по данным исследований, ИИ почти наверняка полезен — например, многие виды программирования.Работа, где вам нужно получить первое приближение того, как отреагирует враждебный, дружелюбный или наивный получатель.Предпринимательская работа, где от вас ожидают широкого охвата множества дисциплин и где альтернатива достаточно хорошему партнёру — полное бездействие. ИИ может быть на удивление компетентным сооснователем, помогая с менторством и одновременно создавая документы, демо и подходы, которые иначе были бы за пределами вашего опыта.Работа, где нужна определённая точка зрения и где смоделированная первая реакция с этой позиции может быть полезна — например, отклики от вымышленных персон. Работа, ставшая пустым ритуалом, давно утратившим своё назначение (как некоторые стандартизированные отчёты, которые никто не читает). Что, по словам Bob Sutton и Huggy Rao, рассеивает ваше внимание и делает вас менее ценным? Какая работа не служит никакой полезной цели? В идеальном мире вы бы её устранили, но по крайней мере можете ослабить её хватку с помощью ИИ. (Хотя убедитесь, что это действительно так: слишком многие автоматизируют, например, оценку эффективности сотрудников, которая имеет смысл только тогда, когда её проводит человек.)Работа, где вам нужно второе мнение. Дайте ИИ доступ к данным и посмотрите, придёт ли он к тому же выводу.Работа, которую ИИ делает лучше людей. Вероятно, это самая быстрорастущая категория.
5 ситуаций, когда не стоит использовать ИИ
Прежде чем перейти к конкретным случаям, где использование ИИ проблематично, отложим в сторону очевидные сценарии — применение ИИ в незаконных целях, в ситуациях с высокими ставками, где ошибки могут быть катастрофическими, или для решений, которые с этической точки зрения требуют человеческого участия. Помимо этих однозначных случаев, вот пять неочевидных, но важных областей, где использование ИИ может быть контрпродуктивным:
Когда вам нужно изучить и синтезировать новые идеи или информацию. Попросить краткое изложение — не то же самое, что прочитать самому. Просить ИИ решить задачу за вас — неэффективный способ обучения, даже если кажется, что должно быть наоборот. Чтобы узнать что-то новое, вам придётся читать и думать самостоятельно, хотя ИИ всё же может быть полезен на отдельных этапах процесса обучения.Когда требуется очень высокая точность. Проблема ошибок ИИ — пресловутых галлюцинаций — в том, что из-за принципа работы LLM ошибки выглядят очень правдоподобно. Поэтому галлюцинации крайне трудно заметить, и исследования показывают, что люди даже не пытаются, «засыпая за рулём» и теряя бдительность. Галлюцинации можно уменьшить, но не устранить полностью. (Впрочем, многие задачи в реальном мире терпимы к ошибкам — люди тоже ошибаются — и вполне возможно, что в некоторых случаях ИИ ошибается реже людей.) Когда вы не понимаете типичных сбоев ИИ. ИИ ломается не так, как человек. Вы знаете, что он может галлюцинировать, но это лишь одна форма ошибки: ИИ часто пытается убедить вас в своей правоте или может стать подобострастным и согласиться с вашим неправильным ответом. Вам нужно достаточно поработать с ИИ, чтобы понимать эти риски.Когда смысл в самом усилии. Во многих областях людям необходимо бороться с темой, чтобы преуспеть — писатели переписывают одну и ту же страницу, учёные возвращаются к теории снова и снова. Срезая путь в обход этой борьбы, какой бы изматывающей она ни была, вы рискуете потерять способность достичь того самого ключевого момента озарения.Когда ИИ плохо справляется. Это может показаться очевидным, но ИИ плох в вещах, которых вы не ожидаете (подсчёт количества букв «r» в слове «strawberry»), и хорош в вещах, которых вы тоже не ожидаете (написание шекспировского сонета о том, как сложно подсчитать буквы «r» в слове «strawberry», где первые буквы каждой строки складываются в названия двух фруктов). К сожалению, не существует универсального руководства, описывающего контуры зубчатой границы возможностей ИИ, которая постоянно смещается. Метод проб и ошибок и обмен опытом с коллегами — единственный способ в этом разобраться.
Знание того, когда использовать ИИ, оказывается формой мудрости, а не просто технической грамотности. Как и большинство проявлений мудрости, оно парадоксально: ИИ часто наиболее полезен там, где мы уже достаточно экспертны, чтобы замечать его ошибки, и наименее полезен в глубокой работе, которая и сделала нас экспертами. Он лучше всего работает для задач, которые мы могли бы сделать сами, но не должны тратить на них время, — и в то же время может навредить нашему обучению, когда мы используем его, чтобы пропустить необходимую борьбу. И, возможно, самое важное: мудрость означает понимание того, что эти закономерности будут продолжать меняться по мере развития возможностей ИИ и появления новых исследований, требуя от нас постоянного пересмотра предположений о том, где он помогает, а где мешает.
Лучший промпт для генерации идей в нашей статье для GPT-4 был следующим: «Сгенерируй идеи продуктов со следующими требованиями: [вставьте ограничения]. Это просто идеи. Продукт не обязан существовать и не обязательно должен быть очевидно осуществим. Следуй этим шагам. Выполняй каждый шаг, даже если считаешь, что он не нужен. Сначала сгенерируй список из 100 идей (только короткое название). Затем пройдись по списку и определи, достаточно ли идеи отличаются друг от друга и достаточно ли они смелые; измени идеи по необходимости, чтобы сделать их смелее и разнообразнее. Никакие две идеи не должны совпадать. Это важно! Далее дай каждой идее название и добавь описание продукта. Название и идея разделяются двоеточием, за которым следует описание. Идея должна быть выражена абзацем из 40–80 слов. Делай это шаг за шагом!»