The Best Available Human Standard

Стандарт лучшего доступного человека

В чём состоят императивы возможностей?

Меня часто называют «ИИ-оптимистом», но я не думаю, что это верно. Зовите меня лучше ИИ-прагматиком: хотели мы того или нет, теперь у нас есть форма ИИ, которая способна выполнить за всех домашнее задание, проделать удивительно большой объём работы, прежде закреплённой за людьми, и провести добротную кампанию в Dungeons and Dragons. Даже если бы развитие ИИ приостановилось или прекратилось, эффекты ИИ уже тихо расходятся по системе так, что в ближайшие месяцы и годы они проявятся и во благо, и во вред. Учитывая неизбежность перемен, нам нужно понять, как смягчить негативное, но также и как по возможности направить эти перемены к добру.

Учитывая это, меня часто раздражает, что так много дискуссий о вреде и пользе ИИ остаются теоретическими, в то время как ИИ уже здесь и мы можем им реально пользоваться. Нам нужно прагматично относиться к тому, что это означает, и для этого, как мне кажется, необходимо признать три фундаментальные истины о сегодняшнем ИИ:

ИИ повсеместен: Обычно внедрение мощных технологий происходит очень неравномерно — более богатые компании и люди получают доступ задолго до всех остальных. Однако LLM, к которым у вас есть доступ сегодня, LLM, к которым сегодня имеют доступ несколько миллиардов человек по всему миру, — это буквально лучший ИИ, доступный кому-либо за пределами горстки людей в крупных ИИ-компаниях. У вас такой же доступ к ИИ, будь вы Goldman Sachs или Министерство обороны, предприниматель из Милуоки или ребёнок в Уганде. Сегодня это GPT-4 (доступен бесплатно примерно в 169 странах через Microsoft Bing), а вскоре, вероятно, им станет Google Gemini (тоже весьма вероятно, что бесплатно). Хотя эта бесплатная доступность не гарантирована навсегда, она даёт нам замечательную возможность.ИИ чрезвычайно способен в том, что не сразу очевидно пользователям, в том числе и самим компьютерным учёным, создающим LLM: Единственный способ понять, насколько полезным может быть ИИ, — это им пользоваться. Большинство бенчмарков, публикуемых ИИ-компаниями, — это технические измерения производительности (с названиями вроде BLEU и METEOR), и значительная часть споров о возможностях ИИ движима техническими тестами. Тем не менее у нас всё больше свидетельств того, что на практике ИИ очень силён. LLM генерируют более качественные практические идеи, чем большинство людей, и могут повышать производительность высококлассных профессионалов. Эти практические следствия в основном остаются малоизученными.ИИ также ограничен и рискован способами, которые не сразу очевидны пользователям: У больших языковых моделей есть и длинный список проблем. Они «галлюцинируют» правдоподобно звучащую ложь, плохо справляются с математикой (по крайней мере без использования инструментов), воспроизводят предвзятости и непредсказуемы. И это даже не считая злонамеренного использования ИИ-систем — например, того факта, что нынешние ИИ способны разрушать приватность и проводить изощрённые фишинговые email-кампании. Игнорировать эти негативные эффекты так же проблематично, как и игнорировать позитивные.

Итак, у нас есть инструмент, способный принести огромную пользу, но и значительный вред, и доступный миллиардам. Создатели этих технологий не смогут подсказать нам, как максимизировать выгоду, избегая риска, потому что сами не знают ответов. Всё ещё больше усложняет то, что мы на самом деле не знаем, насколько ИИ хорош в различных практических задачах, особенно в сравнении с реальной человеческой производительностью. В конце концов, ИИ постоянно совершает ошибки, но ведь и люди тоже.

Учитывая эту неразбериху, я хотел бы предложить прагматичный способ оценить, когда ИИ может быть полезен, — стандарт лучшего доступного человека (Best Available Human, BAH). Этот стандарт ставит следующий вопрос: справится ли лучший доступный ИИ в конкретный момент, в конкретном месте с решением задачи лучше, чем лучший доступный человек, который реально способен помочь в данной ситуации? Подозреваю, что есть множество сценариев использования, где BAH вносит ясность — как в хорошем, так и в плохом смысле. Я хочу начать с двух примеров, по которым чувствую себя компетентным высказаться, а затем перейти к некоторым размышлениям (и призыву к действию!) насчёт остальных.

Лучший доступный сооснователь

Мир полон предпринимателей-в-ожидании, потому что большинство предпринимательских путей заканчиваются, так и не начавшись. Это всестороннее исследование показывает, что примерно у 1/3 американцев за последние 5 лет возникала идея стартапа, но немногие действуют на её основе — меньше половины даже проводят хоть какой-то поиск в интернете! Это совпадает с моим собственным опытом как профессора предпринимательства (и бывшего предпринимателя). Вопрос номер один, который мне задают, — «что мне теперь делать?»

Хотя книги и курсы могут помочь, ничто не заменит опытного сооснователя… кроме того, что, как показывает моё исследование с Джейсоном Гринбергом, опытных сооснователей не только трудно найти и мотивировать, но и выбор неподходящего сооснователя может навредить успеху компании из-за конфликтов характеров и других проблем. Всё это и есть причины, по которым ИИ может стать для многих людей лучшим доступным сооснователем. Он не заменяет качественную человеческую помощь, но может оказаться важным подспорьем для многих потенциальных предпринимателей, которые иначе вообще не получили бы никакой поддержки.

В качестве небольшого примера давайте проведём 20-минутный спринт прототипирования (да, я засёк время) всего за несколько промптов. Сначала ChatGPT-4: Придумай 10 бизнес-идей, осуществимых студентом MBA в сфере образования. Они должны предполагать создание сайта или приложения, и для этого сайта или приложения должно быть возможно быстро сделать прототип.

Допустим, ради эксперимента, что мне нравится первая идея: опиши прототип сайта для идеи 1 в деталях, убедившись, что это что-то, что ты сможешь создать для меня с помощью имеющихся у тебя инструментов и возможностей. Отлично! Дальше нам нужны название и презентация: придумай 10 названий для бизнеса, затем пересмотри названия и выбери то, которое считаешь лучшим. Напиши презентацию бизнеса в один абзац, описывающую, чем мы занимаемся и почему это хорошо.

Теперь нам нужен сам прототип. Перейдём к ChatGPT-4 с Advanced Data Analysis и вставим описание прототипа сайта с такой командой: Мне нужно, чтобы ты создал прототип «Virtual Classroom Organizer» — ты должен дать мне zip-файл с рабочими html, js и css по необходимости. Он должен полностью работать. Сосредоточься на дашборде, если ничего другого сделать не получается. Я попросил пару улучшений (в том числе можешь сделать так, чтобы при нажатии на «view student progress» в качестве демо всплывало что-то хорошее?). И вот теперь у меня есть интерактивный макет сайта [ссылка на диалог здесь, если хотите поэкспериментировать].

Может, не помешает немного обратной связи? Хотя интервьюировать ИИ не так хорошо, как интервьюировать человека, это может быть полезным упражнением. Итак, я вставляю изображение сайта, который мы только что создали, в GPT-4V и прошу его: Представь, что ты учитель старшей школы. Я хочу презентовать тебе TeacherSync, описание ниже. Я показываю тебе изображение с нашего сайта и то, что происходит при нажатии кнопки student progress в качестве демо. Дай мне обратную связь, чтобы улучшить сайт, учитывая твою работу и конкурирующие продукты, которыми ты мог бы пользоваться. Я и правда считаю, что он неплохо справился с поиском полезных возражений. Результаты определённо помогли бы понять, хочу ли я продолжать этот процесс.

Если хочу, я могу попросить ИИ о следующих шагах, или написать от моего имени письмо потенциальным учителям, или помочь мне составить набросок бизнес-плана, или подготовить финансовые расчёты. Я даже могу получить логотип (хотя я, как всегда, был бы очень осторожен с рисками нарушения авторских прав, связанными с изображениями). Если у меня есть доступ к отличным менторам, учителям, разработчикам или сооснователям, они окажутся лучше ИИ. Но если такого доступа нет, ИИ определённо может стать большим подспорьем в роли лучшего доступного сооснователя.

Лучший доступный коуч

Мы знаем, что профессиональный коучинг очень помогает повышать эффективность как менеджеров, так и их команд. Однако у многих людей нет доступа к коучам или даже к хорошему совету о том, как лучше всего руководить командой. Вот ещё одна область, где ИИ может помочь, выступая в роли коуча, когда у лучшего доступного человека недостаточно опыта.

В качестве одного из примеров рассмотрим разборы по итогам (After Action Reviews). Метаанализ показывает, что регулярные дебрифы повышают эффективность команды до 25%, но проводятся они зачастую нечасто или только после того, как что-то пошло не так. В качестве альтернативы этот разработанный нами промпт настраивает GPT-4 на то, чтобы провести вас через процесс командного After Action Review:

Как видно по результатам, хотя он, возможно, и не так хорош, как опытный профессионал, это вполне добротный лучший доступный коуч, если у вас нет доступа к человеку, способному оказать помощь.

Императив лучшего доступного

Чтобы было ясно: у меня есть лишь намёки и интуитивные догадки, что ИИ может превзойти стандарты BAH в предпринимательстве и коучинге, и потребуется ещё немало работы, чтобы понять, когда и стоит ли вообще людям обращаться к ИИ за помощью в этих областях. Тем не менее, поскольку эти варианты использования ставят в центр человека и принятие решений человеком (ИИ проводит вас через процесс AAR или помогает с презентацией, которую вам нужно сделать, а не делает это за вас), риски экспериментов с ИИ в этих областях управляемы.

Риски выше, когда мы рассматриваем стандарт BAH для трёх больших областей, где доступ к человеческим экспертам ограничен для многих людей: образование, здравоохранение и психическое здоровье. Я не думаю, что наши нынешние ИИ способны делать хоть что-то из этого хорошо или безопасно — пока что. В то же время люди, очевидно, используют LLM для всех трёх задач, не дожидаясь никаких рекомендаций или профессиональной помощи. Все мои студенты обращаются к ИИ как к обычной части своего обучения, и, судя по отдельным наблюдениям, использование ИИ в качестве терапевта или для медицинских советов, похоже, растёт. Кроме того, стартапы, нередко без большого опыта, напрямую экспериментируют с этими сценариями использования ИИ, иногда без надлежащих мер предосторожности. Если профессионалы не начнут активно изучать, когда эти инструменты работают, а когда дают сбой, мы можем обнаружить, что люди настолько привыкли пользоваться ИИ, что не станут прислушиваться к экспертному совету, когда он появится.

И вдобавок к смягчению рисков негативной стороны, выгода от того, чтобы реально начать бороться с поразительным глобальным неравенством в образовании, здравоохранении и услугах психического здоровья, была бы неисчислимой. Для многих людей лучший доступный человек — это никто. Есть ранние признаки того, что ИИ может быть полезен в этих сферах: будь то Khanmigo от Khan Academy как ранний универсальный репетитор; результаты, говорящие о том, что чат-боты способны хорошо отвечать на распространённые медицинские вопросы; или свидетельства того, что LLM могут неплохо выявлять некоторые проблемы психического здоровья. Но это лишь намёки. Нам нужны тщательные исследования, чтобы понять, достигает ли ИИ когда-либо стандартов BAH в этих сферах, и, вероятно, потребовались бы дополнительная разработка продукта и исследования, прежде чем эти инструменты будут развёрнуты. Но при таком огромном потенциале выгоды и опасности быть застигнутыми врасплох ходом событий, я считаю, что экспертам нужно действовать быстро.

Мы находимся в уникальном моменте, когда у нас есть доступ к тому, что, по словам моего соавтора профессора Карима Лахани (Karim Lakhani), является «бесконечным познанием» — к машине, которая, хотя на самом деле и не мыслит, может выполнять множество задач, прежде требовавших человеческого мышления. В результате мы теперь можем пытаться решать неразрешимые проблемы. Старые и трудные проблемы. Проблемы, которые, как мы думали, фундаментально ограничены ограниченным числом людей, готовых взяться за их решение. Не все из этих проблем будут решены ИИ, а некоторые могут даже усугубиться, но на всех нас лежит обязанность начать прагматично обдумывать, как использовать имеющиеся у нас ИИ, чтобы сделать мир лучше. Мы можем сыграть свою роль в активном формировании того, как используется эта технология, вместо того чтобы ждать и смотреть, что произойдёт.

Поделиться