Centaurs and Cyborgs on the Jagged Frontier
Исследование, проведённое группой учёных совместно с Boston Consulting Group на выборке из 758 консультантов, показало, что использование ChatGPT-4 значительно повышает продуктивность: участники с доступом к ИИ выполняли на 12,2% больше задач, справлялись на 25,1% быстрее и выдавали результат на 40% выше качеством. Однако на задачах за пределами возможностей ИИ консультанты с ИИ показали худшие результаты — точность упала с 84% до 60–70%, поскольку люди «засыпали за рулём», слепо доверяя машине. Авторы вводят понятие «зубчатой границы» (Jagged Frontier) — невидимой и неровной линии возможностей ИИ, по одну сторону которой он справляется блестяще, а по другую — проваливается. Для успешной работы с ИИ предлагаются две модели: «кентавры», чётко разделяющие задачи между человеком и машиной, и «киборги», глубоко переплетающие свои усилия с ИИ. ИИ также выступает как выравниватель навыков — слабые консультанты получили прирост производительности в 43%.
Кентавры и киборги на зубчатой границе
Кажется, мы получили ответ на вопрос, изменит ли ИИ работу...
Многие спрашивают, действительно ли ИИ так важен для будущего работы. У нас есть новое исследование, которое убедительно говорит: ДА.
Последние несколько месяцев я был частью команды социологов, работавшей с Boston Consulting Group: мы превратили их офисы в площадку крупнейшего предварительно зарегистрированного эксперимента о будущем профессиональной работы в нашу эпоху, одержимую ИИ. Наша первая рабочая статья вышла сегодня. В статье масса важных и полезных нюансов, но сначала позвольте рассказать главное: по 18 различным задачам, подобранным как реалистичные образцы работы элитной консалтинговой компании, консультанты, использовавшие ChatGPT-4, значительно превзошли тех, кто работал без него. По всем параметрам. По каждому измерению производительности.
Консультанты с ИИ выполнили на 12,2% больше задач в среднем, справлялись с задачами на 25,1% быстрее и показали на 40% более высокое качество результатов по сравнению с теми, кто работал без ИИ. Это очень серьёзное влияние. А теперь перейдём к нюансам.
Во-первых, важно отметить, что это была междисциплинарная работа, включавшая несколько типов экспериментов и сотни интервью, проведённая прекрасной командой, в которую вошли гарвардские социологи Fabrizio Dell'Acqua, Edward McFowland III и Karim Lakhani; Hila Lifshitz-Assaf из Warwick Business School и Katherine Kellogg из MIT (а также я). Saran Rajendran, Lisa Krayer и François Candelon вели эксперимент со стороны BCG, задействовав целых 7% консалтингового персонала компании (758 консультантов). Все они проделали огромную тщательную работу, которая далеко выходит за рамки этого поста. Поэтому, пожалуйста, обратитесь к статье, чтобы получить все детали — особенно если у вас есть вопросы по цифрам или методологии. Мне приходится сильно упрощать, чтобы уместить 58 страниц результатов в один пост, и все возможные ошибки — мои, а не моих соавторов. Также, хотя мы предварительно зарегистрировали эти эксперименты, это всё ещё новая рабочая статья, в ней могут быть ошибки и неточности, и она пока не прошла рецензирование. С учётом этого перейдём к деталям…
Внутри зубчатой границы
ИИ — штука странная. Никто на самом деле не знает полного спектра возможностей самых продвинутых LLM, таких как GPT-4. Никто толком не знает лучших способов их использования и условий, при которых они дают сбой. Инструкции нет. В одних задачах ИИ невероятно силён, в других — полностью или незаметно проваливается. И пока вы не начнёте активно использовать ИИ, вы не поймёте, где что.
Результат — то, что мы называем «зубчатой границей» ИИ. Представьте крепостную стену: одни башни и бастионы выдаются далеко в сельскую местность, другие отступают к центру замка. Эта стена — возможности ИИ, и чем дальше от центра, тем сложнее задача. Всё внутри стены ИИ может сделать, всё снаружи — ему трудно. Проблема в том, что стена невидима, и некоторые задачи, которые логически кажутся одинаково далёкими от центра, а значит одинаково сложными — скажем, написать сонет и написать стихотворение ровно из 50 слов — на самом деле оказываются по разные стороны стены. ИИ отлично справляется с сонетом, но, поскольку он воспринимает мир в токенах, а не в словах, он стабильно выдаёт стихотворения то длиннее, то короче 50 слов. Точно так же некоторые неожиданные задачи (например, генерация идей) легко даются ИИ, тогда как другие задачи, которые, казалось бы, должны быть простыми для машин (вроде базовой арифметики), становятся проблемой для LLM.
Я попросил ChatGPT с Code Interpreter визуализировать это для вас:
Чтобы проверить реальное влияние ИИ на интеллектуальный труд, мы взяли сотни консультантов и случайным образом определили, кому из них разрешено использовать ИИ. Тем, кому разрешили, предоставили доступ к GPT-4 — той самой модели, которую каждый в 169 странах может использовать бесплатно через Bing или за $20 в месяц через OpenAI. Никакой специальной тонкой настройки или промптинга — просто GPT-4 через API.
Затем мы провели обширное предварительное тестирование и опросы для определения базовых показателей и попросили консультантов выполнить разнообразные задачи для вымышленной обувной компании — задачи, подобранные командой BCG так, чтобы точно отражать реальную работу консультантов. Были творческие задания («Предложите не менее 10 идей нового продукта обуви для недостаточно охваченного рынка или вида спорта»), аналитические задания («Сегментируйте рынок обувной индустрии по типам пользователей»), задания на написание текстов и маркетинг («Составьте пресс-релиз и маркетинговый текст для вашего продукта») и задания на убедительность («Напишите вдохновляющую служебную записку сотрудникам о том, почему ваш продукт превзойдёт конкурентов»). Мы даже проверили с руководителем обувной компании, насколько реалистичны эти задачи — они оказались реалистичными. И, зная возможности ИИ, мы ожидали, что эти задачи окажутся внутри границы.
В соответствии с нашими теориями и как уже было сказано, мы обнаружили, что консультанты с доступом к ИИ показали значительно лучшие результаты — независимо от того, познакомили ли мы их предварительно с ИИ (группа «overview» на диаграмме) или нет. Это подтвердилось по каждому показателю: время выполнения задач, общее количество выполненных задач (мы установили общий лимит времени) и качество результатов. Качество оценивали как люди, так и ИИ-оценщики, и их оценки совпали (что само по себе интересная находка).
Мы также обнаружили кое-что ещё интересное — эффект, который всё чаще проявляется в других исследованиях ИИ: он работает как выравниватель навыков. Консультанты, показавшие худшие результаты в начале эксперимента, получили наибольший скачок производительности — 43% — когда стали использовать ИИ. Лучшие консультанты тоже получили прирост, но меньший. Глядя на эти результаты, я думаю, что недостаточно людей задумывается о том, что значит, когда технология поднимает всех работников до высшего уровня производительности. Это может быть похоже на то, как раньше имело значение, хорошо или плохо шахтёры долбят породу… пока не изобрели паровой экскаватор, и теперь различия в умении копать больше не важны. ИИ ещё не достиг такого уровня перемен, но выравнивание навыков окажет огромное влияние.
За пределами зубчатой границы
Но это ещё не вся история. BCG разработала ещё одно задание, тщательно подобранное так, чтобы ИИ не мог дать правильный ответ. Это было непросто. Как мы пишем в статье: «Поскольку ИИ оказался на удивление способным, было трудно сконструировать задачу за пределами его границы, в которой люди с высоким человеческим капиталом при выполнении своей работы стабильно превосходили бы ИИ». Но мы нашли задачу, которая использовала слепые зоны ИИ, чтобы он давал неверный, но убедительный ответ на проблему, которую люди могли решить. Действительно, консультанты-люди решали задачу правильно в 84% случаев без помощи ИИ, но когда консультанты использовали ИИ, их результаты ухудшились — правильных ответов было лишь 60–70%. Что произошло?
В другой статье, не связанной с нашей совместной работой, Fabrizio Dell'Acqua показывает, почему чрезмерная зависимость от ИИ может иметь обратный эффект. В эксперименте он обнаружил, что рекрутёры, использовавшие высококачественный ИИ, становились ленивыми, небрежными и хуже оценивали кандидатов самостоятельно. Они пропускали блестящих кандидатов и принимали худшие решения, чем рекрутёры, использовавшие ИИ низкого качества или вообще без ИИ. Когда ИИ очень хорош, у людей нет причин напрягаться и быть внимательными. Они позволяют ИИ взять верх, вместо того чтобы использовать его как инструмент. Он назвал это «засыпанием за рулём», и это может навредить обучению, развитию навыков и продуктивности людей.
В нашем эксперименте мы тоже обнаружили, что консультанты «засыпали за рулём» — те, кто использовал ИИ, давали менее точные ответы, чем те, кому использовать ИИ не разрешалось (хотя они всё же лучше оформляли результаты, чем консультанты без ИИ). Авторитетность ИИ может быть обманчивой, если вы не знаете, где проходит граница.
Кентавры и киборги
Однако многие консультанты справились правильно и с задачами внутри, и за пределами границы, получив преимущества ИИ без его недостатков. Ключом, похоже, было следование одному из двух подходов: стать кентавром или стать киборгом. К счастью, это не подразумевает пришивание электронных приборов к телу или проклятие, превращающее в полу-человека-полу-лошадь из греческих мифов. Это два подхода к навигации по зубчатой границе ИИ, объединяющие работу человека и машины.
Работа кентавра предполагает чёткую границу между человеком и машиной — подобно чёткой границе между человеческим торсом и лошадиным телом мифического кентавра. Кентавры стратегически разделяют труд, переключаясь между задачами для ИИ и задачами для человека, распределяя обязанности на основе сильных сторон и возможностей каждого. Когда я делаю анализ с помощью ИИ, я часто действую как кентавр: я сам решаю, какие статистические методы применить, а ИИ поручаю строить графики. В нашем исследовании в BCG кентавры выполняли сами то, в чём были сильнее всего, а задачи внутри зубчатой границы передавали ИИ.
Киборги же, напротив, сплавляют машину и человека воедино, глубоко интегрируя их. Киборги не просто делегируют задачи — они переплетают свои усилия с ИИ, постоянно перемещаясь туда-сюда через зубчатую границу. Фрагменты задач передаются ИИ — например, начало предложения, которое ИИ должен закончить, — так что киборги работают в тандеме с ИИ. Именно такой подход я рекомендую для работы с ИИ при написании текстов. Так же я создал две иллюстрации в статье (изображение зубчатой границы и график с 54 линиями — оба были построены ChatGPT по моему начальному замыслу и под моим руководством).
Танцуя на зубчатой границе
Наша статья, наряду с потоком отличных работ других исследователей, показывает: вне зависимости от философских и технических дебатов о природе и будущем ИИ, он уже является мощным разрушителем привычных методов работы. И это не разрекламированная технология, которая изменит мир через пять лет, и не что-то, требующее огромных инвестиций и ресурсов гигантских корпораций — это здесь, СЕЙЧАС. Инструменты, которые элитные консультанты использовали для ускорения работы, — это в точности те же инструменты, что доступны каждому читателю этого поста. И скоро инструменты, которыми пользовались консультанты, будут намного слабее тех, что доступны вам. Потому что технологическая граница не только зубчатая — она расширяется. Я весьма уверен, что в течение следующего года как минимум две компании выпустят модели мощнее GPT-4. Зубчатая граница наступает, и мы должны быть к этому готовы.
Помимо тревоги, которую это может вызвать, стоит отметить и другие недостатки ИИ. Люди действительно переходят на автопилот при использовании ИИ, «засыпая за рулём» и не замечая ошибок ИИ. И, как и в других исследованиях, мы обнаружили, что результаты ИИ, хотя и более качественные, чем у людей, в совокупности были несколько однообразными и похожими друг на друга. Вот почему кентавры и киборги так важны — они позволяют людям работать с ИИ, создавая более разнообразные, более точные и более качественные результаты, чем могут достичь люди или ИИ по отдельности. И стать таким несложно. Просто используйте ИИ достаточно часто для рабочих задач, и вы начнёте видеть очертания зубчатой границы, понимать, где ИИ пугающе хорош… и где он не дотягивает.
На мой взгляд, вопрос уже не в том, изменит ли ИИ работу, а в том, что мы хотим под этим понимать. Мы можем выбирать, как использовать помощь ИИ, чтобы сделать работу более продуктивной, интересной и осмысленной. Но эти выборы нужно делать скоро, чтобы мы могли начать активно использовать ИИ этично и с пользой — как киборги и кентавры, — а не просто реагировать на технологические перемены. А тем временем зубчатая граница наступает.
