Centaurs and Cyborgs on the Jagged Frontier

Centaurs and Cyborgs on the Jagged Frontier

Кентавры и киборги на зубчатой границе

I think we have an answer on whether AIs will reshape work....

Кажется, мы получили ответ на вопрос, изменит ли ИИ работу...

A lot of people have been asking if AI is really a big deal for the future of work. We have a new paper that strongly suggests the answer is YES.

Многие спрашивают, действительно ли ИИ так важен для будущего работы. У нас есть новое исследование, которое убедительно говорит: ДА.

For the last several months, I been part of a team of social scientists working with Boston Consulting Group, turning their offices into the largest pre-registered experiment on the future of professional work in our AI-haunted age. Our first working paper is out today. There is a ton of important and useful nuance in the paper but let me tell you the headline first: for 18 different tasks selected to be realistic samples of the kinds of work done at an elite consulting company, consultants using ChatGPT-4 outperformed those who did not, by a lot. On every dimension. Every way we measured performance.

Последние несколько месяцев я был частью команды социологов, работавшей с Boston Consulting Group: мы превратили их офисы в площадку крупнейшего предварительно зарегистрированного эксперимента о будущем профессиональной работы в нашу эпоху, одержимую ИИ. Наша первая рабочая статья вышла сегодня. В статье масса важных и полезных нюансов, но сначала позвольте рассказать главное: по 18 различным задачам, подобранным как реалистичные образцы работы элитной консалтинговой компании, консультанты, использовавшие ChatGPT-4, значительно превзошли тех, кто работал без него. По всем параметрам. По каждому измерению производительности.

Consultants using AI finished 12.2% more tasks on average, completed tasks 25.1% more quickly, and produced 40% higher quality results than those without. Those are some very big impacts. Now, let’s add in the nuance.

Консультанты с ИИ выполнили на 12,2% больше задач в среднем, справлялись с задачами на 25,1% быстрее и показали на 40% более высокое качество результатов по сравнению с теми, кто работал без ИИ. Это очень серьёзное влияние. А теперь перейдём к нюансам.

First, it is important to know that this effort was multidisciplinary, involving multiple types of experiments and hundreds of interviews, conducted by a great team, including the Harvard social scientists Fabrizio Dell’Acqua, Edward McFowland III, and Karim Lakhani; Hila Lifshitz-Assaf from Warwick Business School and Katherine Kellogg of MIT (plus myself). Saran Rajendran, Lisa Krayer, and François Candelon ran the experiment on the BCG side, using a full 7% of its consulting force (758 consultants). They all did a lot of very careful work that goes far, far beyond the post. So, please look at the paper to make sure you get all the details - especially if you have questions about numbers or methods. I need to simplify a lot to fit 58 pages of findings into a post, and any mistakes are mine, not my co-authors. Also, while we pre-registered these experiments, this is still a new working paper, so there might be errors or mistakes, and the paper is not yet peer-reviewed. With that in mind, let’s get to the details…

Во-первых, важно отметить, что это была междисциплинарная работа, включавшая несколько типов экспериментов и сотни интервью, проведённая прекрасной командой, в которую вошли гарвардские социологи Fabrizio Dell'Acqua, Edward McFowland III и Karim Lakhani; Hila Lifshitz-Assaf из Warwick Business School и Katherine Kellogg из MIT (а также я). Saran Rajendran, Lisa Krayer и François Candelon вели эксперимент со стороны BCG, задействовав целых 7% консалтингового персонала компании (758 консультантов). Все они проделали огромную тщательную работу, которая далеко выходит за рамки этого поста. Поэтому, пожалуйста, обратитесь к статье, чтобы получить все детали — особенно если у вас есть вопросы по цифрам или методологии. Мне приходится сильно упрощать, чтобы уместить 58 страниц результатов в один пост, и все возможные ошибки — мои, а не моих соавторов. Также, хотя мы предварительно зарегистрировали эти эксперименты, это всё ещё новая рабочая статья, в ней могут быть ошибки и неточности, и она пока не прошла рецензирование. С учётом этого перейдём к деталям…

Inside the Jagged Frontier

Внутри зубчатой границы

AI is weird. No one actually knows the full range of capabilities of the most advanced Large Language Models, like GPT-4. No one really knows the best ways to use them, or the conditions under which they fail. There is no instruction manual. On some tasks AI is immensely powerful, and on others it fails completely or subtly. And, unless you use AI a lot, you won’t know which is which.

ИИ — штука странная. Никто на самом деле не знает полного спектра возможностей самых продвинутых LLM, таких как GPT-4. Никто толком не знает лучших способов их использования и условий, при которых они дают сбой. Инструкции нет. В одних задачах ИИ невероятно силён, в других — полностью или незаметно проваливается. И пока вы не начнёте активно использовать ИИ, вы не поймёте, где что.

The result is what we call the “Jagged Frontier” of AI. Imagine a fortress wall, with some towers and battlements jutting out into the countryside, while others fold back towards the center of the castle. That wall is the capability of AI, and the further from the center, the harder the task. Everything inside the wall can be done by the AI, everything outside is hard for the AI to do. The problem is that the wall is invisible, so some tasks that might logically seem to be the same distance away from the center, and therefore equally difficult – say, writing a sonnet and an exactly 50 word poem – are actually on different sides of the wall. The AI is great at the sonnet, but, because of how it conceptualizes the world in tokens, rather than words, it consistently produces poems of more or less than 50 words. Similarly, some unexpected tasks (like idea generation) are easy for AIs while other tasks that seem to be easy for machines to do (like basic math) are challenges for LLMs.

Результат — то, что мы называем «зубчатой границей» ИИ. Представьте крепостную стену: одни башни и бастионы выдаются далеко в сельскую местность, другие отступают к центру замка. Эта стена — возможности ИИ, и чем дальше от центра, тем сложнее задача. Всё внутри стены ИИ может сделать, всё снаружи — ему трудно. Проблема в том, что стена невидима, и некоторые задачи, которые логически кажутся одинаково далёкими от центра, а значит одинаково сложными — скажем, написать сонет и написать стихотворение ровно из 50 слов — на самом деле оказываются по разные стороны стены. ИИ отлично справляется с сонетом, но, поскольку он воспринимает мир в токенах, а не в словах, он стабильно выдаёт стихотворения то длиннее, то короче 50 слов. Точно так же некоторые неожиданные задачи (например, генерация идей) легко даются ИИ, тогда как другие задачи, которые, казалось бы, должны быть простыми для машин (вроде базовой арифметики), становятся проблемой для LLM.

I asked the ChatGPT with Code Interpreter to visualize this for you:

Я попросил ChatGPT с Code Interpreter визуализировать это для вас:

To test the true impact of AI on knowledge work, we took hundreds of consultants and randomized whether they were allowed to use AI. We gave those who were allowed to use AI access to GPT-4, the same model everyone in 169 countries can access for free with Bing, or by paying $20 a month to OpenAI. No special fine-tuning or prompting, just GPT-4 through the API.

Чтобы проверить реальное влияние ИИ на интеллектуальный труд, мы взяли сотни консультантов и случайным образом определили, кому из них разрешено использовать ИИ. Тем, кому разрешили, предоставили доступ к GPT-4 — той самой модели, которую каждый в 169 странах может использовать бесплатно через Bing или за $20 в месяц через OpenAI. Никакой специальной тонкой настройки или промптинга — просто GPT-4 через API.

We then did a lot of pre-testing and surveying to establish baselines, and asked consultants to do a wide variety of work for a fictional shoe company, work that the BCG team had selected to accurately represent what consultants do. There were creative tasks (“Propose at least 10 ideas for a new shoe targeting an underserved market or sport.”), analytical tasks (“Segment the footwear industry market based on users.”), writing and marketing tasks (“Draft a press release marketing copy for your product.”), and persuasiveness tasks (“Pen an inspirational memo to employees detailing why your product would outshine competitors.”). We even checked with a shoe company executive to ensure that this work was realistic - they were. And, knowing AI, these are tasks that we might expect to be inside the frontier.

Затем мы провели обширное предварительное тестирование и опросы для определения базовых показателей и попросили консультантов выполнить разнообразные задачи для вымышленной обувной компании — задачи, подобранные командой BCG так, чтобы точно отражать реальную работу консультантов. Были творческие задания («Предложите не менее 10 идей нового продукта обуви для недостаточно охваченного рынка или вида спорта»), аналитические задания («Сегментируйте рынок обувной индустрии по типам пользователей»), задания на написание текстов и маркетинг («Составьте пресс-релиз и маркетинговый текст для вашего продукта») и задания на убедительность («Напишите вдохновляющую служебную записку сотрудникам о том, почему ваш продукт превзойдёт конкурентов»). Мы даже проверили с руководителем обувной компании, насколько реалистичны эти задачи — они оказались реалистичными. И, зная возможности ИИ, мы ожидали, что эти задачи окажутся внутри границы.

In line with our theories, and as we have discussed, we found that the consultants with AI access did significantly better, whether we briefly introduced them to AI first (the “overview” group in the diagram) or did not. This was true for every measurement, whether the time it took to complete tasks, the number of tasks completed overall (we gave them an overall time limit) or the quality of the outputs. We rated that quality using both human and AI graders, who agreed with each other (itself an interesting finding).

В соответствии с нашими теориями и как уже было сказано, мы обнаружили, что консультанты с доступом к ИИ показали значительно лучшие результаты — независимо от того, познакомили ли мы их предварительно с ИИ (группа «overview» на диаграмме) или нет. Это подтвердилось по каждому показателю: время выполнения задач, общее количество выполненных задач (мы установили общий лимит времени) и качество результатов. Качество оценивали как люди, так и ИИ-оценщики, и их оценки совпали (что само по себе интересная находка).

We also found something else interesting, an effect that is increasingly apparent in other studies of AI: it works as a skill leveler. The consultants who scored the worst when we assessed them at the start of the experiment had the biggest jump in their performance, 43%, when they got to use AI. The top consultants still got a boost, but less of one. Looking at these results, I do not think enough people are considering what it means when a technology raises all workers to the top tiers of performance. It may be like how it used to matter whether miners were good or bad at digging through rock… until the steam shovel was invented and now differences in digging ability do not matter anymore. AI is not quite at that level of change, but skill levelling is going to have a big impact.

Мы также обнаружили кое-что ещё интересное — эффект, который всё чаще проявляется в других исследованиях ИИ: он работает как выравниватель навыков. Консультанты, показавшие худшие результаты в начале эксперимента, получили наибольший скачок производительности — 43% — когда стали использовать ИИ. Лучшие консультанты тоже получили прирост, но меньший. Глядя на эти результаты, я думаю, что недостаточно людей задумывается о том, что значит, когда технология поднимает всех работников до высшего уровня производительности. Это может быть похоже на то, как раньше имело значение, хорошо или плохо шахтёры долбят породу… пока не изобрели паровой экскаватор, и теперь различия в умении копать больше не важны. ИИ ещё не достиг такого уровня перемен, но выравнивание навыков окажет огромное влияние.

Outside the Jagged Frontier

За пределами зубчатой границы

But there is more to the story. BCG designed one more task, this one carefully selected to ensure that the AI couldn’t come to a correct answer. This wasn’t easy. As we say in the paper “since AI proved surprisingly capable, it was difficult to design a task in this experiment outside the AI’s frontier where humans with high human capital doing their job would consistently outperform AI.” But we identified a task that used the blind spots of AI to ensure it would give a wrong, but convincing, answer to a problem that humans would be able to solve. Indeed, human consultants got the problem right 84% of the time without AI help, but when consultants used the AI, they did worse – only getting it right 60-70% of the time. What happened?

Но это ещё не вся история. BCG разработала ещё одно задание, тщательно подобранное так, чтобы ИИ не мог дать правильный ответ. Это было непросто. Как мы пишем в статье: «Поскольку ИИ оказался на удивление способным, было трудно сконструировать задачу за пределами его границы, в которой люди с высоким человеческим капиталом при выполнении своей работы стабильно превосходили бы ИИ». Но мы нашли задачу, которая использовала слепые зоны ИИ, чтобы он давал неверный, но убедительный ответ на проблему, которую люди могли решить. Действительно, консультанты-люди решали задачу правильно в 84% случаев без помощи ИИ, но когда консультанты использовали ИИ, их результаты ухудшились — правильных ответов было лишь 60–70%. Что произошло?

In a different paper than the one we worked on together, Fabrizio Dell’Acqua shows why relying too much on AI can backfire. In an experiment, he found that recruiters who used high-quality AI became lazy, careless, and less skilled in their own judgment. They missed out on some brilliant applicants and made worse decisions than recruiters who used low-quality AI or no AI at all. When the AI is very good, humans have no reason to work hard and pay attention. They let the AI take over, instead of using it as a tool. He called this “falling asleep at the wheel”, and it can hurt human learning, skill development, and productivity.

В другой статье, не связанной с нашей совместной работой, Fabrizio Dell'Acqua показывает, почему чрезмерная зависимость от ИИ может иметь обратный эффект. В эксперименте он обнаружил, что рекрутёры, использовавшие высококачественный ИИ, становились ленивыми, небрежными и хуже оценивали кандидатов самостоятельно. Они пропускали блестящих кандидатов и принимали худшие решения, чем рекрутёры, использовавшие ИИ низкого качества или вообще без ИИ. Когда ИИ очень хорош, у людей нет причин напрягаться и быть внимательными. Они позволяют ИИ взять верх, вместо того чтобы использовать его как инструмент. Он назвал это «засыпанием за рулём», и это может навредить обучению, развитию навыков и продуктивности людей.

In our experiment, we also found that the consultants fell asleep at the wheel – those using AI actually had less accurate answers than those who were not allowed to use AI (but they still did a better job writing up the results than consultants who did not use AI). The authoritativeness of AI can be deceptive if you don’t know where the frontier lies.

В нашем эксперименте мы тоже обнаружили, что консультанты «засыпали за рулём» — те, кто использовал ИИ, давали менее точные ответы, чем те, кому использовать ИИ не разрешалось (хотя они всё же лучше оформляли результаты, чем консультанты без ИИ). Авторитетность ИИ может быть обманчивой, если вы не знаете, где проходит граница.

Centaurs and Cyborgs

Кентавры и киборги

But a lot of consultants did get both inside and outside the frontier tasks right, gaining the benefits of AI without the disadvantages. The key seemed to be following one of two approaches: becoming a Centaur or becoming a Cyborg. Fortunately, this does not involve any actual grafting of electronic gizmos to your body or getting cursed to turn into the half-human/half-horse of Greek myth. They are rather two approaches to navigating the jagged frontier of AI that integrates the work of person and machine.

Однако многие консультанты справились правильно и с задачами внутри, и за пределами границы, получив преимущества ИИ без его недостатков. Ключом, похоже, было следование одному из двух подходов: стать кентавром или стать киборгом. К счастью, это не подразумевает пришивание электронных приборов к телу или проклятие, превращающее в полу-человека-полу-лошадь из греческих мифов. Это два подхода к навигации по зубчатой границе ИИ, объединяющие работу человека и машины.

Centaur work has a clear line between person and machine, like the clear line between the human torso and horse body of the mythical centaur. Centaurs have a strategic division of labor, switching between AI and human tasks, allocating responsibilities based on the strengths and capabilities of each entity. When I am doing an analysis with the help of AI, I often approach it as a Centaur. I will decide on what statistical techniques to do, but then let the AI handle producing graphs. In our study at BCG, centaurs would do the work they were strongest at themselves, and then hand off tasks inside the jagged frontier to the AI.

Работа кентавра предполагает чёткую границу между человеком и машиной — подобно чёткой границе между человеческим торсом и лошадиным телом мифического кентавра. Кентавры стратегически разделяют труд, переключаясь между задачами для ИИ и задачами для человека, распределяя обязанности на основе сильных сторон и возможностей каждого. Когда я делаю анализ с помощью ИИ, я часто действую как кентавр: я сам решаю, какие статистические методы применить, а ИИ поручаю строить графики. В нашем исследовании в BCG кентавры выполняли сами то, в чём были сильнее всего, а задачи внутри зубчатой границы передавали ИИ.

On the other hand, Cyborgs blend machine and person, integrating the two deeply. Cyborgs don't just delegate tasks; they intertwine their efforts with AI, moving back and forth over the jagged frontier. Bits of tasks get handed to the AI, such as initiating a sentence for the AI to complete, so that Cyborgs find themselves working in tandem with the AI. This is how I suggest approaching using AI for writing, for example. It is also how I generated two of the illustrations in the paper (the Jagged Frontier image and the 54 line graph, both of which were built by ChatGPT, with my initial direction and guidance)

Киборги же, напротив, сплавляют машину и человека воедино, глубоко интегрируя их. Киборги не просто делегируют задачи — они переплетают свои усилия с ИИ, постоянно перемещаясь туда-сюда через зубчатую границу. Фрагменты задач передаются ИИ — например, начало предложения, которое ИИ должен закончить, — так что киборги работают в тандеме с ИИ. Именно такой подход я рекомендую для работы с ИИ при написании текстов. Так же я создал две иллюстрации в статье (изображение зубчатой границы и график с 54 линиями — оба были построены ChatGPT по моему начальному замыслу и под моим руководством).

Dancing on the Jagged Frontier

Танцуя на зубчатой границе

Our paper, along with a stream of excellent work by other scholars, suggests that, regardless of the philosophic and technical debates over the nature and future of AI, it is already a powerful disrupter to how we actually work. And this is not a hyped new technology that will change the world in five years, or that requires a lot of investment and the resources of huge companies - it is here, NOW. The tools the elite consultants used to supercharge their work are the exact same as the ones available to everyone reading this post. And the tools the consultants used will soon be much worse than what is available to you. Because the technological frontier is not just jagged, it is expanding. I am very confident that in the next year, at least two companies will release models more powerful than GPT-4. The Jagged Frontier advances, and we have to be ready for that.

Наша статья, наряду с потоком отличных работ других исследователей, показывает: вне зависимости от философских и технических дебатов о природе и будущем ИИ, он уже является мощным разрушителем привычных методов работы. И это не разрекламированная технология, которая изменит мир через пять лет, и не что-то, требующее огромных инвестиций и ресурсов гигантских корпораций — это здесь, СЕЙЧАС. Инструменты, которые элитные консультанты использовали для ускорения работы, — это в точности те же инструменты, что доступны каждому читателю этого поста. И скоро инструменты, которыми пользовались консультанты, будут намного слабее тех, что доступны вам. Потому что технологическая граница не только зубчатая — она расширяется. Я весьма уверен, что в течение следующего года как минимум две компании выпустят модели мощнее GPT-4. Зубчатая граница наступает, и мы должны быть к этому готовы.

Even aside from any anxiety that statement might cause, it is also worth noting the other downsides of AI. People really can go on autopilot when using AI, falling asleep at the wheel and failing to notice AI mistakes. And, like other research, we also found that AI outputs, while of higher quality than that of humans, were also a bit homogenous and same-y in aggregate. Which is why Cyborgs and Centaurs are important - they allow humans to work with AI to produce more varied, more correct, and better results than either humans or AI can do alone. And becoming one is not hard. Just use AI enough for work tasks and you will start to see the shape of the jagged frontier, and start to understand where AI is scarily good... and where it falls short.

Помимо тревоги, которую это может вызвать, стоит отметить и другие недостатки ИИ. Люди действительно переходят на автопилот при использовании ИИ, «засыпая за рулём» и не замечая ошибок ИИ. И, как и в других исследованиях, мы обнаружили, что результаты ИИ, хотя и более качественные, чем у людей, в совокупности были несколько однообразными и похожими друг на друга. Вот почему кентавры и киборги так важны — они позволяют людям работать с ИИ, создавая более разнообразные, более точные и более качественные результаты, чем могут достичь люди или ИИ по отдельности. И стать таким несложно. Просто используйте ИИ достаточно часто для рабочих задач, и вы начнёте видеть очертания зубчатой границы, понимать, где ИИ пугающе хорош… и где он не дотягивает.

In my mind, the question is no longer about whether AI is going to reshape work, but what we want that to mean. We get to make choices about how we want to use AI help to make work more productive, interesting, and meaningful. But we have to make those choices soon, so that we can begin to actively use AI in ethical and valuable ways, as Cyborgs and Centaurs, rather than merely reacting to technological change. Meanwhile, the Jagged Frontier advances.

На мой взгляд, вопрос уже не в том, изменит ли ИИ работу, а в том, что мы хотим под этим понимать. Мы можем выбирать, как использовать помощь ИИ, чтобы сделать работу более продуктивной, интересной и осмысленной. Но эти выборы нужно делать скоро, чтобы мы могли начать активно использовать ИИ этично и с пользой — как киборги и кентавры, — а не просто реагировать на технологические перемены. А тем временем зубчатая граница наступает.

Share

Поделиться