The Best Available Human Standard

The Best Available Human Standard

Стандарт лучшего доступного человека

What are the imperatives of the upside?

В чём состоят императивы возможностей?

I often find myself being described as an “AI Optimist,” but I don’t think that is right. Call me an AI Pragmatist instead: whether we wanted them or not, we now have a form of AI that can do everyone’s homework, complete a surprising amount of work once reserved for humans, and run a solid Dungeons and Dragons campaign. Even if AI development were to pause or stop, the effects of AI are already quietly rippling through the system in ways that will play out for good and ill in the coming months and years. Given the inevitability of change, we need to figure out how to mitigate the negative, but also how to channel the change for good as much as possible.

Меня часто называют «ИИ-оптимистом», но я не думаю, что это верно. Зовите меня лучше ИИ-прагматиком: хотели мы того или нет, теперь у нас есть форма ИИ, которая способна выполнить за всех домашнее задание, проделать удивительно большой объём работы, прежде закреплённой за людьми, и провести добротную кампанию в Dungeons and Dragons. Даже если бы развитие ИИ приостановилось или прекратилось, эффекты ИИ уже тихо расходятся по системе так, что в ближайшие месяцы и годы они проявятся и во благо, и во вред. Учитывая неизбежность перемен, нам нужно понять, как смягчить негативное, но также и как по возможности направить эти перемены к добру.

Given that, I am often frustrated that so many discussions of the harms and benefits of AI are theoretical, and yet AI is here for us to actually use. We need to be pragmatic about what that means, and, in order to do so, I think we need to recognize three fundamental truths about today’s AI:

Учитывая это, меня часто раздражает, что так много дискуссий о вреде и пользе ИИ остаются теоретическими, в то время как ИИ уже здесь и мы можем им реально пользоваться. Нам нужно прагматично относиться к тому, что это означает, и для этого, как мне кажется, необходимо признать три фундаментальные истины о сегодняшнем ИИ:

ИИ повсеместен: Обычно внедрение мощных технологий происходит очень неравномерно — более богатые компании и люди получают доступ задолго до всех остальных. Однако LLM, к которым у вас есть доступ сегодня, LLM, к которым сегодня имеют доступ несколько миллиардов человек по всему миру, — это буквально лучший ИИ, доступный кому-либо за пределами горстки людей в крупных ИИ-компаниях. У вас такой же доступ к ИИ, будь вы Goldman Sachs или Министерство обороны, предприниматель из Милуоки или ребёнок в Уганде. Сегодня это GPT-4 (доступен бесплатно примерно в 169 странах через Microsoft Bing), а вскоре, вероятно, им станет Google Gemini (тоже весьма вероятно, что бесплатно). Хотя эта бесплатная доступность не гарантирована навсегда, она даёт нам замечательную возможность.ИИ чрезвычайно способен в том, что не сразу очевидно пользователям, в том числе и самим компьютерным учёным, создающим LLM: Единственный способ понять, насколько полезным может быть ИИ, — это им пользоваться. Большинство бенчмарков, публикуемых ИИ-компаниями, — это технические измерения производительности (с названиями вроде BLEU и METEOR), и значительная часть споров о возможностях ИИ движима техническими тестами. Тем не менее у нас всё больше свидетельств того, что на практике ИИ очень силён. LLM генерируют более качественные практические идеи, чем большинство людей, и могут повышать производительность высококлассных профессионалов. Эти практические следствия в основном остаются малоизученными.ИИ также ограничен и рискован способами, которые не сразу очевидны пользователям: У больших языковых моделей есть и длинный список проблем. Они «галлюцинируют» правдоподобно звучащую ложь, плохо справляются с математикой (по крайней мере без использования инструментов), воспроизводят предвзятости и непредсказуемы. И это даже не считая злонамеренного использования ИИ-систем — например, того факта, что нынешние ИИ способны разрушать приватность и проводить изощрённые фишинговые email-кампании. Игнорировать эти негативные эффекты так же проблематично, как и игнорировать позитивные.

So, we have a tool that is capable of great benefit, but also of considerable harm, that is available to billions. The creators of these technologies are not going to be able to tell us how to maximize the gain while avoiding the risk, because they don’t know the answers themselves. Making it all more complicated, we don’t actually know how good AI is at various practical tasks, especially compared to real human performance. After all, AI makes mistakes all the time, but so do people.

Итак, у нас есть инструмент, способный принести огромную пользу, но и значительный вред, и доступный миллиардам. Создатели этих технологий не смогут подсказать нам, как максимизировать выгоду, избегая риска, потому что сами не знают ответов. Всё ещё больше усложняет то, что мы на самом деле не знаем, насколько ИИ хорош в различных практических задачах, особенно в сравнении с реальной человеческой производительностью. В конце концов, ИИ постоянно совершает ошибки, но ведь и люди тоже.

Given this confusion, I would like to propose a pragmatic way to consider when AI might be helpful, called Best Available Human (BAH) standard. The standard asks the following question: would the best available AI in a particular moment, in a particular place, do a better job solving a problem than the best available human that is actually able to help in a particular situation? I suspect there are many use cases where BAH is clarifying, for better and worse. I want to start with two examples that I feel qualified to offer, and then some speculation (and a call to action!) for others.

Учитывая эту неразбериху, я хотел бы предложить прагматичный способ оценить, когда ИИ может быть полезен, — стандарт лучшего доступного человека (Best Available Human, BAH). Этот стандарт ставит следующий вопрос: справится ли лучший доступный ИИ в конкретный момент, в конкретном месте с решением задачи лучше, чем лучший доступный человек, который реально способен помочь в данной ситуации? Подозреваю, что есть множество сценариев использования, где BAH вносит ясность — как в хорошем, так и в плохом смысле. Я хочу начать с двух примеров, по которым чувствую себя компетентным высказаться, а затем перейти к некоторым размышлениям (и призыву к действию!) насчёт остальных.

The Best Available Co-Founder

Лучший доступный сооснователь

The world is full of entrepreneurs-in-waiting because most entrepreneurial journeys end before they begin. This comprehensive study shows around 1/3 of Americans have had a startup idea in the last 5 years but few act on it — less than half even do any web research! This matches my own experience an entrepreneurship professor (and former entrepreneur). The number one question I get asked is “what do I do now?”

Мир полон предпринимателей-в-ожидании, потому что большинство предпринимательских путей заканчиваются, так и не начавшись. Это всестороннее исследование показывает, что примерно у 1/3 американцев за последние 5 лет возникала идея стартапа, но немногие действуют на её основе — меньше половины даже проводят хоть какой-то поиск в интернете! Это совпадает с моим собственным опытом как профессора предпринимательства (и бывшего предпринимателя). Вопрос номер один, который мне задают, — «что мне теперь делать?»

While books and courses can help, there is nothing like an experienced cofounder… except, as my research with Jason Greenberg suggests, experienced cofounders are not only hard to find and incentivize, but picking the wrong cofounder can hurt the success of the company because of personality conflicts and other issues. All of this is why AI may be the Best Available Cofounder for many people. It is no substitute for quality human help, but it might make a difference for many potential entrepreneurs who would otherwise not get any assistance.

Хотя книги и курсы могут помочь, ничто не заменит опытного сооснователя… кроме того, что, как показывает моё исследование с Джейсоном Гринбергом, опытных сооснователей не только трудно найти и мотивировать, но и выбор неподходящего сооснователя может навредить успеху компании из-за конфликтов характеров и других проблем. Всё это и есть причины, по которым ИИ может стать для многих людей лучшим доступным сооснователем. Он не заменяет качественную человеческую помощь, но может оказаться важным подспорьем для многих потенциальных предпринимателей, которые иначе вообще не получили бы никакой поддержки.

As a little example, let’s do a 20 minute prototyping sprint (yes, I timed it) in just a few prompts. First, ChatGPT-4: Come up with 10 business ideas that would be doable by an MBA student in education. they should involve building a website or app, and it should be possible to come up with a rapid prototype for that website or app.

В качестве небольшого примера давайте проведём 20-минутный спринт прототипирования (да, я засёк время) всего за несколько промптов. Сначала ChatGPT-4: Придумай 10 бизнес-идей, осуществимых студентом MBA в сфере образования. Они должны предполагать создание сайта или приложения, и для этого сайта или приложения должно быть возможно быстро сделать прототип.

Let’s say, for the sake of experimentation, that I like the first idea: describe the prototype website for idea 1 in detail, making sure it is something you could create for me with the tools and abilities you have. Good! Next up, we need a name and a pitch: come up with 10 names for the business, then review the names and pick the one that you think is best. Write a one-paragraph pitch for the business that describes what we do and why it is good.

Допустим, ради эксперимента, что мне нравится первая идея: опиши прототип сайта для идеи 1 в деталях, убедившись, что это что-то, что ты сможешь создать для меня с помощью имеющихся у тебя инструментов и возможностей. Отлично! Дальше нам нужны название и презентация: придумай 10 названий для бизнеса, затем пересмотри названия и выбери то, которое считаешь лучшим. Напиши презентацию бизнеса в один абзац, описывающую, чем мы занимаемся и почему это хорошо.

Now we need that prototype. Let’s move over to ChatGPT-4 with Advanced Data Analysis and paste in the prototype website description with this command: I need you to create a prototype for the "Virtual Classroom Organizer" you have to give me a zip file with working html, js, and css as needed. It needs to fully work. Focus on the dashboard if you can't do anything else. I asked for a couple of improvements, (including can you make something good popup when I click view student progress as a demo?). And now I have an interactive mockup site [link to the conversation here, if you want to experiment].

Теперь нам нужен сам прототип. Перейдём к ChatGPT-4 с Advanced Data Analysis и вставим описание прототипа сайта с такой командой: Мне нужно, чтобы ты создал прототип «Virtual Classroom Organizer» — ты должен дать мне zip-файл с рабочими html, js и css по необходимости. Он должен полностью работать. Сосредоточься на дашборде, если ничего другого сделать не получается. Я попросил пару улучшений (в том числе можешь сделать так, чтобы при нажатии на «view student progress» в качестве демо всплывало что-то хорошее?). И вот теперь у меня есть интерактивный макет сайта [ссылка на диалог здесь, если хотите поэкспериментировать].

Maybe a little feedback is in order? While interviewing the AI is not as good as interviewing a person, it can be a helpful exercise. So, I paste the website image we just created into GPT-4V and ask it Pretend you are a high school teacher. I want to pitch you on TeacherSync, the description is below. I am showing you an image from our website, and what happens when you push the student progress button as a demo. Give me feedback to improve the site, taking into account your job and the competitive products you might use. I actually think it did a pretty good job finding useful objections. The results would certainly be helpful in figuring out if I want to continue this process.

Может, не помешает немного обратной связи? Хотя интервьюировать ИИ не так хорошо, как интервьюировать человека, это может быть полезным упражнением. Итак, я вставляю изображение сайта, который мы только что создали, в GPT-4V и прошу его: Представь, что ты учитель старшей школы. Я хочу презентовать тебе TeacherSync, описание ниже. Я показываю тебе изображение с нашего сайта и то, что происходит при нажатии кнопки student progress в качестве демо. Дай мне обратную связь, чтобы улучшить сайт, учитывая твою работу и конкурирующие продукты, которыми ты мог бы пользоваться. Я и правда считаю, что он неплохо справился с поиском полезных возражений. Результаты определённо помогли бы понять, хочу ли я продолжать этот процесс.

If I do, I can ask the AI for next steps, or to write an email on my behalf to potential teachers, or to help me outline a business plan, or create financials. I can even get a logo (though I would, as always, be very careful about the copyright risks associated with images). If I have access to great mentors, teachers, coders, or cofounders, they are going to be better than the AI. But if I don’t, it can definitely be a great help as the Best Available Cofounder.

Если хочу, я могу попросить ИИ о следующих шагах, или написать от моего имени письмо потенциальным учителям, или помочь мне составить набросок бизнес-плана, или подготовить финансовые расчёты. Я даже могу получить логотип (хотя я, как всегда, был бы очень осторожен с рисками нарушения авторских прав, связанными с изображениями). Если у меня есть доступ к отличным менторам, учителям, разработчикам или сооснователям, они окажутся лучше ИИ. Но если такого доступа нет, ИИ определённо может стать большим подспорьем в роли лучшего доступного сооснователя.

The Best Available Coach

Лучший доступный коуч

We know that professional coaching is very helpful in improving the performance of both managers and their teams. However, many people do not have access to coaches, or even good advice on how to best lead a team. Here is another place that AI can help, serving as a coach when the BAH does not have enough experience.

Мы знаем, что профессиональный коучинг очень помогает повышать эффективность как менеджеров, так и их команд. Однако у многих людей нет доступа к коучам или даже к хорошему совету о том, как лучше всего руководить командой. Вот ещё одна область, где ИИ может помочь, выступая в роли коуча, когда у лучшего доступного человека недостаточно опыта.

As one example, consider After Action Reviews. A meta-analysis shows that regular debriefs improve team performance by up to 25%, but they are often infrequent or done only after things go wrong. As an alternative, this prompt we developed sets up GPT-4 to walk you through the process of doing a team After Action Review:

В качестве одного из примеров рассмотрим разборы по итогам (After Action Reviews). Метаанализ показывает, что регулярные дебрифы повышают эффективность команды до 25%, но проводятся они зачастую нечасто или только после того, как что-то пошло не так. В качестве альтернативы этот разработанный нами промпт настраивает GPT-4 на то, чтобы провести вас через процесс командного After Action Review:

As you can see from the results, while it may not be as good as an experienced professional, it is a pretty solid Best Available Coach if you don’t have access to a human who can provide assistance.

Как видно по результатам, хотя он, возможно, и не так хорош, как опытный профессионал, это вполне добротный лучший доступный коуч, если у вас нет доступа к человеку, способному оказать помощь.

The Imperative of the Best Available

Императив лучшего доступного

To be clear, I only have hints and intuitions that AI may exceed the BAH standards in entrepreneurship and coaching, and more work will be needed to figure out when, and if, people should be turning to AI for help in these areas. Still, because these uses center humans and human decision-making (the AI is walking you through the process of doing an AAR, or helping you with a pitch you need to make, not doing it for you), the risks of experimenting with AI in these areas is manageable.

Чтобы было ясно: у меня есть лишь намёки и интуитивные догадки, что ИИ может превзойти стандарты BAH в предпринимательстве и коучинге, и потребуется ещё немало работы, чтобы понять, когда и стоит ли вообще людям обращаться к ИИ за помощью в этих областях. Тем не менее, поскольку эти варианты использования ставят в центр человека и принятие решений человеком (ИИ проводит вас через процесс AAR или помогает с презентацией, которую вам нужно сделать, а не делает это за вас), риски экспериментов с ИИ в этих областях управляемы.

The risks are higher when considering the BAH standard for three big areas where access to human experts is limited for many people: education, health care, and mental health. I don’t think our current AIs can do any of these well or safely, yet. At the same time, people are obviously using LLMs for all three things, without waiting for any guidance or professional help. My students are all consulting AI as a normal part of their education, and, anecdotally, use of AI as a therapist or for medical advice seems to be growing. Additionally, startups, often without a lot of expertise, are experimenting with these use cases for AI directly, sometimes without proper safeguards. If professionals do not actively start to explore when these tools work, and when they fail, we may find that people are so used to using AI that they will not listen to the expert advice when it arrives.

Риски выше, когда мы рассматриваем стандарт BAH для трёх больших областей, где доступ к человеческим экспертам ограничен для многих людей: образование, здравоохранение и психическое здоровье. Я не думаю, что наши нынешние ИИ способны делать хоть что-то из этого хорошо или безопасно — пока что. В то же время люди, очевидно, используют LLM для всех трёх задач, не дожидаясь никаких рекомендаций или профессиональной помощи. Все мои студенты обращаются к ИИ как к обычной части своего обучения, и, судя по отдельным наблюдениям, использование ИИ в качестве терапевта или для медицинских советов, похоже, растёт. Кроме того, стартапы, нередко без большого опыта, напрямую экспериментируют с этими сценариями использования ИИ, иногда без надлежащих мер предосторожности. Если профессионалы не начнут активно изучать, когда эти инструменты работают, а когда дают сбой, мы можем обнаружить, что люди настолько привыкли пользоваться ИИ, что не станут прислушиваться к экспертному совету, когда он появится.

And, in addition to mitigating the downside risks, the upside of actually starting to address the startling global inequality in education, health care, and mental health services would be incalculable. For many people, the Best Available Human is nobody. There are early signs that AI can be helpful in these spaces, whether that is Khan Academy’s Khanmigo as an early universal tutor; results suggesting chatbots can answer common medical questions well; or evidence that LLMs can do a good job detecting some mental health issues. But these are hints only. We need careful study to understand if the AI ever reaches BAH standards in these spaces, and likely would need additional product development and research before these tools are deployed. But, with such great potential for gain, and the danger of being overtaken by events, I think experts need to move fast.

И вдобавок к смягчению рисков негативной стороны, выгода от того, чтобы реально начать бороться с поразительным глобальным неравенством в образовании, здравоохранении и услугах психического здоровья, была бы неисчислимой. Для многих людей лучший доступный человек — это никто. Есть ранние признаки того, что ИИ может быть полезен в этих сферах: будь то Khanmigo от Khan Academy как ранний универсальный репетитор; результаты, говорящие о том, что чат-боты способны хорошо отвечать на распространённые медицинские вопросы; или свидетельства того, что LLM могут неплохо выявлять некоторые проблемы психического здоровья. Но это лишь намёки. Нам нужны тщательные исследования, чтобы понять, достигает ли ИИ когда-либо стандартов BAH в этих сферах, и, вероятно, потребовались бы дополнительная разработка продукта и исследования, прежде чем эти инструменты будут развёрнуты. Но при таком огромном потенциале выгоды и опасности быть застигнутыми врасплох ходом событий, я считаю, что экспертам нужно действовать быстро.

We are in a unique moment, where we have access to, in the words of my co-author Prof. Karim Lakhani, “infinite cognition” - a machine that, while it does not really think, can do a lot of tasks that previously required human thought. As a result, we can now try to solve intractable problems. Old and hard problems. Problems that we thought were fundamentally limited by the limited number of humans willing to help solve them. Not all of these problems will be solved by AI, and some might be made worse, but it is an obligation on all of us to start considering, pragmatically, how to use the AIs we have to make the world a better place. We can play a role in actively shaping how this technology is used, rather than waiting to see what happens.

Мы находимся в уникальном моменте, когда у нас есть доступ к тому, что, по словам моего соавтора профессора Карима Лахани (Karim Lakhani), является «бесконечным познанием» — к машине, которая, хотя на самом деле и не мыслит, может выполнять множество задач, прежде требовавших человеческого мышления. В результате мы теперь можем пытаться решать неразрешимые проблемы. Старые и трудные проблемы. Проблемы, которые, как мы думали, фундаментально ограничены ограниченным числом людей, готовых взяться за их решение. Не все из этих проблем будут решены ИИ, а некоторые могут даже усугубиться, но на всех нас лежит обязанность начать прагматично обдумывать, как использовать имеющиеся у нас ИИ, чтобы сделать мир лучше. Мы можем сыграть свою роль в активном формировании того, как используется эта технология, вместо того чтобы ждать и смотреть, что произойдёт.

Share

Поделиться