Latent Expertise: Everyone is in R&D

Latent Expertise: Everyone is in R&D

Скрытая экспертиза: каждый занимается R&D

Ideas come from the edges, not the center

Идеи рождаются на периферии, а не в центре

AI discussions often fall into a weird dichotomy - it is either all “hype” or else the age of the superhuman machines is imminent. At least for now, that is a false dichotomy. There are areas where AI is better than an expert human at particular tasks, and areas where it is completely useless. Instead of blanket statements, we should focus on specifics: we know that LLMs, without further development, are already useful as a co-intelligence that greatly improves human performance (in innovation, productivity, coding, and more), but we also have yet to figure out every strength and weakness.

Дискуссии об ИИ часто скатываются в странную дихотомию: это либо сплошной «хайп», либо эра сверхчеловеческих машин уже на пороге. По крайней мере сейчас это ложная дихотомия. Есть области, где ИИ превосходит эксперта-человека в конкретных задачах, и области, где он совершенно бесполезен. Вместо огульных заявлений стоит сосредоточиться на конкретике: мы знаем, что LLM уже сейчас, без дополнительных доработок, полезны как со-интеллект, существенно улучшающий результативность людей (в инновациях, продуктивности, программировании и не только), но мы ещё не разобрались во всех сильных и слабых сторонах.

The first wave of AI adoption was about individual use, and that seems to have been a huge success, with some of the fastest adoption rates in history for a new technology. But the second wave, putting AI to work, is going to involve integrating it into organizations1. This will take longer and will be the key to true productivity growth. After talking to many companies, however, I see many of them following the same well-trod path, viewing AI as an information technology that can be used for cost savings. I think this is a mistake. To see why, let’s reconsider the old analogy comparing AI to the Industrial Revolution.

Первая волна внедрения ИИ была связана с индивидуальным использованием, и она, судя по всему, оказалась большим успехом — одни из самых быстрых темпов принятия новой технологии в истории. Но вторая волна — применение ИИ в работе — потребует интеграции в организации1. Это займёт больше времени и станет залогом реального роста производительности. Однако, пообщавшись со множеством компаний, я вижу, что многие из них идут по проторённой дорожке, воспринимая ИИ как информационную технологию для сокращения издержек. Я считаю это ошибкой. Чтобы понять почему, давайте пересмотрим старую аналогию, сравнивающую ИИ с Промышленной революцией.

One of the most fascinating things about the Industrial Revolution in England is how much progress happened in so many industries - from textiles to medicine to metallurgy to instrument-making - in a short time. A lot of credit is given to the great inventors like James Watt and his steam engine, but economists have suggested that these great inventors alone were not enough. Instead, their work needed to be adjusted and made real by people who altered the technology for different industries and factories, and then further refined by the people who implemented it for specific uses. Without a base of skilled craftsman, mechanics, and engineers working in many mills and factories, the Industrial Revolution would have just happened in theory.

Одна из самых удивительных особенностей Промышленной революции в Англии — то, как много прогресса произошло одновременно в стольких отраслях: от текстиля до медицины, от металлургии до приборостроения — и за столь короткое время. Немало заслуг приписывают великим изобретателям вроде Джеймса Уатта и его паровой машины, однако экономисты полагают, что одних великих изобретателей было недостаточно. Их работу нужно было адаптировать и воплотить в жизнь — людьми, которые подстраивали технологию под разные отрасли и фабрики, а затем дорабатывали под конкретные задачи. Без базы квалифицированных ремесленников, механиков и инженеров, работавших на множестве мануфактур и фабрик, Промышленная революция осталась бы лишь теорией.

Yet I worry that the lesson of the Industrial Revolution is being lost in AI implementations at companies. Many leaders seem to have adopted a view that the main purpose of technology is efficiency. Following the Law of the Hammer (“to a hammer every problem looks like a nail”), they see AI as a cost-cutting mechanism. Any efficiency gains must be turned into cost savings, even before anyone in the organization figures out what AI is good for. It is as if, after getting access to the steam engine in the 1700s, every manufacturer decided to keep production and quality the same, and just fire staff in response to new-found efficiency, rather than building world-spanning companies by expanding their outputs.

И всё же я опасаюсь, что урок Промышленной революции теряется при внедрении ИИ в компаниях. Многие руководители, похоже, усвоили взгляд, что главная цель технологий — эффективность. Следуя закону молотка («когда у тебя молоток, всё вокруг кажется гвоздями»), они видят в ИИ механизм сокращения расходов. Любой прирост эффективности должен быть обращён в экономию — причём ещё до того, как кто-либо в организации разберётся, для чего ИИ действительно хорош. Это как если бы после появления паровой машины в XVIII веке каждый производитель решил сохранить объёмы и качество прежними и просто уволить персонал благодаря обретённой эффективности, вместо того чтобы строить компании мирового масштаба, наращивая выпуск.

Starting with centralized systems built for efficiency has other drawbacks besides strangling growth. Right now, nobody - from consultants to typical software vendors - has universal answers about how to use AI to unlock new opportunities in any particular industry. Companies that turn to centralized solutions run as typical IT projects are therefore unlikely to find breakthrough ideas, at least not yet. They first need to understand the value of AI in order to use it.

Начинать с централизованных систем, заточенных на эффективность, плохо не только потому, что это душит рост. Прямо сейчас никто — ни консультанты, ни типичные вендоры ПО — не имеет универсальных рецептов, как с помощью ИИ открыть новые возможности в какой-либо конкретной отрасли. Компании, делающие ставку на централизованные решения, управляемые как обычные ИТ-проекты, вряд ли найдут прорывные идеи — по крайней мере пока. Сначала им нужно осознать ценность ИИ, чтобы научиться его применять.

And to understand the value of AI, they need to do R&D. Since AI doesn't work like traditional software, but more like a person (even though it isn't one), there is no reason to suspect that the IT department has the best AI prompters, nor that it has any particular insight into the best uses of AI inside an organization. IT certainly plays a role, but the actual use cases will come from workers and managers who find opportunities to use AI to help them with their job. In fact, for large companies, the source of any real advantage in AI will come from the expertise of their employees, which is needed to unlock the expertise latent in AI.

А чтобы осознать ценность ИИ, нужно заниматься R&D. Поскольку ИИ работает не как обычное ПО, а скорее как человек (хотя и не является им), нет оснований полагать, что ИТ-отдел располагает лучшими промпт-инженерами или обладает особым пониманием наилучших способов применения ИИ внутри организации. У ИТ, безусловно, есть своя роль, но реальные сценарии использования будут исходить от сотрудников и менеджеров, которые находят возможности применить ИИ в своей работе. Более того, для крупных компаний источником реального конкурентного преимущества в ИИ станет экспертиза их сотрудников — именно она необходима, чтобы раскрыть экспертизу, скрытую в ИИ.

Latent Expertise

Скрытая экспертиза

Large Language Models are forgetful foxes in a Berlinian sense: they know many things, imperfectly. Oddly, we don’t actually know everything they know, in part because training data is kept secret, but also because it isn’t always clear what LLMs learn from their training data. Yet it is clear that they do have expertise hidden in their latent space - they outperform doctors at diagnosing diseases in some studies, and exceed more doctors in providing empathetic replies to patients, even though those were not expected uses of the system.

Большие языковые модели — это забывчивые лисы в берлиновском смысле: они знают многое, но несовершенно. Как ни странно, мы сами не знаем всего, что знают они, — отчасти потому, что обучающие данные держатся в секрете, но и потому, что не всегда ясно, чему именно LLM научились из этих данных. Тем не менее очевидно, что в их латентном пространстве спрятана экспертиза — они превосходят врачей в диагностике заболеваний в ряде исследований и лучше многих врачей дают эмпатичные ответы пациентам, хотя это и не предполагалось при создании системы.

Unlocking the expertise latent in AI is, for now, a job for experts. There are multiple reasons for this. The first is that experts can easily judge whether work in their field is good or bad, and in what ways. Take, for example, two topics we are familiar with: teaching people to apply frameworks and interactive tutoring. We can give the AI two simple prompts, one to get the AI to act as a tutor and the other to get it provide frameworks for solving problems (if you want to try the more advanced versions of these prompts that actually work well, you can try the Tutor GPT and Frameworks GPT:

Раскрытие скрытой экспертизы ИИ — это пока работа для экспертов. Тому есть несколько причин. Первая: эксперты легко могут оценить, хороша или плоха работа в их области, и в чём именно. Возьмём, к примеру, два знакомых нам направления: обучение людей применять фреймворки и интерактивное репетиторство. Мы можем дать ИИ два простых промпта — один, чтобы ИИ выступал в роли репетитора, другой — чтобы он предлагал фреймворки для решения задач (если хотите попробовать более продвинутые версии этих промптов, которые действительно хорошо работают, воспользуйтесь Tutor GPT и Frameworks GPT:

Since we know something about these topics, we can instantly tell that the answer on frameworks, while not amazing, is not terrible. It suggests a number of possible approaches, and, in the text that I cut out of the image, how to apply them. The frameworks are appropriate, and, if the goal is to make you think about the problem, this is not a bad start. The tutor prompt is a different matter. Good tutors need to interact with the student, not assume knowledge. They should not merely throw information at the student but adapt to their abilities and meet them where they are. And they should figure out what you know, not ask you what you think you need to know. The tutor fails at all of these points.

Поскольку мы разбираемся в этих темах, мы сразу видим, что ответ по фреймворкам, хотя и не блестящий, вполне приемлем. Он предлагает ряд возможных подходов и — в тексте, который я обрезал на скриншоте — объясняет, как их применить. Фреймворки подобраны уместно, и если цель — заставить вас задуматься над проблемой, это неплохое начало. С промптом для репетитора ситуация иная. Хороший репетитор должен взаимодействовать со студентом, а не предполагать наличие знаний. Он не должен просто забрасывать студента информацией, а адаптироваться к его уровню и встречать его там, где тот находится. И он должен выяснять, что студент знает, а не спрашивать, чему тот хочет научиться. Промпт-репетитор проваливается по всем этим пунктам.

But because we know what good tutoring does, and what the gaps of the AI were, we can easily determine what behaviors we needed to suppress or activate in order for the AI to act as a good tutor. We also know how to teach other people to be a tutor, a skill that is remarkably transferrable to AI but just writing those instructions as a more elaborate prompt. The result is a solid tutor from a prompt alone (see it here). In fact, Google has tested a version of our prompt against a fine-tuned educational model they built, and found that they have statistically similar performance across most dimensions.

Но именно потому, что мы знаем, как устроено хорошее репетиторство и в чём были пробелы ИИ, мы легко определили, какие модели поведения нужно подавить или активировать, чтобы ИИ стал хорошим репетитором. Мы также знаем, как обучать других людей быть репетиторами — навык, который удивительно легко переносится на ИИ: достаточно записать эти инструкции в виде более детального промпта. В итоге получается добротный репетитор только за счёт промпта (смотрите здесь). Более того, Google протестировал версию нашего промпта против специально дообученной образовательной модели и обнаружил, что по большинству параметров их результаты статистически сопоставимы.

This also illustrates another reason why experts are best at using AI for now. As one of my PhD advisors, Eric von Hippel, pointed out: R&D is very expensive because it involves lots of trial and error, but when you are doing a task all the time, trial and error is cheap and easy. That is why a surprisingly large percentage of important innovation comes, not from formal R&D labs, but rather from people figuring out how to solve their own problems. Learning by doing is cheap if you are already doing.

Это иллюстрирует и ещё одну причину, по которой эксперты пока лучше всех справляются с ИИ. Как отмечал один из моих научных руководителей, Eric von Hippel, R&D обходится дорого, потому что предполагает множество проб и ошибок, но когда вы выполняете задачу постоянно, пробы и ошибки становятся дешёвыми и лёгкими. Вот почему удивительно большая доля значимых инноваций рождается не в формальных R&D-лабораториях, а у людей, которые решают собственные проблемы. Учиться на практике дёшево, если ты и так практикуешь.

Experts thus have many advantages. They are better able to see through LLM errors and hallucinations; they are better judges of AI output in their area of interest; they are better able to instruct the AI to do the required job; and they have the opportunity for more trial and error. That lets them unlock the latent expertise within LLMs in ways that others could not.

Таким образом, у экспертов множество преимуществ. Они лучше распознают ошибки и галлюцинации LLM; они точнее оценивают результаты ИИ в своей области; они лучше умеют инструктировать ИИ для выполнения нужной работы; и у них больше возможностей для экспериментов. Всё это позволяет им раскрывать скрытую экспертизу LLM так, как другие не смогли бы.

Expert Co-Intelligence

Экспертный со-интеллект

For example, LLMs can write solid job descriptions, but they often sound very generic. Is there the possibility that the AI could do something more? Dan Shapiro figured out how. He is a serial entrepreneur and co-founder of Glowforge, which makes cool laser carving tools. Dan is an expert at building culture in organizations and he credits his job descriptions as one of his secret weapons for attracting talent (plus he is hiring). But handcrafting these “job descriptions as love letters” is difficult for people who haven’t done it before. So, he built a prompt (one of many Glowforge uses in their organization) to help people do it. Dan agreed to share the prompt, which is many pages long - you can find it here.

Например, LLM умеют писать добротные описания вакансий, но они часто звучат очень шаблонно. Может ли ИИ сделать что-то большее? Dan Shapiro нашёл способ. Он серийный предприниматель и сооснователь Glowforge, компании, выпускающей классные лазерные гравировальные инструменты. Dan — эксперт в построении культуры в организациях, и он считает свои описания вакансий одним из секретных оружий для привлечения талантов (к тому же он сейчас набирает людей). Но создавать такие «описания вакансий как любовные письма» вручную сложно для тех, кто не имеет подобного опыта. Поэтому он написал промпт (один из многих, которые Glowforge использует внутри организации), помогающий людям это делать. Dan согласился поделиться промптом, который занимает несколько страниц — найти его можно здесь.

I am not an expert in job descriptions, and certainly don’t haven’t done the trial-and-error work that Dan has done about this topic, but I was able to draw on his expertise thanks to his prompt. I pasted in a description of the job of Technical Director for our new Generative AI Lab (more on that in a bit) at the end of his prompt, and Claude turned it from standard job description to something that is much more evocative, while maintaining all the needed details and information. Expertise, shared.

Я не эксперт в описаниях вакансий и уж точно не проделал ту работу методом проб и ошибок, которую проделал Dan, но я смог воспользоваться его экспертизой благодаря его промпту. Я вставил описание позиции Technical Director для нашей новой Generative AI Lab (подробнее об этом чуть ниже) в конец его промпта, и Claude превратил стандартное описание вакансии в нечто гораздо более выразительное, сохранив при этом все необходимые детали и информацию. Экспертиза — передана.

Because LLMs have so many generalist abilities, they are also capable of solving other unexpected problems, including ones in industries far from knowledge and creative work. If you go to many factory floors in the US, you will see a lot of old manufacturing equipment with analog dials and no way to connect them to modern manufacturing software and processes. But it turns out that LLMs can be trained to read gauges, and AI can even make smart decisions about what an anomalous reading might mean and when to alert humans. With expert guidance, I wonder if LLMs will allow older plants to skip over an entire phase of development, the way that cell phones allowed many countries to skip the step of building elaborate landline networks.

Благодаря широким универсальным способностям LLM могут решать и другие неожиданные задачи, в том числе в отраслях, далёких от интеллектуального и творческого труда. Если зайти на многие заводы в США, можно увидеть массу старого производственного оборудования с аналоговыми шкалами, которое невозможно подключить к современному ПО и процессам. Но оказывается, что LLM можно научить считывать показания стрелочных приборов, а ИИ способен принимать разумные решения о том, что может означать аномальное значение и когда нужно оповестить людей. С экспертным руководством, возможно, LLM позволят старым заводам перескочить через целую фазу развития — подобно тому, как мобильные телефоны позволили многим странам миновать этап строительства разветвлённых проводных сетей.

Starting with expert use has another advantage over the way companies are approaching AI today. Rather than starting with a centralized software solution, you can start with simple prompting and GPT approaches, and only build more advanced tools when experts discover limitations. For example, I have been working with a team of talented folks at Wharton building interactive teaching simulations based on ideas from gaming for over a decade, and we have gotten pretty good at it. These simulations are terrific teaching tools but took months (or years!) to build and a ton of expert work from game designers, subject matter experts, programmers, and fiction writers. So it was amazing when we discovered that we could get 80% of the way to a good game with a prompt alone… but there were still things missing. Prompting didn’t let us handle all of the access control and reporting issues needed to run a class, or the need to provide direct educational materials, or to offer consistent feedback across multiple simulations. These were things we learned were critical to education simulations.

Начинать с экспертного использования есть ещё одно преимущество перед тем, как компании подходят к ИИ сегодня. Вместо того чтобы стартовать с централизованного программного решения, можно начать с простого промптинга и GPT-подходов и строить более продвинутые инструменты лишь тогда, когда эксперты обнаружат ограничения. Например, я работал с командой талантливых людей в Wharton над созданием интерактивных обучающих симуляций на основе игровых идей более десяти лет, и мы в этом неплохо преуспели. Эти симуляции — отличные учебные инструменты, но на их создание уходили месяцы (или годы!) и масса экспертной работы: геймдизайнеры, предметные эксперты, программисты и сценаристы. Поэтому было поразительно обнаружить, что мы можем получить 80% хорошей игры одним только промптом… но кое-чего всё же не хватало. Промптинг не позволял решить все вопросы контроля доступа и отчётности, необходимые для проведения занятий, не давал возможности предоставлять учебные материалы напрямую и обеспечивать единообразную обратную связь по нескольким симуляциям. Это то, что мы выяснили опытным путём как критически важное для образовательных симуляций.

So, we built something new, a system of AI agents that worked together to deliver an educational game experience, with each agent playing a role based on our decade of experience in this field. One of our first AI-based games teaches people how to pitch a startup company to investors.

Поэтому мы создали нечто новое — систему ИИ-агентов, работающих совместно для проведения образовательной игры, где каждый агент выполняет роль, основанную на нашем десятилетнем опыте в этой области. Одна из наших первых ИИ-игр учит людей питчить стартап инвесторам.

As opposed to our old way of doing this, which took huge amounts of time, most of the work is done by well-prompted AI agents. After watching a video about how to pitch, students talk to a mentor agent that helps tutor them (customizing the tutoring experience to their interests and experience level), then an investor agent that acts like a venture capitalist, while an evaluator agent looks on to grade the work and keep things on track through prompt injection. Then a progress agent gives feedback, and an insights agent helps the teacher understand how the class is doing. We are also working on new agents to transform the creation of games. We are building one that will interview subject matter experts and create customized games for them, and also spin up playtest agents to evaluate and modify the game. What used to be a years-long process can now be done in weeks and soon, in days. The full architecture, and all the prompts, are in our paper.

В отличие от нашего прежнего подхода, требовавшего огромных затрат времени, основную работу теперь выполняют хорошо спромптированные ИИ-агенты. После просмотра видео о том, как делать питч, студенты общаются с агентом-наставником, который помогает им в обучении (настраивая процесс под их интересы и уровень опыта), затем с агентом-инвестором, который ведёт себя как венчурный капиталист, в то время как агент-оценщик наблюдает, выставляет оценки и удерживает процесс на верном пути через prompt injection. Затем агент прогресса даёт обратную связь, а агент аналитики помогает преподавателю понять, как идут дела у группы. Мы также работаем над новыми агентами для трансформации процесса создания игр. Мы строим агента, который будет интервьюировать предметных экспертов и создавать кастомизированные игры для них, а также запускать агентов-плейтестеров для оценки и доработки игры. То, что раньше занимало годы, теперь можно сделать за недели, а скоро — за дни. Полная архитектура и все промпты описаны в нашей статье.

Unlocking latent expertise for all

Раскрытие скрытой экспертизы для всех

If making current AI systems work better is about expert guidance, then we need experts to share what they learn, or people will use AI in ways that don’t draw on latent expertise. For every student using our tutor prompt, tens of thousands of students are just asking the AI to explain something “like I am 10 years old.” For every carefully build job description, thousands of people are just using LLMs and getting indifferent results. Success is going to come from getting experts to use these systems and share what they learn.

Если улучшение работы нынешних ИИ-систем зависит от экспертного руководства, то эксперты должны делиться тем, что узнают, — иначе люди будут использовать ИИ способами, не задействующими скрытую экспертизу. На каждого студента, использующего наш промпт для репетитора, приходятся десятки тысяч студентов, которые просто просят ИИ объяснить что-то «как десятилетнему ребёнку». На каждое тщательно составленное описание вакансии — тысячи людей, получающих от LLM посредственные результаты. Успех будет зависеть от того, удастся ли привлечь экспертов к использованию этих систем и побудить их делиться находками.

For companies, this means figuring out ways to incentivize and empower employees to discover latent sources of expertise and share them. There are tons of barriers to doing this in most companies - politics, legal issues (real or imagined), costs, etc. - but for organizations that succeed, the rewards will be large. And for those of us outside the corporate world, the mission of discovering latent expertise and sharing it is even more urgent. Realizing the benefits of AI, and mitigating the harms, requires people to understand when and how to use it.

Для компаний это означает поиск способов стимулировать и наделять сотрудников полномочиями для обнаружения скрытых источников экспертизы и их распространения. Этому мешает множество барьеров в большинстве компаний — политика, юридические вопросы (реальные или надуманные), затраты и прочее, — но для организаций, которые преуспеют, вознаграждение будет значительным. А для тех из нас, кто находится за пределами корпоративного мира, миссия обнаружения скрытой экспертизы и её распространения ещё более неотложна. Реализация преимуществ ИИ и смягчение рисков требуют, чтобы люди понимали, когда и как его использовать.

That is why I am really excited to have launched a new effort at Wharton, the Generative AI Lab. The goal of the Lab is to build (and to share knowledge about how to build), research-based uses for AI that help anyone access the latent expertise within, while avoiding the downside risks. We are going to be releasing software like Primer, the AI-agent based educational system, open source, for anyone to build on. I hope this is just the start, and we will see more experts in academia, industry, and government step up to share what works and what doesn’t in AI. And I hope that they do it in open and transparent ways that we can build on together.

Именно поэтому я очень рад запуску нового проекта в Wharton — Generative AI Lab. Цель лаборатории — создавать (и делиться знаниями о том, как создавать) основанные на исследованиях способы применения ИИ, помогающие каждому получить доступ к скрытой экспертизе, избегая при этом рисков. Мы будем выпускать программное обеспечение вроде Primer — образовательной системы на ИИ-агентах — в открытом доступе, чтобы любой мог на его основе развивать свои решения. Надеюсь, это лишь начало, и мы увидим, как больше экспертов в академии, бизнесе и государственном секторе начнут делиться тем, что работает и что не работает в ИИ. И я надеюсь, что они будут делать это открыто и прозрачно, чтобы мы могли строить на этом вместе.

We need to figure it out together because there is nobody else who can. The AI labs themselves don’t know what they have built, or what tasks LLMs are best suited for. Bad actors will find bad uses for AI regardless of what we do. We need to work at least as hard to not just mitigate the damage they will do, but also to find good uses that help humans thrive using these new tools. Sharing what we learn, and what works, is a good way to start.

Нам нужно разбираться в этом сообща, потому что больше некому. Сами ИИ-лаборатории не знают, что именно они создали и для каких задач LLM подходят лучше всего. Злоумышленники найдут плохие применения ИИ независимо от наших действий. Мы должны работать как минимум столь же усердно — не только чтобы смягчить ущерб, который они нанесут, но и чтобы найти полезные применения, помогающие людям процветать с помощью этих новых инструментов. Делиться тем, что мы узнали и что работает, — хороший способ начать.

Share

Поделиться

There is actually a caveat here. The explicit goal of most of the AI labs is to build AGI - a machine better than humans at every task. If (or when) that happens, organizations will start to look very different very quickly.

Тут есть оговорка. Явная цель большинства ИИ-лабораторий — создание AGI, машины, превосходящей человека в любой задаче. Если (или когда) это произойдёт, организации начнут очень быстро меняться до неузнаваемости.