Latent Expertise: Everyone is in R&D
Этан Моллик утверждает, что дискуссия об ИИ ошибочно сводится к крайностям — либо «хайп», либо «сверхчеловеческие машины», тогда как реальность требует конкретного анализа сильных и слабых сторон LLM. Вторая волна внедрения ИИ — интеграция в организации — буксует, потому что компании воспринимают ИИ как инструмент сокращения издержек, а не как источник роста, повторяя ошибку, которую могли бы допустить фабриканты XVIII века, получившие паровой двигатель. Ключ к раскрытию «скрытой экспертизы» LLM — доменные специалисты: они лучше видят ошибки модели, точнее оценивают её вывод и дешевле экспериментируют, поскольку уже погружены в задачу. Моллик приводит примеры из образования (мультиагентные симуляции Wharton, промпт-тьютор, сопоставимый по качеству с fine-tuned моделью Google), рекрутинга (промпт для «описаний вакансий как любовных писем» от основателя Glowforge) и промышленности (LLM, считывающие аналоговые датчики на старых заводах). Чтобы масштабировать выгоду, эксперты должны делиться найденными решениями — именно для этого в Wharton создана Generative AI Lab, которая будет публиковать свои разработки в открытом доступе.
Скрытая экспертиза: каждый занимается R&D
Идеи рождаются на периферии, а не в центре
Дискуссии об ИИ часто скатываются в странную дихотомию: это либо сплошной «хайп», либо эра сверхчеловеческих машин уже на пороге. По крайней мере сейчас это ложная дихотомия. Есть области, где ИИ превосходит эксперта-человека в конкретных задачах, и области, где он совершенно бесполезен. Вместо огульных заявлений стоит сосредоточиться на конкретике: мы знаем, что LLM уже сейчас, без дополнительных доработок, полезны как со-интеллект, существенно улучшающий результативность людей (в инновациях, продуктивности, программировании и не только), но мы ещё не разобрались во всех сильных и слабых сторонах.
Первая волна внедрения ИИ была связана с индивидуальным использованием, и она, судя по всему, оказалась большим успехом — одни из самых быстрых темпов принятия новой технологии в истории. Но вторая волна — применение ИИ в работе — потребует интеграции в организации1. Это займёт больше времени и станет залогом реального роста производительности. Однако, пообщавшись со множеством компаний, я вижу, что многие из них идут по проторённой дорожке, воспринимая ИИ как информационную технологию для сокращения издержек. Я считаю это ошибкой. Чтобы понять почему, давайте пересмотрим старую аналогию, сравнивающую ИИ с Промышленной революцией.
Одна из самых удивительных особенностей Промышленной революции в Англии — то, как много прогресса произошло одновременно в стольких отраслях: от текстиля до медицины, от металлургии до приборостроения — и за столь короткое время. Немало заслуг приписывают великим изобретателям вроде Джеймса Уатта и его паровой машины, однако экономисты полагают, что одних великих изобретателей было недостаточно. Их работу нужно было адаптировать и воплотить в жизнь — людьми, которые подстраивали технологию под разные отрасли и фабрики, а затем дорабатывали под конкретные задачи. Без базы квалифицированных ремесленников, механиков и инженеров, работавших на множестве мануфактур и фабрик, Промышленная революция осталась бы лишь теорией.
И всё же я опасаюсь, что урок Промышленной революции теряется при внедрении ИИ в компаниях. Многие руководители, похоже, усвоили взгляд, что главная цель технологий — эффективность. Следуя закону молотка («когда у тебя молоток, всё вокруг кажется гвоздями»), они видят в ИИ механизм сокращения расходов. Любой прирост эффективности должен быть обращён в экономию — причём ещё до того, как кто-либо в организации разберётся, для чего ИИ действительно хорош. Это как если бы после появления паровой машины в XVIII веке каждый производитель решил сохранить объёмы и качество прежними и просто уволить персонал благодаря обретённой эффективности, вместо того чтобы строить компании мирового масштаба, наращивая выпуск.
Начинать с централизованных систем, заточенных на эффективность, плохо не только потому, что это душит рост. Прямо сейчас никто — ни консультанты, ни типичные вендоры ПО — не имеет универсальных рецептов, как с помощью ИИ открыть новые возможности в какой-либо конкретной отрасли. Компании, делающие ставку на централизованные решения, управляемые как обычные ИТ-проекты, вряд ли найдут прорывные идеи — по крайней мере пока. Сначала им нужно осознать ценность ИИ, чтобы научиться его применять.
А чтобы осознать ценность ИИ, нужно заниматься R&D. Поскольку ИИ работает не как обычное ПО, а скорее как человек (хотя и не является им), нет оснований полагать, что ИТ-отдел располагает лучшими промпт-инженерами или обладает особым пониманием наилучших способов применения ИИ внутри организации. У ИТ, безусловно, есть своя роль, но реальные сценарии использования будут исходить от сотрудников и менеджеров, которые находят возможности применить ИИ в своей работе. Более того, для крупных компаний источником реального конкурентного преимущества в ИИ станет экспертиза их сотрудников — именно она необходима, чтобы раскрыть экспертизу, скрытую в ИИ.
Скрытая экспертиза
Большие языковые модели — это забывчивые лисы в берлиновском смысле: они знают многое, но несовершенно. Как ни странно, мы сами не знаем всего, что знают они, — отчасти потому, что обучающие данные держатся в секрете, но и потому, что не всегда ясно, чему именно LLM научились из этих данных. Тем не менее очевидно, что в их латентном пространстве спрятана экспертиза — они превосходят врачей в диагностике заболеваний в ряде исследований и лучше многих врачей дают эмпатичные ответы пациентам, хотя это и не предполагалось при создании системы.
Раскрытие скрытой экспертизы ИИ — это пока работа для экспертов. Тому есть несколько причин. Первая: эксперты легко могут оценить, хороша или плоха работа в их области, и в чём именно. Возьмём, к примеру, два знакомых нам направления: обучение людей применять фреймворки и интерактивное репетиторство. Мы можем дать ИИ два простых промпта — один, чтобы ИИ выступал в роли репетитора, другой — чтобы он предлагал фреймворки для решения задач (если хотите попробовать более продвинутые версии этих промптов, которые действительно хорошо работают, воспользуйтесь Tutor GPT и Frameworks GPT:
Поскольку мы разбираемся в этих темах, мы сразу видим, что ответ по фреймворкам, хотя и не блестящий, вполне приемлем. Он предлагает ряд возможных подходов и — в тексте, который я обрезал на скриншоте — объясняет, как их применить. Фреймворки подобраны уместно, и если цель — заставить вас задуматься над проблемой, это неплохое начало. С промптом для репетитора ситуация иная. Хороший репетитор должен взаимодействовать со студентом, а не предполагать наличие знаний. Он не должен просто забрасывать студента информацией, а адаптироваться к его уровню и встречать его там, где тот находится. И он должен выяснять, что студент знает, а не спрашивать, чему тот хочет научиться. Промпт-репетитор проваливается по всем этим пунктам.
Но именно потому, что мы знаем, как устроено хорошее репетиторство и в чём были пробелы ИИ, мы легко определили, какие модели поведения нужно подавить или активировать, чтобы ИИ стал хорошим репетитором. Мы также знаем, как обучать других людей быть репетиторами — навык, который удивительно легко переносится на ИИ: достаточно записать эти инструкции в виде более детального промпта. В итоге получается добротный репетитор только за счёт промпта (смотрите здесь). Более того, Google протестировал версию нашего промпта против специально дообученной образовательной модели и обнаружил, что по большинству параметров их результаты статистически сопоставимы.
Это иллюстрирует и ещё одну причину, по которой эксперты пока лучше всех справляются с ИИ. Как отмечал один из моих научных руководителей, Eric von Hippel, R&D обходится дорого, потому что предполагает множество проб и ошибок, но когда вы выполняете задачу постоянно, пробы и ошибки становятся дешёвыми и лёгкими. Вот почему удивительно большая доля значимых инноваций рождается не в формальных R&D-лабораториях, а у людей, которые решают собственные проблемы. Учиться на практике дёшево, если ты и так практикуешь.
Таким образом, у экспертов множество преимуществ. Они лучше распознают ошибки и галлюцинации LLM; они точнее оценивают результаты ИИ в своей области; они лучше умеют инструктировать ИИ для выполнения нужной работы; и у них больше возможностей для экспериментов. Всё это позволяет им раскрывать скрытую экспертизу LLM так, как другие не смогли бы.
Экспертный со-интеллект
Например, LLM умеют писать добротные описания вакансий, но они часто звучат очень шаблонно. Может ли ИИ сделать что-то большее? Dan Shapiro нашёл способ. Он серийный предприниматель и сооснователь Glowforge, компании, выпускающей классные лазерные гравировальные инструменты. Dan — эксперт в построении культуры в организациях, и он считает свои описания вакансий одним из секретных оружий для привлечения талантов (к тому же он сейчас набирает людей). Но создавать такие «описания вакансий как любовные письма» вручную сложно для тех, кто не имеет подобного опыта. Поэтому он написал промпт (один из многих, которые Glowforge использует внутри организации), помогающий людям это делать. Dan согласился поделиться промптом, который занимает несколько страниц — найти его можно здесь.
Я не эксперт в описаниях вакансий и уж точно не проделал ту работу методом проб и ошибок, которую проделал Dan, но я смог воспользоваться его экспертизой благодаря его промпту. Я вставил описание позиции Technical Director для нашей новой Generative AI Lab (подробнее об этом чуть ниже) в конец его промпта, и Claude превратил стандартное описание вакансии в нечто гораздо более выразительное, сохранив при этом все необходимые детали и информацию. Экспертиза — передана.
Благодаря широким универсальным способностям LLM могут решать и другие неожиданные задачи, в том числе в отраслях, далёких от интеллектуального и творческого труда. Если зайти на многие заводы в США, можно увидеть массу старого производственного оборудования с аналоговыми шкалами, которое невозможно подключить к современному ПО и процессам. Но оказывается, что LLM можно научить считывать показания стрелочных приборов, а ИИ способен принимать разумные решения о том, что может означать аномальное значение и когда нужно оповестить людей. С экспертным руководством, возможно, LLM позволят старым заводам перескочить через целую фазу развития — подобно тому, как мобильные телефоны позволили многим странам миновать этап строительства разветвлённых проводных сетей.
Начинать с экспертного использования есть ещё одно преимущество перед тем, как компании подходят к ИИ сегодня. Вместо того чтобы стартовать с централизованного программного решения, можно начать с простого промптинга и GPT-подходов и строить более продвинутые инструменты лишь тогда, когда эксперты обнаружат ограничения. Например, я работал с командой талантливых людей в Wharton над созданием интерактивных обучающих симуляций на основе игровых идей более десяти лет, и мы в этом неплохо преуспели. Эти симуляции — отличные учебные инструменты, но на их создание уходили месяцы (или годы!) и масса экспертной работы: геймдизайнеры, предметные эксперты, программисты и сценаристы. Поэтому было поразительно обнаружить, что мы можем получить 80% хорошей игры одним только промптом… но кое-чего всё же не хватало. Промптинг не позволял решить все вопросы контроля доступа и отчётности, необходимые для проведения занятий, не давал возможности предоставлять учебные материалы напрямую и обеспечивать единообразную обратную связь по нескольким симуляциям. Это то, что мы выяснили опытным путём как критически важное для образовательных симуляций.
Поэтому мы создали нечто новое — систему ИИ-агентов, работающих совместно для проведения образовательной игры, где каждый агент выполняет роль, основанную на нашем десятилетнем опыте в этой области. Одна из наших первых ИИ-игр учит людей питчить стартап инвесторам.
В отличие от нашего прежнего подхода, требовавшего огромных затрат времени, основную работу теперь выполняют хорошо спромптированные ИИ-агенты. После просмотра видео о том, как делать питч, студенты общаются с агентом-наставником, который помогает им в обучении (настраивая процесс под их интересы и уровень опыта), затем с агентом-инвестором, который ведёт себя как венчурный капиталист, в то время как агент-оценщик наблюдает, выставляет оценки и удерживает процесс на верном пути через prompt injection. Затем агент прогресса даёт обратную связь, а агент аналитики помогает преподавателю понять, как идут дела у группы. Мы также работаем над новыми агентами для трансформации процесса создания игр. Мы строим агента, который будет интервьюировать предметных экспертов и создавать кастомизированные игры для них, а также запускать агентов-плейтестеров для оценки и доработки игры. То, что раньше занимало годы, теперь можно сделать за недели, а скоро — за дни. Полная архитектура и все промпты описаны в нашей статье.
Раскрытие скрытой экспертизы для всех
Если улучшение работы нынешних ИИ-систем зависит от экспертного руководства, то эксперты должны делиться тем, что узнают, — иначе люди будут использовать ИИ способами, не задействующими скрытую экспертизу. На каждого студента, использующего наш промпт для репетитора, приходятся десятки тысяч студентов, которые просто просят ИИ объяснить что-то «как десятилетнему ребёнку». На каждое тщательно составленное описание вакансии — тысячи людей, получающих от LLM посредственные результаты. Успех будет зависеть от того, удастся ли привлечь экспертов к использованию этих систем и побудить их делиться находками.
Для компаний это означает поиск способов стимулировать и наделять сотрудников полномочиями для обнаружения скрытых источников экспертизы и их распространения. Этому мешает множество барьеров в большинстве компаний — политика, юридические вопросы (реальные или надуманные), затраты и прочее, — но для организаций, которые преуспеют, вознаграждение будет значительным. А для тех из нас, кто находится за пределами корпоративного мира, миссия обнаружения скрытой экспертизы и её распространения ещё более неотложна. Реализация преимуществ ИИ и смягчение рисков требуют, чтобы люди понимали, когда и как его использовать.
Именно поэтому я очень рад запуску нового проекта в Wharton — Generative AI Lab. Цель лаборатории — создавать (и делиться знаниями о том, как создавать) основанные на исследованиях способы применения ИИ, помогающие каждому получить доступ к скрытой экспертизе, избегая при этом рисков. Мы будем выпускать программное обеспечение вроде Primer — образовательной системы на ИИ-агентах — в открытом доступе, чтобы любой мог на его основе развивать свои решения. Надеюсь, это лишь начало, и мы увидим, как больше экспертов в академии, бизнесе и государственном секторе начнут делиться тем, что работает и что не работает в ИИ. И я надеюсь, что они будут делать это открыто и прозрачно, чтобы мы могли строить на этом вместе.
Нам нужно разбираться в этом сообща, потому что больше некому. Сами ИИ-лаборатории не знают, что именно они создали и для каких задач LLM подходят лучше всего. Злоумышленники найдут плохие применения ИИ независимо от наших действий. Мы должны работать как минимум столь же усердно — не только чтобы смягчить ущерб, который они нанесут, но и чтобы найти полезные применения, помогающие людям процветать с помощью этих новых инструментов. Делиться тем, что мы узнали и что работает, — хороший способ начать.
Тут есть оговорка. Явная цель большинства ИИ-лабораторий — создание AGI, машины, превосходящей человека в любой задаче. Если (или когда) это произойдёт, организации начнут очень быстро меняться до неузнаваемости.