On Working with Wizards

О работе с волшебниками

Проверяя магию на зубчатой границе

В моей книге Co-Intelligence я описал способ, которым люди могли бы работать с ИИ — что неудивительно, как с со-интеллектом. В связке с чат-ботом человек мог использовать ИИ как своего рода стажёра или коллегу: исправлять его ошибки, проверять его работу, совместно развивать идеи и направлять его в нужную сторону. За последние несколько недель я пришёл к убеждению, что со-интеллект по-прежнему важен, но природа ИИ начинает указывать в другом направлении. Мы движемся от партнёров к зрителям, от сотрудничества к заклинанию.

Хороший способ проиллюстрировать это изменение — попросить ИИ объяснить, что произошло с тех пор, как я написал книгу. Я загрузил свою книгу и все 140 с лишним постов One Useful Thing (кстати, не могу поверить, что написал столько постов!) в NotebookLM и выбрал новую опцию видеообзора с простым запросом сделать видео о том, что произошло в мире ИИ.

Через несколько минут я получил вот это. И это весьма неплохо. Достаточно хорошо, чтобы, думаю, стоило посмотреть и получить сводку о том, что произошло с момента написания моей книги.

Но как ИИ выбрал те тезисы, которые сделал? Не знаю, но они были вполне хороши. Как он решил, какие слайды использовать? Не знаю, но они тоже были вполне в точку (хотя изображения остаются слабым местом — обещанную выдру он мне так и не показал). Было ли это верно? Это показалось мне тем, что стоит проверить.

Итак, я несколько раз пересмотрел видео, проверяя все факты. Все цифры были верны, включая данные о баллах MMLU и результаты ИИ на экзамене по нейрохирургии (я даже не уверен, когда я цитировал этот материал). Единственная моя реальная претензия в том, что следовало бы отметить, что я был одним из нескольких соавторов нашего исследования Boston Consulting Group, в котором также был введён термин «зубчатая граница» (jagged frontier). Кроме того, я бы не сформулировал всё так, как это сделал ИИ (вышло немного напыщенно, а моя книга ещё не устарела!), но никаких существенных ошибок не было.

Думаю, этот процесс типичен для новой волны ИИ: для всё более широкого круга сложных задач вы получаете поразительный и изощрённый результат в ответ на расплывчатый запрос, но сами в процессе не участвуете. Вы не знаете, как ИИ сделал тот выбор, который сделал, и не можете подтвердить, что всё абсолютно верно. Мы смещаемся от роли соавторов, формирующих процесс, к роли просителей, получающих результат. Это переход от работы с со-интеллектом к работе с волшебником. Магия творится, но мы не всегда знаем, что делать с её плодами. Этот паттерн — впечатляющий результат, непрозрачный процесс — становится ещё заметнее в исследовательских задачах.

Прося о магии

Прямо сейчас ни одна модель ИИ не ощущается настолько волшебником, как GPT-5 Pro, доступная только платным пользователям. GPT-5 Pro способна на откровенно поразительные подвиги. Например, я дал ей прочитать академическую статью с указанием: «раскритикуй методы этой статьи, придумай методы получше и примени их». Это была не просто какая-то статья — это была моя job market paper, то есть моя первая крупная работа как учёного. Мне потребовалось больше года, чтобы её написать, её внимательно прочли многие из самых светлых умов в моей области, прежде чем она наконец прошла рецензирование и была опубликована в крупном журнале.

Через девять минут сорок секунд у меня была очень подробная критика. Это была не просто редакторская правка — GPT-5 Pro, судя по всему, провела собственные эксперименты с помощью кода, чтобы проверить мои результаты, включая анализ методом Монте-Карло и переинтерпретацию фиксированных эффектов в моих статистических моделях. В результате у неё было множество предложений (хотя, к счастью, она заключила, что «основное утверждение [моей статьи] выдерживает проверку»), но одно выделялось. Она нашла небольшую ошибку, ранее не замеченную. Ошибка касалась двух разных наборов чисел в двух таблицах, которые были связаны способами, явно не прописанными мной в статье. ИИ нашёл эту мелкую ошибку — раньше этого не делал никто.

И снова я остался с проблемой волшебника: верно ли это? Я перепроверил результаты и обнаружил, что да, но я по-прежнему понятия не имею, что именно сделал ИИ, чтобы обнаружить эту проблему, как и о том, действительно ли остальное, что он якобы сделал, происходило так, как описано. Но я был впечатлён анализом GPT-5 Pro, и поэтому теперь я подкидываю модели всевозможные задачи, большие и малые: реален ли цикл хайпа Gartner? Показывали ли данные переписи снижение использования ИИ в крупных компаниях? Просто спросите GPT-5 Pro и получите правильный ответ. Думаю. Я пока не нашёл ошибки, но это не значит, что их нет. И, разумеется, есть множество других задач, по которым ИИ не смог бы выдать сколько-нибудь хорошего ответа. Кто их знает, этих волшебников?

Чтобы увидеть, как это вскоре может применяться к работе в более широком смысле, рассмотрим другой продвинутый ИИ — Claude 4.1 Opus, который недавно получил способность работать с файлами. Он особенно талантлив в Excel, поэтому я дал ему трудное задание на хорошо знакомом мне Excel-файле. Есть упражнение, которое я использовал на своих курсах по предпринимательству: оно связано с анализом финансовой модели небольшого производителя письменных столов и служит уроком о том, как планировать в условиях неопределённости. Я дал Claude старый многовкладочный Excel-файл и попросил ИИ обновить его под новый бизнес — сырную лавку, — сохранив при этом цель всего упражнения.

Имея лишь это указание, он прочитал план урока и старые таблицы, включая их формулы, и создал новую, обновив всю информацию так, чтобы она подходила сырной лавке. Через несколько минут, всего по одному запросу, у меня на компьютере была скачана новая, преобразованная таблица — с полностью новыми данными, но по-прежнему доносящая ключевой урок.

И снова волшебник не раскрыл мне секрет своих трюков, так что мне пришлось внимательно перепроверить результаты. Насколько я увидел, они выглядели очень хорошо, сохраняя уроки в новом контексте. Я действительно заметил несколько моментов в формулах и бизнес-моделировании, которые сделал бы иначе (например, я бы взял меньше рабочих дней в году), но это ощущалось скорее как расхождение во мнениях, чем как существенная ошибка.

Из любопытства, насколько далеко может зайти Claude, и поскольку все всегда спрашивают меня, умеет ли ИИ делать PowerPoint, я также написал: «отлично, теперь сделай хорошую презентацию PowerPoint для этого бизнеса» — и получил следующий результат.

Это вполне солидное начало питч-дека, причём без каких-либо серьёзных ошибок, но и не готовое к использованию. Это подчёркивает зубчатую границу ИИ: он очень хорош в одних вещах и хуже в других так, что без опыта это трудно предсказать. Я показывал вам примеры внутри постоянно расширяющейся границы возможностей ИИ, но это не значит, что ИИ может делать всё с одинаковой лёгкостью. Однако в этом посте мой фокус не столько на расширяющемся диапазоне способностей ИИ, сколько на наших меняющихся отношениях с ИИ.

Проблемы с волшебниками

Эти новые системы ИИ по сути являются агентами — ИИ, который может планировать и действовать автономно ради поставленных целей. Когда я попросил Claude изменить мою таблицу, он спланировал шаги и выполнил их — от чтения исходной таблицы до написания кода для новой. Но он ещё и подстраивался под неожиданные ошибки, дважды исправляя таблицу (без моей просьбы) и многократно проверяя свои ответы. Я не мог выбирать эти шаги — более того, в новой волне агентов, работающих на обучении с подкреплением, шаги не выбирает никто: модели сами вырабатывают свой подход к решению задач.

Я не только не могу вмешаться — я ещё и не могу быть полностью уверен в том, что на самом деле сделала система ИИ. Шаги, о которых сообщил Claude, — лишь сводки его работы, GPT-5 Pro даёт ещё меньше информации, а NotebookLM почти совсем не даёт представления о своём процессе создания видео. Но даже если бы я мог видеть шаги, мне пришлось бы быть экспертом во многих областях — от программирования до предпринимательства, — чтобы по-настоящему понимать, что делал ИИ. И затем, разумеется, встаёт вопрос точности. Как я могу понять, точен ли ИИ, не проверив каждый факт? И даже если факты верны, возможно, я бы иначе рассудил, как их подать или подать в каком ключе. Но я ничего не могу сделать, потому что волшебники не хотят моей помощи и работают скрытными способами, которые даже сами не могут объяснить.

Сложность в том, что результаты хороши. Очень хороши. Я эксперт во всех трёх задачах, которые дал ИИ в этом посте, и не увидел никаких фактических ошибок ни в одном из этих результатов, хотя были некоторые мелкие ошибки форматирования и решения, которые я принял бы иначе. Разумеется, я не могу на самом деле сказать вам, что документы свободны от ошибок, не проверив каждую деталь. Иногда это занимает куда меньше времени, чем сделать работу самому, иногда — куда больше. Иногда работа ИИ настолько изощрённа, что вы не смогли бы её проверить, даже если бы попытались. И это указывает на ещё один риск, о котором мы говорим недостаточно: каждый раз, отдавая работу волшебнику, мы теряем возможность развить собственную экспертизу — выработать то самое суждение, которое нам нужно, чтобы оценивать работу волшебника.

Но я возвращаюсь к неизбежной мысли: результаты хороши, по крайней мере в этих случаях. Это то, чего я ожидал бы от аспиранта, проработавшего пару часов (или больше — в случае повторного анализа моей статьи), только получил я их за минуты.

В этом и проблема с волшебниками: мы получаем нечто волшебное, но при этом становимся зрителями, а не фокусником — и даже не ассистентом фокусника. В модели со-интеллекта мы направляли, исправляли и сотрудничали. Всё чаще мы пишем запрос, ждём и проверяем… если можем.

Так что же нам делать с нашими волшебниками? Думаю, нам нужно выработать новую грамотность. Во-первых, научиться понимать, когда призывать волшебника, когда работать с ИИ как с со-интеллектом, а когда не использовать ИИ вовсе. ИИ далёк от совершенства, и в областях, где он по-прежнему не дотягивает, люди часто преуспевают. Но для растущего числа задач, где ИИ полезен, со-интеллект и требуемый им обмен туда-сюда нередко превосходят машину в одиночку. И всё же всё чаще бывают моменты, когда лучше всего призвать волшебника и просто довериться тому, что он наколдует.

Во-вторых, нам нужно стать ценителями результата, а не процесса. Нам нужно курировать и отбирать среди результатов, которые предоставляет ИИ, но, более того, нам нужно работать с ИИ достаточно, чтобы выработать чутьё на то, когда он преуспевает, а когда терпит неудачу. Мы должны научиться судить, что верно, что не так, а что стоит риска неведения. Это создаёт трудную проблему для образования: как научить кого-то проверять работу в областях, которыми он не овладел, если сам ИИ мешает ему достичь этого мастерства? Понять, как закрыть этот разрыв, становится всё более насущной задачей.

Наконец, примите условное доверие. Модель волшебника означает, что нам чаще приходится работать с «достаточно хорошим» — не потому, что мы снижаем планку, а потому, что идеальная проверка становится невозможной. Вопрос не в том, «абсолютно ли это верно?», а в том, «достаточно ли это полезно для данной цели?»

Мы уже привыкли доверять технологической магии. Каждый раз, когда мы используем GPS, не понимая маршрута, или позволяем алгоритму определять, что мы видим, мы доверяем волшебнику иного рода. Но есть принципиальная разница. Когда GPS подводит, я быстро это обнаруживаю, упёршись в тупик. Когда Netflix рекомендует не тот фильм, я просто его не смотрю. Но когда ИИ анализирует моё исследование или преобразует мою таблицу, чем лучше он становится, тем труднее понять, ошибается ли он. Парадокс работы с ИИ-волшебниками в том, что компетентность и непрозрачность растут вместе. Эти инструменты нужны нам сильнее всего как раз для тех задач, где мы менее всего способны их проверить. Это старый урок из сказок: чем лучше магия, тем глубже тайна. Мы продолжим призывать наших волшебников, проверять то, что сможем, и надеяться, что заклинания сработают. При девяти минутах на анализ, стоивший бы недели работы, как же иначе? Добро пожаловать в эпоху волшебников.

Поделиться