On Working with Wizards
Этан Моллик утверждает, что природа работы с ИИ меняется: если в его книге «Co-Intelligence» человек выступал партнёром, который правит ошибки и направляет ИИ, то теперь мы переходим от сотрудничества к «вызыванию волшебства» — становимся зрителями, получающими готовый результат. Он приводит три примера: NotebookLM сделал видеообзор по его книге и 140 постам (все факты, включая данные MMLU и результаты экзамена по нейрохирургии, оказались верны), GPT-5 Pro за 9 минут 40 секунд раскритиковал его диссертационную работу и нашёл мелкую ошибку, которую раньше никто не замечал, а Claude 4.1 Opus переделал Excel-модель бизнеса и собрал презентацию. Проблема «волшебника» в том, что процесс непрозрачен: пользователь не знает, как ИИ принимал решения, и не может проверить всё без экспертизы. Моллик предупреждает, что чем лучше становится ИИ, тем труднее заметить его ошибки — компетентность и непрозрачность растут вместе. Он предлагает новую грамотность: понимать, когда вызывать «волшебника», а когда работать с ИИ как с со-интеллектом; становиться ценителями результата, а не процесса; и принимать «условное доверие», оценивая не идеальную правильность, а достаточную полезность.
On Working with Wizards
О работе с волшебниками
Verifying magic on the jagged frontier
Проверяя магию на зубчатой границе
In my book, Co-Intelligence, I outlined a way that people could work with AI, which was, rather unsurprisingly, as a co-intelligence. Teamed with a chatbot, humans could use AI as a sort of intern or co-worker, correcting its errors, checking its work, co-developing ideas, and guiding it in the right direction. Over the past few weeks, I have come to believe that co-intelligence is still important but that the nature of AI is starting to point in a different direction. We're moving from partners to audience, from collaboration to conjuring.
В моей книге Co-Intelligence я описал способ, которым люди могли бы работать с ИИ — что неудивительно, как с со-интеллектом. В связке с чат-ботом человек мог использовать ИИ как своего рода стажёра или коллегу: исправлять его ошибки, проверять его работу, совместно развивать идеи и направлять его в нужную сторону. За последние несколько недель я пришёл к убеждению, что со-интеллект по-прежнему важен, но природа ИИ начинает указывать в другом направлении. Мы движемся от партнёров к зрителям, от сотрудничества к заклинанию.
A good way to illustrate this change is to ask an AI to explain what has happened since I wrote the book. I fed my book and all 140 or so One Useful Thing posts (incidentally, I can’t believe I have written that many posts!) into NotebookLM and chose the new video overview option with a basic prompt to make a video about what has happened in the world of AI.
Хороший способ проиллюстрировать это изменение — попросить ИИ объяснить, что произошло с тех пор, как я написал книгу. Я загрузил свою книгу и все 140 с лишним постов One Useful Thing (кстати, не могу поверить, что написал столько постов!) в NotebookLM и выбрал новую опцию видеообзора с простым запросом сделать видео о том, что произошло в мире ИИ.
A few minutes later, I got this. And it is pretty good. Good enough that I think it is worth watching to get an update on what has happened since my book was written.
Через несколько минут я получил вот это. И это весьма неплохо. Достаточно хорошо, чтобы, думаю, стоило посмотреть и получить сводку о том, что произошло с момента написания моей книги.
But how did the AI pick the points it made? I don’t know, but they were pretty good. How did it decide on the slides to use? I don’t know, but they were also pretty on target (though images remain a bit of a weak point, as it didn’t show me the promised otter). Was it right? That seemed like something I should check.
Но как ИИ выбрал те тезисы, которые сделал? Не знаю, но они были вполне хороши. Как он решил, какие слайды использовать? Не знаю, но они тоже были вполне в точку (хотя изображения остаются слабым местом — обещанную выдру он мне так и не показал). Было ли это верно? Это показалось мне тем, что стоит проверить.
So, I went through the video several times, checking all the facts. It got all the numbers right, including the data on MMLU scores and the results of AI performance on the neurosurgery exam data (I am not even sure when I cited that material). My only real issue was that it should have noted that I was one of several co-authors in our study of Boston Consulting Group that also introduced the term “jagged frontier.” Also, I wouldn’t have said everything the way the AI did (it was a little bombastic, and my book is not out-of-date yet!), but there were no substantive errors.
Итак, я несколько раз пересмотрел видео, проверяя все факты. Все цифры были верны, включая данные о баллах MMLU и результаты ИИ на экзамене по нейрохирургии (я даже не уверен, когда я цитировал этот материал). Единственная моя реальная претензия в том, что следовало бы отметить, что я был одним из нескольких соавторов нашего исследования Boston Consulting Group, в котором также был введён термин «зубчатая граница» (jagged frontier). Кроме того, я бы не сформулировал всё так, как это сделал ИИ (вышло немного напыщенно, а моя книга ещё не устарела!), но никаких существенных ошибок не было.
I think this process is typical of the new wave of AI, for an increasing range of complex tasks, you get an amazing and sophisticated output in response to a vague request, but you have no part in the process. You don’t know how the AI made the choices it made, nor can you confirm that everything is completely correct. We're shifting from being collaborators who shape the process to being supplicants who receive the output. It is a transition from working with a co-intelligence to working with a wizard. Magic gets done, but we don’t always know what to do with the results. This pattern — impressive output, opaque process — becomes even more pronounced with research tasks.
Думаю, этот процесс типичен для новой волны ИИ: для всё более широкого круга сложных задач вы получаете поразительный и изощрённый результат в ответ на расплывчатый запрос, но сами в процессе не участвуете. Вы не знаете, как ИИ сделал тот выбор, который сделал, и не можете подтвердить, что всё абсолютно верно. Мы смещаемся от роли соавторов, формирующих процесс, к роли просителей, получающих результат. Это переход от работы с со-интеллектом к работе с волшебником. Магия творится, но мы не всегда знаем, что делать с её плодами. Этот паттерн — впечатляющий результат, непрозрачный процесс — становится ещё заметнее в исследовательских задачах.
Asking for Magic
Прося о магии
Right now, no AI model feels more like a wizard than GPT-5 Pro, which is only accessible to paying users. GPT-5 Pro is capable of some frankly amazing feats. For example, I gave it an academic paper to read with the instructions “critique the methods of this paper, figure out better methods and apply them.” This was not just any paper, it was my job market paper, which means my first major work as an academic. It took me over a year to write and was read carefully by many of the brightest people in my field before finally being peer reviewed and published in a major journal.
Прямо сейчас ни одна модель ИИ не ощущается настолько волшебником, как GPT-5 Pro, доступная только платным пользователям. GPT-5 Pro способна на откровенно поразительные подвиги. Например, я дал ей прочитать академическую статью с указанием: «раскритикуй методы этой статьи, придумай методы получше и примени их». Это была не просто какая-то статья — это была моя job market paper, то есть моя первая крупная работа как учёного. Мне потребовалось больше года, чтобы её написать, её внимательно прочли многие из самых светлых умов в моей области, прежде чем она наконец прошла рецензирование и была опубликована в крупном журнале.
Nine minutes and forty seconds later, I had a very detailed critique. This wasn’t just editorial criticism, GPT-5 Pro apparently ran its own experiments using code to verify my results, including doing Monte Carlo analysis and re-interpreting the fixed effects in my statistical models. It had many suggestions as a result (though it fortunately concluded that “the headline claim [of my paper] survives scrutiny”), but one stood out. It found a small error, previously unnoticed. The error involved two different sets of numbers in two tables that were linked in ways I did not explicitly spell out in my paper. The AI found the minor error, no one ever had before.
Через девять минут сорок секунд у меня была очень подробная критика. Это была не просто редакторская правка — GPT-5 Pro, судя по всему, провела собственные эксперименты с помощью кода, чтобы проверить мои результаты, включая анализ методом Монте-Карло и переинтерпретацию фиксированных эффектов в моих статистических моделях. В результате у неё было множество предложений (хотя, к счастью, она заключила, что «основное утверждение [моей статьи] выдерживает проверку»), но одно выделялось. Она нашла небольшую ошибку, ранее не замеченную. Ошибка касалась двух разных наборов чисел в двух таблицах, которые были связаны способами, явно не прописанными мной в статье. ИИ нашёл эту мелкую ошибку — раньше этого не делал никто.
Again, I was left with the wizard problem: was this right? I checked through the results, and found that it was, but I still have no idea of what the AI did to discover this problem, nor whether the other things it claimed to have done happened as described. But I was impressed by GPT-5 Pro’s analysis, which is why I now throw all sorts of problems, big and small at the model: Is the Gartner hype cycle real? Did census data show AI use declining at large firms? Just ask GPT-5 Pro and get the right answer. I think. I haven’t found an error yet, but that doesn’t mean there aren’t any. And, of course, there are many other tasks that the AI would fail to deliver any sort of good answer for. Who knows with wizards?
И снова я остался с проблемой волшебника: верно ли это? Я перепроверил результаты и обнаружил, что да, но я по-прежнему понятия не имею, что именно сделал ИИ, чтобы обнаружить эту проблему, как и о том, действительно ли остальное, что он якобы сделал, происходило так, как описано. Но я был впечатлён анализом GPT-5 Pro, и поэтому теперь я подкидываю модели всевозможные задачи, большие и малые: реален ли цикл хайпа Gartner? Показывали ли данные переписи снижение использования ИИ в крупных компаниях? Просто спросите GPT-5 Pro и получите правильный ответ. Думаю. Я пока не нашёл ошибки, но это не значит, что их нет. И, разумеется, есть множество других задач, по которым ИИ не смог бы выдать сколько-нибудь хорошего ответа. Кто их знает, этих волшебников?
To see how this might soon apply to work more broadly, consider another advanced AI, Claude 4.1 Opus, which recently gained the ability to work with files. It is especially talented at Excel, so I gave it a hard challenge on an Excel file I knew well. There is an exercise I used in my entrepreneurship classes that involves analyzing the financial model of a small desk manufacturing business as a lesson about how to plan despite uncertainty. I gave Claude the old, multi-tab Excel file, and asked the AI to update it for a new business - a cheese shop - while still maintaining the goal of the overall exercise.
Чтобы увидеть, как это вскоре может применяться к работе в более широком смысле, рассмотрим другой продвинутый ИИ — Claude 4.1 Opus, который недавно получил способность работать с файлами. Он особенно талантлив в Excel, поэтому я дал ему трудное задание на хорошо знакомом мне Excel-файле. Есть упражнение, которое я использовал на своих курсах по предпринимательству: оно связано с анализом финансовой модели небольшого производителя письменных столов и служит уроком о том, как планировать в условиях неопределённости. Я дал Claude старый многовкладочный Excel-файл и попросил ИИ обновить его под новый бизнес — сырную лавку, — сохранив при этом цель всего упражнения.
With just that instruction, it read the lesson plan and the old spreadsheets, including their formulas, and created a new one, updating all of the information to be appropriate for a cheese shop. A few minutes later, with just the one prompt, I had a new, transformed spreadsheet downloaded on my computer, one that had entirely new data while still communicating the key lesson.
Имея лишь это указание, он прочитал план урока и старые таблицы, включая их формулы, и создал новую, обновив всю информацию так, чтобы она подходила сырной лавке. Через несколько минут, всего по одному запросу, у меня на компьютере была скачана новая, преобразованная таблица — с полностью новыми данными, но по-прежнему доносящая ключевой урок.
Again, the wizard didn’t tell me the secret to its tricks, so I had to check the results over carefully. From what I saw, they seemed very good, preserving the lessons in a new context. I did spot a few issues in the formula and business modelling that I would do differently (I would have had fewer business days per year, for example), but that felt more like a difference of opinion than a substantive error.
И снова волшебник не раскрыл мне секрет своих трюков, так что мне пришлось внимательно перепроверить результаты. Насколько я увидел, они выглядели очень хорошо, сохраняя уроки в новом контексте. Я действительно заметил несколько моментов в формулах и бизнес-моделировании, которые сделал бы иначе (например, я бы взял меньше рабочих дней в году), но это ощущалось скорее как расхождение во мнениях, чем как существенная ошибка.
Curious to see how far Claude could go, and since everyone always asks me whether AI can do PowerPoint, I also prompted: “great, now make a good PowerPoint for this business” and got the following result.
Из любопытства, насколько далеко может зайти Claude, и поскольку все всегда спрашивают меня, умеет ли ИИ делать PowerPoint, я также написал: «отлично, теперь сделай хорошую презентацию PowerPoint для этого бизнеса» — и получил следующий результат.
This is a pretty solid start to a pitch deck, and one without any major errors, but it also isn’t ready-to-go. This emphasizes the jagged frontier of AI: it is very good at some things and worse at others in ways that are hard to predict without experience. I have been showing you examples within the ever-expanding frontier of AI abilities, but that doesn’t mean that AI can do everything with equal ease. But my focus is less on the expanding range of AI ability in this post, than about our changing relationships with AIs.
Это вполне солидное начало питч-дека, причём без каких-либо серьёзных ошибок, но и не готовое к использованию. Это подчёркивает зубчатую границу ИИ: он очень хорош в одних вещах и хуже в других так, что без опыта это трудно предсказать. Я показывал вам примеры внутри постоянно расширяющейся границы возможностей ИИ, но это не значит, что ИИ может делать всё с одинаковой лёгкостью. Однако в этом посте мой фокус не столько на расширяющемся диапазоне способностей ИИ, сколько на наших меняющихся отношениях с ИИ.
The Problems with Wizards
Проблемы с волшебниками
These new AI systems are essentially agents, AI that can plan and act autonomously toward given goals. When I asked Claude to change my spreadsheet, it planned out steps and executed them, from reading the original spreadsheet to coding up a new one. But it also adjusted to unexpected errors, twice fixing the spreadsheet (without me asking) and verifying its answers multiple times. I didn’t get to select these steps, in fact, in the new wave of agents powered by reinforcement learning, no one selects the steps, the models learn their own approach to solving problems.
Эти новые системы ИИ по сути являются агентами — ИИ, который может планировать и действовать автономно ради поставленных целей. Когда я попросил Claude изменить мою таблицу, он спланировал шаги и выполнил их — от чтения исходной таблицы до написания кода для новой. Но он ещё и подстраивался под неожиданные ошибки, дважды исправляя таблицу (без моей просьбы) и многократно проверяя свои ответы. Я не мог выбирать эти шаги — более того, в новой волне агентов, работающих на обучении с подкреплением, шаги не выбирает никто: модели сами вырабатывают свой подход к решению задач.
Not only can I not intervene, I also cannot be entirely sure what the AI system actually did. The steps that Claude reported are mere summaries of its work, GPT-5 Pro provides even less information, while NotebookLM gives you almost no insights at all into its process in creating a video. Even if I could see the steps, however, I would need to be an expert in many fields - from coding to entrepreneurship - to really have a sense of what the AI was doing. And then, of course, there is the question of accuracy. How can I tell if the AI is accurate without checking every fact? And even if the facts are right, maybe I would have made a different judgement about how to present or frame them. But I can’t do anything, because wizards don’t want my help and work in secretive ways that even they can’t explain.
Я не только не могу вмешаться — я ещё и не могу быть полностью уверен в том, что на самом деле сделала система ИИ. Шаги, о которых сообщил Claude, — лишь сводки его работы, GPT-5 Pro даёт ещё меньше информации, а NotebookLM почти совсем не даёт представления о своём процессе создания видео. Но даже если бы я мог видеть шаги, мне пришлось бы быть экспертом во многих областях — от программирования до предпринимательства, — чтобы по-настоящему понимать, что делал ИИ. И затем, разумеется, встаёт вопрос точности. Как я могу понять, точен ли ИИ, не проверив каждый факт? И даже если факты верны, возможно, я бы иначе рассудил, как их подать или подать в каком ключе. Но я ничего не могу сделать, потому что волшебники не хотят моей помощи и работают скрытными способами, которые даже сами не могут объяснить.
The hard thing about this is that the results are good. Very good. I am an expert in the three tasks I gave AI in this post, and I did not see any factual errors in any of these outputs, though there were some minor formatting errors and choices I would have made differently. Of course, I can’t actually tell you if the documents are error-free without checking every detail. Sometimes that takes far less time than doing the work yourself, sometimes it takes a lot more. Sometimes the AI’s work is so sophisticated that you couldn’t check it if you tried. And that suggests another risk we don't talk about enough: every time we hand work to a wizard, we lose a chance to develop our own expertise, to build the very judgment we need to evaluate the wizard's work.
Сложность в том, что результаты хороши. Очень хороши. Я эксперт во всех трёх задачах, которые дал ИИ в этом посте, и не увидел никаких фактических ошибок ни в одном из этих результатов, хотя были некоторые мелкие ошибки форматирования и решения, которые я принял бы иначе. Разумеется, я не могу на самом деле сказать вам, что документы свободны от ошибок, не проверив каждую деталь. Иногда это занимает куда меньше времени, чем сделать работу самому, иногда — куда больше. Иногда работа ИИ настолько изощрённа, что вы не смогли бы её проверить, даже если бы попытались. И это указывает на ещё один риск, о котором мы говорим недостаточно: каждый раз, отдавая работу волшебнику, мы теряем возможность развить собственную экспертизу — выработать то самое суждение, которое нам нужно, чтобы оценивать работу волшебника.
But I come back to the inescapable point that the results are good, at least in these cases. They are what I would expect from a graduate student working for a couple hours (or more, in the case of the re-analysis of my paper), except I got them in minutes.
Но я возвращаюсь к неизбежной мысли: результаты хороши, по крайней мере в этих случаях. Это то, чего я ожидал бы от аспиранта, проработавшего пару часов (или больше — в случае повторного анализа моей статьи), только получил я их за минуты.
This is the issue with wizards: We're getting something magical, but we're also becoming the audience rather than the magician, or even the magician's assistant. In the co-intelligence model, we guided, corrected, and collaborated. Increasingly, we prompt, wait, and verify… if we can.
В этом и проблема с волшебниками: мы получаем нечто волшебное, но при этом становимся зрителями, а не фокусником — и даже не ассистентом фокусника. В модели со-интеллекта мы направляли, исправляли и сотрудничали. Всё чаще мы пишем запрос, ждём и проверяем… если можем.
So what do we do with our wizards? I think we need to develop a new literacy: First, learn when to summon the wizard versus when to work with AI as a co-intelligence or to not use AI at all. AI is far from perfect, and in areas where it still falls short, humans often succeed. But for the increasing number of tasks where AI is useful, co-intelligence, and the back-and-forth it requires, is often superior to a machine alone. Yet, there are, increasingly, times when summoning a wizard is best, and just trusting what it conjures.
Так что же нам делать с нашими волшебниками? Думаю, нам нужно выработать новую грамотность. Во-первых, научиться понимать, когда призывать волшебника, когда работать с ИИ как с со-интеллектом, а когда не использовать ИИ вовсе. ИИ далёк от совершенства, и в областях, где он по-прежнему не дотягивает, люди часто преуспевают. Но для растущего числа задач, где ИИ полезен, со-интеллект и требуемый им обмен туда-сюда нередко превосходят машину в одиночку. И всё же всё чаще бывают моменты, когда лучше всего призвать волшебника и просто довериться тому, что он наколдует.
Second, we need to become connoisseurs of output rather than process. We need to curate and select among the outputs the AI provides, but more than that, we need to work with AI enough to develop instincts for when it succeeds and when it fails. We have to learn to judge what's right, what's off, and what's worth the risk of not knowing. This creates a hard problem for education: How do you train someone to verify work in fields they haven't mastered, when the AI itself prevents them from developing mastery? Figuring out how to address this gap is increasingly urgent.
Во-вторых, нам нужно стать ценителями результата, а не процесса. Нам нужно курировать и отбирать среди результатов, которые предоставляет ИИ, но, более того, нам нужно работать с ИИ достаточно, чтобы выработать чутьё на то, когда он преуспевает, а когда терпит неудачу. Мы должны научиться судить, что верно, что не так, а что стоит риска неведения. Это создаёт трудную проблему для образования: как научить кого-то проверять работу в областях, которыми он не овладел, если сам ИИ мешает ему достичь этого мастерства? Понять, как закрыть этот разрыв, становится всё более насущной задачей.
Finally, embrace provisional trust. The wizard model means working with “good enough” more often, not because we're lowering standards, but because perfect verification is becoming impossible. The question isn't “Is this completely correct?” but “Is this useful enough for this purpose?”
Наконец, примите условное доверие. Модель волшебника означает, что нам чаще приходится работать с «достаточно хорошим» — не потому, что мы снижаем планку, а потому, что идеальная проверка становится невозможной. Вопрос не в том, «абсолютно ли это верно?», а в том, «достаточно ли это полезно для данной цели?»
We are already used to trusting technological magic. Every time we use GPS without understanding the route, or let an algorithm determine what we see, we're trusting a different type of wizard. But there's a crucial difference. When GPS fails, I find out quickly when I reach a dead end. When Netflix recommends the wrong movie, I just don't watch it. But when AI analyzes my research or transforms my spreadsheet, the better it gets, the harder it becomes to know if it's wrong. The paradox of working with AI wizards is that competence and opacity rise together. We need these tools most for the tasks where we're least able to verify them. It’s the old lesson from fairy tales: the better the magic, the deeper the mystery. We'll keep summoning our wizards, checking what we can, and hoping the spells work. At nine minutes for a week's worth of analysis, how could we not? Welcome to the age of wizards.
Мы уже привыкли доверять технологической магии. Каждый раз, когда мы используем GPS, не понимая маршрута, или позволяем алгоритму определять, что мы видим, мы доверяем волшебнику иного рода. Но есть принципиальная разница. Когда GPS подводит, я быстро это обнаруживаю, упёршись в тупик. Когда Netflix рекомендует не тот фильм, я просто его не смотрю. Но когда ИИ анализирует моё исследование или преобразует мою таблицу, чем лучше он становится, тем труднее понять, ошибается ли он. Парадокс работы с ИИ-волшебниками в том, что компетентность и непрозрачность растут вместе. Эти инструменты нужны нам сильнее всего как раз для тех задач, где мы менее всего способны их проверить. Это старый урок из сказок: чем лучше магия, тем глубже тайна. Мы продолжим призывать наших волшебников, проверять то, что сможем, и надеяться, что заклинания сработают. При девяти минутах на анализ, стоивший бы недели работы, как же иначе? Добро пожаловать в эпоху волшебников.
