The Lazy Tyranny of the Wait Calculation
Этан Моллик применяет концепцию Wait Calculation (расчёт ожидания) к ИИ: иногда выгоднее подождать, пока технология улучшится, чем браться за дело сейчас. Он приводит примеры из собственного опыта — игра Breakthrough Game с дизайнером Justin Gary и проект Wharton Interactive, — где GPT-4 неожиданно превзошёл людей в инновациях и сделал часть работы тривиальной. Ключевые вопросы: насколько хорошим станет ИИ и как быстро. Sam Altman утверждает, что GPT-5 устранит большинство ограничений GPT-4, а рынки предсказаний дают «слабый» AGI через два года и полный AGI в течение десяти лет. Автор предлагает учитывать сроки проекта, потенциал ИИ, но также помнить о ловушках: отказ от действий лишает обучения, внутренней мотивации и может оказаться ошибкой, если прогресс замедлится. Перед запуском нового проекта стоит спросить себя: время прыгать или время ждать?
The Lazy Tyranny of the Wait Calculation
Ленивая тирания Wait Calculation
Taking AI timelines seriously
Серьёзно относимся к таймлайнам ИИ
Say you wanted to get to our stellar neighbor, Barnard’s Star as fast as possible. When should you leave?
Допустим, вы хотите как можно быстрее добраться до нашего звёздного соседа — звезды Барнарда. Когда вам стоит отправляться в путь?
You might be tempted to answer “as soon as you can,” but you should reconsider. Using today’s rocket technology, this six light year journey would take 12,000 years. The catch here is 'today's rocket technology.' A theoretically possible fusion-powered spaceship could make the trip in less than fifty. Given enough time (and avoiding apocalypse or collapse), humanity will likely develop that new fusion drive. That changes the equation, You don’t want to be the person who set out on a 12,000 year voyage (or more likely their great-great-great-and-so-on grandchild, born aboard the ship), only to be passed by a flurry of rockets launched 11,950 years after your departure, piloted by people whose ancestors lived comfortably on Earth the entire time. Better to be lazy and wait for technology to improve before ever setting out into the stars.
Возможно, вам захочется ответить «как можно скорее», но стоит подумать ещё раз. На сегодняшних ракетных технологиях это шестилетнее (в световых годах) путешествие заняло бы 12 000 лет. Но загвоздка именно в «сегодняшних ракетных технологиях». Теоретически возможный космический корабль с термоядерным двигателем мог бы преодолеть это расстояние менее чем за пятьдесят лет. При достаточном времени (и при условии, что не случится апокалипсиса или коллапса) человечество, скорее всего, разработает этот новый термоядерный двигатель. А это меняет уравнение: вам не захочется быть тем человеком, который отправился в путь длиной в 12 000 лет (точнее, его пра-пра-пра-…-внуком, рождённым на борту корабля), только чтобы его обогнала стая ракет, запущенных через 11 950 лет после его старта, с экипажами, чьи предки всё это время комфортно жили на Земле. Лучше полениться и подождать, пока технология улучшится, прежде чем вообще отправляться к звёздам.
When technology is improving quickly enough, there are types of problems that work just like the interstellar journey, where waiting for technology to get better beats acting immediately. This is called a Wait Calculation, and it was first used for the Barnard’s Star scenario, but the logic also turns out to apply to other problems as well. For example, there are certain classes of mathematical problems where the computations would take decades, so you are better off waiting for Moore’s Law to kick in, and computers to improve, before even starting to try to solve them.
Когда технология развивается достаточно быстро, существуют классы задач, которые ведут себя ровно как межзвёздное путешествие: ждать улучшения технологии выгоднее, чем действовать немедленно. Это называется Wait Calculation (расчёт ожидания), и впервые этот подход применили к сценарию со звездой Барнарда, но та же логика подходит и к другим задачам. Например, есть классы математических задач, вычисления для которых заняли бы десятилетия, поэтому лучше подождать, пока сработает закон Мура и компьютеры станут быстрее, прежде чем вообще браться за их решение.
Which brings us to AI. AI has all the characteristics of a technology that requires a Wait Calculation. It is growing in capabilities at a better-than-exponential pace (though the pace of AI remains hard to measure), and it is capable of doing, or helping with, a wide variety of tasks. If you are planning on writing a novel, or building an AI software solution at your business, or writing an academic paper, or launching a startup should you just… wait? I can think of at least two major projects where I should have waited, if I had known how good AI was going to get.
И тут мы подходим к ИИ. ИИ обладает всеми признаками технологии, требующей Wait Calculation. Его возможности растут быстрее, чем по экспоненте (хотя темп ИИ по-прежнему сложно измерить), и он способен делать или помогать делать огромное количество задач. Если вы планируете писать роман, или строить ИИ-решение для своего бизнеса, или писать научную статью, или запускать стартап — стоит ли вам просто… подождать? Я могу назвать как минимум два крупных проекта, с которыми мне следовало бы подождать, если бы я знал, насколько хорошим станет ИИ.
We could have waited
Мы могли бы подождать
I have spent much of the last decade or so trying to build games to help people learn and innovate. And all of that work suddenly became compressed, warped, and accelerated as a result of the release of ChatGPT and its successors last year. The teams I worked with did valuable research, and the effort produced teaching experiences with real impact, but, at some point, if we could have anticipated the evolution of AI, we could have waited.
Я провёл большую часть последнего десятилетия, пытаясь создавать игры, которые помогают людям учиться и придумывать новое. И вся эта работа внезапно оказалась сжата, искажена и ускорена в результате выхода ChatGPT и его преемников в прошлом году. Команды, с которыми я работал, провели ценные исследования, и наши усилия породили учебные опыты с реальным эффектом, — но в какой-то момент, если бы мы могли предвидеть эволюцию ИИ, мы могли бы подождать.
Take one example: I worked with award-winning board game designer Justin Gary (who has his own Substack on game design) to build a game to walk teams through the complex process of innovation - basically building convergent and divergent thinking into a game teams could play together. The Breakthrough Game worked really well, and teams often generated a dozen or more good ideas over the course of an hour of play. Buoyed by the initial success, Justin and I spoke frequently to consider how to build an improved version.
Возьмём один пример: я работал с отмеченным наградами дизайнером настольных игр Justin Gary (у него есть собственный Substack о дизайне игр), чтобы создать игру, которая проводит команды через сложный процесс инноваций, — по сути, встраивая в игру конвергентное и дивергентное мышление, чтобы команды могли играть в неё вместе. The Breakthrough Game работала отлично, и за час игры команды часто рождали десяток и более хороших идей. Воодушевлённые первоначальным успехом, мы с Justin часто обсуждали, как создать улучшенную версию.
We could have waited.
Мы могли бы подождать.
GPT-4 came along and, unexpectedly, it beat most humans at innovation. Instead of building a new version of the game, I tried cutting the humans out of the loop. I put together a GPT that takes the AI through convergent and divergent “thinking” processes and just gives you a Word document with a list of a few dozen potential ideas in a couple of minutes. It is free, and anyone can use it (over a thousand people have in the last couple of days)1
Появился GPT-4 и неожиданно обошёл большинство людей в инновациях. Вместо того чтобы строить новую версию игры, я попробовал убрать людей из контура. Я собрал GPT, который проводит ИИ через процессы конвергентного и дивергентного «мышления» и просто выдаёт вам Word-документ со списком из нескольких десятков потенциальных идей за пару минут. Он бесплатный, и им может воспользоваться любой (тысяча с лишним человек уже сделали это за последние пару дней)1
A problem that seemed insolvable by computers was suddenly easy to do with AI, altering a major project. And this wasn’t the only time. Over nearly a decade, I have been helping build Wharton Interactive, where I have been working with a team of talented people spending building games and simulations to teach key business skills. Each game took a tremendous amount of time and work, so we spent a huge amount of effort developing toolkits to make it easier for people to create pedagogically-grounded teaching games.
Задача, которая казалась неразрешимой для компьютеров, внезапно стала легко решаемой с помощью ИИ, изменив крупный проект. И это был не единственный случай. На протяжении почти десяти лет я помогал строить Wharton Interactive, где работал с командой талантливых людей, тратя время на создание игр и симуляций для обучения ключевым деловым навыкам. Каждая игра требовала колоссального объёма времени и труда, поэтому мы вложили огромные усилия в разработку инструментариев, которые позволили бы людям легче создавать педагогически обоснованные обучающие игры.
We could have waited.
Мы могли бы подождать.
Now, we can build simulations with prompts that accomplish a huge amount of what we needed elaborate custom software to accomplish. For example, here is a free negotiation tutor GPT we developed, it integrates instruction and simulation. Feel free to use it yourself, or in a class.
Теперь мы можем создавать симуляции с помощью промптов, которые делают значительную часть того, для чего нам раньше требовалось сложное кастомное ПО. Например, вот бесплатный GPT-репетитор по переговорам, который мы разработали: он объединяет обучение и симуляцию. Можете использовать его сами или в учебной группе.
Of course, this story is an oversimplification, to a degree. We could never have built these tools if we didn’t do the hard intellectual work of learning how to make them with our own limited human abilities first. And when we build games, we still use the work of expert fiction writers, coders, and designers - the AI can’t do everything (at least not in the immediate future). But it does suggest we need to start thinking about work in a new way.
Конечно, эта история в какой-то мере упрощена. Мы бы никогда не создали эти инструменты, если бы сначала не проделали тяжёлую интеллектуальную работу, разобравшись, как делать их собственными ограниченными человеческими силами. И когда мы строим игры, мы по-прежнему используем труд опытных писателей, программистов и дизайнеров — ИИ не может делать всё (по крайней мере, в ближайшем будущем). Но это всё же намекает, что нам нужно начать мыслить о работе по-новому.
The Two Questions that Matter
Два вопроса, которые действительно важны
There are really two questions that matter when it comes to the Wait Calculation for AI: How good? And how fast? In other words, how good can this particular run of AI technology (either LLMs or their immediate successors) get in terms of human achievement; and how fast will this happen?
Когда речь идёт о Wait Calculation для ИИ, по-настоящему важны два вопроса: насколько хорошо? и насколько быстро? Иначе говоря, насколько хорошим может стать этот конкретный виток ИИ-технологий (LLM или их ближайших преемников) с точки зрения уровня человеческих достижений; и насколько быстро это произойдёт?
No one actually knows the answer, of course, and, in some ways, it is a particularly awkward time to predict the future of AI. Despite the massive advances in the field, GPT-4 remains the world’s best AI, over a year after its preliminary release. A large number of companies are building AI models that they say will surpass it soon, and OpenAI itself keeps hinting broadly at its own upcoming releases. We just haven’t seen them yet.
Никто на самом деле не знает ответа, конечно, и в каком-то смысле сейчас особенно неудобный момент, чтобы предсказывать будущее ИИ. Несмотря на огромный прогресс в этой области, GPT-4 остаётся лучшим ИИ в мире спустя больше года после своего первоначального релиза. Огромное число компаний строят ИИ-модели, которые, по их словам, скоро его превзойдут, и сама OpenAI регулярно намекает на свои предстоящие релизы. Просто мы их пока не видели.
Still, it is worth taking the predictions of key figures in the AI space seriously. In a talk a few days ago, Sam Altman, CEO of OpenAI, apparently suggested to a group of entrepreneurs that building around the limitations of GPT-4 would be a mistake, because GPT-5 will fix most of them. He also repeated his frequent prophecies that AGI (an AI that can beat humans at most tasks) is coming soon. To be clear, this is far from a universal view, and many researchers doubt AGI is immanent. Even so, few people in the AI field expect practical progress to slow down in 2024.
И всё же стоит серьёзно относиться к прогнозам ключевых фигур в области ИИ. В недавнем выступлении Sam Altman, CEO OpenAI, по-видимому, сказал группе предпринимателей, что строить продукты с обходом ограничений GPT-4 — ошибка, потому что GPT-5 устранит большинство из них. Он также повторил своё частое предсказание о том, что AGI (ИИ, который может превзойти людей в большинстве задач) уже близок. Чтобы было ясно: это далеко не общепринятая точка зрения, и многие исследователи сомневаются, что AGI вот-вот наступит. Тем не менее мало кто в области ИИ ожидает, что практический прогресс замедлится в 2024 году.
Another way to look at the how good and how fast questions is to look at prediction markets, where people bet on the dates that particular events will occur. These are often surprisingly accurate, and one of the key markets puts the date of “weak” AGI (at the 75th percentile of human abilities across subjects) as happening in a little over two years, and full AGI within a decade. Again, you don’t have to believe these predictions, but it is worth including them in your Wait Calculation.
Ещё один способ посмотреть на вопросы насколько хорошо и насколько быстро — это взглянуть на рынки предсказаний, где люди делают ставки на даты, когда произойдут те или иные события. Они часто оказываются удивительно точными, и один из ключевых рынков ставит дату появления «слабого» AGI (на уровне 75-го перцентиля человеческих способностей по всем предметам) чуть больше чем через два года, а полноценного AGI — в течение десятилетия. Опять же, вам не обязательно верить этим предсказаниям, но их стоит учитывать в своей Wait Calculation.
So, for the how good does it get question, the answer is likely “significantly better than GPT-4 (with a chance of AGI on the side).” And for how fast the answer is “keeping up the pace of the last year, at least for now.” They are not satisfying or precise answers, but they are enough to inform a Wait Calculation.
Итак, на вопрос насколько хорошим он станет ответ, вероятно, звучит как «существенно лучше GPT-4 (с некоторой вероятностью AGI в придачу)». А на вопрос насколько быстро ответ — «сохраняя темп последнего года, как минимум пока что». Это не самые приятные и не самые точные ответы, но их достаточно, чтобы информировать Wait Calculation.
Should you wait?
Стоит ли вам ждать?
What does a typical software development project have in common with writing a novel? They both take many months, and they are both things that AI can do reasonably well, but far from expert level, today. If you are contemplating doing either of these things, you should perform a Wait Calculation. Let’s make the factors involved in the Calculation explicit, though we don’t have to use formal math. Here is what anyone considering a project in an AI-adjacent field should consider:
Что общего у типичного проекта по разработке ПО с написанием романа? И то и другое занимает много месяцев, и и то и другое — задачи, которые ИИ сегодня может выполнять достаточно неплохо, но далеко не на экспертном уровне. Если вы подумываете заняться чем-то из этого, вам стоит провести Wait Calculation. Давайте сделаем факторы расчёта явными, хотя нам не обязательно использовать строгую математику. Вот что стоит учесть всем, кто рассматривает проект в области, смежной с ИИ:
How long will the project realistically take to complete?
Given timelines for AI development, how much more advanced could AI get by that point? This, by the way, is where you need to have hands-on experience with the most current AI systems. If you haven’t spent at least 10 hours trying to get work done with GPT-4, you probably don’t know what AI can do today, and will have much less of a sense of its limitations and how it is advancing.
How much time could you save by using the AIs developed between now and the end of the project? If you save more time than you spend waiting for the development of AI, then being lazy may pay off.
Will the AI just be able to do the thing before the end of the project? Or will the meaning of the thing shift? There are categories of tasks that AI will clearly be able to do better than humans in the near future, and you should think hard about whether your project fits into those categories. However, just because AI may be able to do it doesn’t mean you shouldn’t — we still play chess even though computers can beat humans easily — but it does mean that you should pay attention to ways the meaning or approach to your project might change.
Сколько времени реалистично займёт проект?Учитывая таймлайны развития ИИ, насколько более продвинутым он может стать к этому моменту? Кстати, именно здесь вам нужен практический опыт с самыми современными ИИ-системами. Если вы не провели хотя бы 10 часов, пытаясь сделать с GPT-4 реальную работу, вы, вероятно, не знаете, что ИИ умеет сегодня, и у вас будет куда менее ясное представление о его ограничениях и темпах развития.Сколько времени вы могли бы сэкономить, используя те ИИ, что появятся между сегодняшним днём и концом проекта? Если вы экономите больше времени, чем тратите на ожидание развития ИИ, лениться может оказаться выгодно.Сможет ли ИИ просто сделать это сам до конца проекта? Или сам смысл задачи изменится? Есть категории задач, в которых ИИ в ближайшем будущем явно сможет работать лучше людей, и стоит хорошо подумать, не относится ли ваш проект к таким категориям. Однако то, что ИИ, возможно, сможет это делать, не значит, что вам не стоит, — мы по-прежнему играем в шахматы, хотя компьютеры легко обыгрывают людей, — но это значит, что стоит обратить внимание на то, как смысл или подход к вашему проекту может измениться.
But Wait Calculations can also be dangerous and disincentivizing, so you may want to ignore them entirely, or at least ask yourself these questions:
Но Wait Calculation также может быть опасным и демотивирующим, поэтому, возможно, вам стоит проигнорировать его полностью, или, как минимум, задать себе следующие вопросы:
Does it create a learning trap? Putting off something because AI can eventually do it can also be a recipe for disaster. For one thing, waiting for the AI robs you of the opportunity to learn. If I had not spent years building games, I would never have been able to get an AI to help me develop one. Note, however, that building a project for learning, rather than execution, requires a different, more experimental approach. So even if you decide to ignore the Wait Calculation, you may want to approach the work differently to maximize what you learn, and not just what you do.
Does it create an incentive trap? Waiting ignores the intrinsic joy of doing things. It may also disincentivize you from taking any action, since you can just put everything off in hopes that an AI can do it, someday. Just because your Wait Calculation says waiting saves you effort, does not mean that the effort would not have been worthwhile. Consider your own motivation and goals.
What if you are wrong? There are plenty of AI skeptics that believe that progress will come to an end soon, or that AI is much less impressive than it appears at first glance, and that much of its apparent success is a mirage. You should take these views into account, and not automatically buy into hype. We don’t know what the future really holds.
Не создаёт ли это ловушку обучения? Откладывание чего-либо потому, что ИИ в итоге сможет это сделать, тоже может стать рецептом катастрофы. Во-первых, ожидание ИИ лишает вас возможности учиться. Если бы я не провёл годы, создавая игры, я бы никогда не смог заставить ИИ помочь мне разработать одну из них. Учтите, однако, что построение проекта ради обучения, а не ради результата, требует другого, более экспериментального подхода. Так что даже если вы решите проигнорировать Wait Calculation, возможно, стоит подойти к работе иначе, чтобы максимизировать то, что вы узнаёте, а не только то, что вы делаете.Не создаёт ли это ловушку стимулов? Ожидание игнорирует внутреннюю радость от того, что делаешь. Оно также может отбить у вас желание предпринимать что-либо вообще, ведь всё можно отложить в надежде, что когда-нибудь ИИ сделает это за вас. То, что Wait Calculation говорит, что ожидание сэкономит ваши усилия, не означает, что эти усилия не стоили бы того. Учитывайте собственную мотивацию и цели.А что если вы ошибаетесь? Есть множество скептиков ИИ, которые считают, что прогресс скоро остановится, или что ИИ намного менее впечатляет, чем кажется на первый взгляд, и что многое из его кажущегося успеха — мираж. Стоит учитывать эти взгляды и не покупаться автоматически на хайп. Мы не знаем, что на самом деле принесёт будущее.
Returning to the timeline for AI as an academic, one thought crosses my mind: the time it takes to go from a new idea for a project to publishing a completed paper is often greater than the timeline for reaching AGI according to prediction markets. I have had papers published in far less time (a year or two). But I also had a paper that I started working on in 2006. It was finally officially published on the 29th of December in 2016 - a decade of waiting. So, as an experiment to see what the future holds, I decided to create a GPT that would write academic papers. It isn’t up to the level of a good academic paper… but it also isn’t a terrible first try for a PhD student - you can try it yourself.
Возвращаясь к таймлайну ИИ как академик, мне приходит в голову одна мысль: время от появления новой идеи проекта до публикации готовой статьи часто превышает таймлайн до AGI согласно рынкам предсказаний. У меня были статьи, опубликованные намного быстрее (за год-два). Но была и статья, над которой я начал работать в 2006 году. Официально она была опубликована 29 декабря 2016 года — десятилетие ожидания. Так что в качестве эксперимента, чтобы увидеть, что нас ждёт, я решил создать GPT, который пишет научные статьи. Он не дотягивает до уровня хорошей научной статьи… но это и не самая ужасная первая попытка для аспиранта — можете попробовать сами.
Do not take Wait Calculations too seriously. I would not let a Wait Calculation hold me back from anything I want to do. However, they are incentive to start to think about the bigger picture. You cannot launch an AI project today, whether an internal software implementation or a new startup, without considering what is coming. You will need to worry about whether the nature of the task will shift partway through the effort or become obsolete entirely. We don’t know where things will end up, or for how long the pace will continue, but we need to start taking the timeline of AI development seriously in our longer-term decisions. Before diving into your next project, ask yourself: is it time to leap, or time to wait?
Не относитесь к Wait Calculation слишком серьёзно. Я бы не позволил Wait Calculation удержать меня от чего-либо, что я хочу сделать. Однако это повод начать думать о более широкой картине. Сегодня нельзя запускать ИИ-проект — будь то внутреннее внедрение ПО или новый стартап, — не учитывая того, что грядёт. Вам придётся беспокоиться о том, не изменится ли природа задачи на полпути и не устареет ли она полностью. Мы не знаем, чем всё закончится и как долго сохранится текущий темп, но нам пора начать серьёзно относиться к таймлайну развития ИИ в наших долгосрочных решениях. Прежде чем нырнуть в следующий проект, спросите себя: время прыгать или время ждать?
GPTs are shareable prompts that can be bundled with documents and actions to create a sort of program, or primitive agent. To use them, you need ChatGPT Plus. The current implementation by OpenAI is pretty bare-bones: I can’t easily provide documentation, updates, or changes to the GPTs I publish, and I can’t share them with people who have not paid for ChatGPT Plus, even if I want to pay the fees. They also will eventually have some sort of payment system, but how that might work is unclear. For now, I think they are an interesting way to share complex prompts, with potential for the future.
GPT — это шеринговые промпты, которые можно объединять с документами и действиями, создавая нечто вроде программы или примитивного агента. Чтобы ими пользоваться, нужен ChatGPT Plus. Текущая реализация от OpenAI довольно скудна: я не могу легко предоставлять документацию, обновления или изменения для GPT, которые публикую, и не могу делиться ими с теми, кто не оплатил ChatGPT Plus, даже если я готов сам оплачивать комиссии. В какой-то момент у них также появится некая система оплаты, но как именно она будет работать — неясно. Пока я считаю, что это интересный способ делиться сложными промптами, с потенциалом на будущее.