The Lazy Tyranny of the Wait Calculation

Ленивая тирания Wait Calculation

Серьёзно относимся к таймлайнам ИИ

Допустим, вы хотите как можно быстрее добраться до нашего звёздного соседа — звезды Барнарда. Когда вам стоит отправляться в путь?

Возможно, вам захочется ответить «как можно скорее», но стоит подумать ещё раз. На сегодняшних ракетных технологиях это шестилетнее (в световых годах) путешествие заняло бы 12 000 лет. Но загвоздка именно в «сегодняшних ракетных технологиях». Теоретически возможный космический корабль с термоядерным двигателем мог бы преодолеть это расстояние менее чем за пятьдесят лет. При достаточном времени (и при условии, что не случится апокалипсиса или коллапса) человечество, скорее всего, разработает этот новый термоядерный двигатель. А это меняет уравнение: вам не захочется быть тем человеком, который отправился в путь длиной в 12 000 лет (точнее, его пра-пра-пра-…-внуком, рождённым на борту корабля), только чтобы его обогнала стая ракет, запущенных через 11 950 лет после его старта, с экипажами, чьи предки всё это время комфортно жили на Земле. Лучше полениться и подождать, пока технология улучшится, прежде чем вообще отправляться к звёздам.

Когда технология развивается достаточно быстро, существуют классы задач, которые ведут себя ровно как межзвёздное путешествие: ждать улучшения технологии выгоднее, чем действовать немедленно. Это называется Wait Calculation (расчёт ожидания), и впервые этот подход применили к сценарию со звездой Барнарда, но та же логика подходит и к другим задачам. Например, есть классы математических задач, вычисления для которых заняли бы десятилетия, поэтому лучше подождать, пока сработает закон Мура и компьютеры станут быстрее, прежде чем вообще браться за их решение.

И тут мы подходим к ИИ. ИИ обладает всеми признаками технологии, требующей Wait Calculation. Его возможности растут быстрее, чем по экспоненте (хотя темп ИИ по-прежнему сложно измерить), и он способен делать или помогать делать огромное количество задач. Если вы планируете писать роман, или строить ИИ-решение для своего бизнеса, или писать научную статью, или запускать стартап — стоит ли вам просто… подождать? Я могу назвать как минимум два крупных проекта, с которыми мне следовало бы подождать, если бы я знал, насколько хорошим станет ИИ.

Мы могли бы подождать

Я провёл большую часть последнего десятилетия, пытаясь создавать игры, которые помогают людям учиться и придумывать новое. И вся эта работа внезапно оказалась сжата, искажена и ускорена в результате выхода ChatGPT и его преемников в прошлом году. Команды, с которыми я работал, провели ценные исследования, и наши усилия породили учебные опыты с реальным эффектом, — но в какой-то момент, если бы мы могли предвидеть эволюцию ИИ, мы могли бы подождать.

Возьмём один пример: я работал с отмеченным наградами дизайнером настольных игр Justin Gary (у него есть собственный Substack о дизайне игр), чтобы создать игру, которая проводит команды через сложный процесс инноваций, — по сути, встраивая в игру конвергентное и дивергентное мышление, чтобы команды могли играть в неё вместе. The Breakthrough Game работала отлично, и за час игры команды часто рождали десяток и более хороших идей. Воодушевлённые первоначальным успехом, мы с Justin часто обсуждали, как создать улучшенную версию.

Мы могли бы подождать.

Появился GPT-4 и неожиданно обошёл большинство людей в инновациях. Вместо того чтобы строить новую версию игры, я попробовал убрать людей из контура. Я собрал GPT, который проводит ИИ через процессы конвергентного и дивергентного «мышления» и просто выдаёт вам Word-документ со списком из нескольких десятков потенциальных идей за пару минут. Он бесплатный, и им может воспользоваться любой (тысяча с лишним человек уже сделали это за последние пару дней)1

Задача, которая казалась неразрешимой для компьютеров, внезапно стала легко решаемой с помощью ИИ, изменив крупный проект. И это был не единственный случай. На протяжении почти десяти лет я помогал строить Wharton Interactive, где работал с командой талантливых людей, тратя время на создание игр и симуляций для обучения ключевым деловым навыкам. Каждая игра требовала колоссального объёма времени и труда, поэтому мы вложили огромные усилия в разработку инструментариев, которые позволили бы людям легче создавать педагогически обоснованные обучающие игры.

Мы могли бы подождать.

Теперь мы можем создавать симуляции с помощью промптов, которые делают значительную часть того, для чего нам раньше требовалось сложное кастомное ПО. Например, вот бесплатный GPT-репетитор по переговорам, который мы разработали: он объединяет обучение и симуляцию. Можете использовать его сами или в учебной группе.

Конечно, эта история в какой-то мере упрощена. Мы бы никогда не создали эти инструменты, если бы сначала не проделали тяжёлую интеллектуальную работу, разобравшись, как делать их собственными ограниченными человеческими силами. И когда мы строим игры, мы по-прежнему используем труд опытных писателей, программистов и дизайнеров — ИИ не может делать всё (по крайней мере, в ближайшем будущем). Но это всё же намекает, что нам нужно начать мыслить о работе по-новому.

Два вопроса, которые действительно важны

Когда речь идёт о Wait Calculation для ИИ, по-настоящему важны два вопроса: насколько хорошо? и насколько быстро? Иначе говоря, насколько хорошим может стать этот конкретный виток ИИ-технологий (LLM или их ближайших преемников) с точки зрения уровня человеческих достижений; и насколько быстро это произойдёт?

Никто на самом деле не знает ответа, конечно, и в каком-то смысле сейчас особенно неудобный момент, чтобы предсказывать будущее ИИ. Несмотря на огромный прогресс в этой области, GPT-4 остаётся лучшим ИИ в мире спустя больше года после своего первоначального релиза. Огромное число компаний строят ИИ-модели, которые, по их словам, скоро его превзойдут, и сама OpenAI регулярно намекает на свои предстоящие релизы. Просто мы их пока не видели.

И всё же стоит серьёзно относиться к прогнозам ключевых фигур в области ИИ. В недавнем выступлении Sam Altman, CEO OpenAI, по-видимому, сказал группе предпринимателей, что строить продукты с обходом ограничений GPT-4 — ошибка, потому что GPT-5 устранит большинство из них. Он также повторил своё частое предсказание о том, что AGI (ИИ, который может превзойти людей в большинстве задач) уже близок. Чтобы было ясно: это далеко не общепринятая точка зрения, и многие исследователи сомневаются, что AGI вот-вот наступит. Тем не менее мало кто в области ИИ ожидает, что практический прогресс замедлится в 2024 году.

Ещё один способ посмотреть на вопросы насколько хорошо и насколько быстро — это взглянуть на рынки предсказаний, где люди делают ставки на даты, когда произойдут те или иные события. Они часто оказываются удивительно точными, и один из ключевых рынков ставит дату появления «слабого» AGI (на уровне 75-го перцентиля человеческих способностей по всем предметам) чуть больше чем через два года, а полноценного AGI — в течение десятилетия. Опять же, вам не обязательно верить этим предсказаниям, но их стоит учитывать в своей Wait Calculation.

Итак, на вопрос насколько хорошим он станет ответ, вероятно, звучит как «существенно лучше GPT-4 (с некоторой вероятностью AGI в придачу)». А на вопрос насколько быстро ответ — «сохраняя темп последнего года, как минимум пока что». Это не самые приятные и не самые точные ответы, но их достаточно, чтобы информировать Wait Calculation.

Стоит ли вам ждать?

Что общего у типичного проекта по разработке ПО с написанием романа? И то и другое занимает много месяцев, и и то и другое — задачи, которые ИИ сегодня может выполнять достаточно неплохо, но далеко не на экспертном уровне. Если вы подумываете заняться чем-то из этого, вам стоит провести Wait Calculation. Давайте сделаем факторы расчёта явными, хотя нам не обязательно использовать строгую математику. Вот что стоит учесть всем, кто рассматривает проект в области, смежной с ИИ:

Сколько времени реалистично займёт проект?Учитывая таймлайны развития ИИ, насколько более продвинутым он может стать к этому моменту? Кстати, именно здесь вам нужен практический опыт с самыми современными ИИ-системами. Если вы не провели хотя бы 10 часов, пытаясь сделать с GPT-4 реальную работу, вы, вероятно, не знаете, что ИИ умеет сегодня, и у вас будет куда менее ясное представление о его ограничениях и темпах развития.Сколько времени вы могли бы сэкономить, используя те ИИ, что появятся между сегодняшним днём и концом проекта? Если вы экономите больше времени, чем тратите на ожидание развития ИИ, лениться может оказаться выгодно.Сможет ли ИИ просто сделать это сам до конца проекта? Или сам смысл задачи изменится? Есть категории задач, в которых ИИ в ближайшем будущем явно сможет работать лучше людей, и стоит хорошо подумать, не относится ли ваш проект к таким категориям. Однако то, что ИИ, возможно, сможет это делать, не значит, что вам не стоит, — мы по-прежнему играем в шахматы, хотя компьютеры легко обыгрывают людей, — но это значит, что стоит обратить внимание на то, как смысл или подход к вашему проекту может измениться.

Но Wait Calculation также может быть опасным и демотивирующим, поэтому, возможно, вам стоит проигнорировать его полностью, или, как минимум, задать себе следующие вопросы:

Не создаёт ли это ловушку обучения? Откладывание чего-либо потому, что ИИ в итоге сможет это сделать, тоже может стать рецептом катастрофы. Во-первых, ожидание ИИ лишает вас возможности учиться. Если бы я не провёл годы, создавая игры, я бы никогда не смог заставить ИИ помочь мне разработать одну из них. Учтите, однако, что построение проекта ради обучения, а не ради результата, требует другого, более экспериментального подхода. Так что даже если вы решите проигнорировать Wait Calculation, возможно, стоит подойти к работе иначе, чтобы максимизировать то, что вы узнаёте, а не только то, что вы делаете.Не создаёт ли это ловушку стимулов? Ожидание игнорирует внутреннюю радость от того, что делаешь. Оно также может отбить у вас желание предпринимать что-либо вообще, ведь всё можно отложить в надежде, что когда-нибудь ИИ сделает это за вас. То, что Wait Calculation говорит, что ожидание сэкономит ваши усилия, не означает, что эти усилия не стоили бы того. Учитывайте собственную мотивацию и цели.А что если вы ошибаетесь? Есть множество скептиков ИИ, которые считают, что прогресс скоро остановится, или что ИИ намного менее впечатляет, чем кажется на первый взгляд, и что многое из его кажущегося успеха — мираж. Стоит учитывать эти взгляды и не покупаться автоматически на хайп. Мы не знаем, что на самом деле принесёт будущее.

Возвращаясь к таймлайну ИИ как академик, мне приходит в голову одна мысль: время от появления новой идеи проекта до публикации готовой статьи часто превышает таймлайн до AGI согласно рынкам предсказаний. У меня были статьи, опубликованные намного быстрее (за год-два). Но была и статья, над которой я начал работать в 2006 году. Официально она была опубликована 29 декабря 2016 года — десятилетие ожидания. Так что в качестве эксперимента, чтобы увидеть, что нас ждёт, я решил создать GPT, который пишет научные статьи. Он не дотягивает до уровня хорошей научной статьи… но это и не самая ужасная первая попытка для аспиранта — можете попробовать сами.

Не относитесь к Wait Calculation слишком серьёзно. Я бы не позволил Wait Calculation удержать меня от чего-либо, что я хочу сделать. Однако это повод начать думать о более широкой картине. Сегодня нельзя запускать ИИ-проект — будь то внутреннее внедрение ПО или новый стартап, — не учитывая того, что грядёт. Вам придётся беспокоиться о том, не изменится ли природа задачи на полпути и не устареет ли она полностью. Мы не знаем, чем всё закончится и как долго сохранится текущий темп, но нам пора начать серьёзно относиться к таймлайну развития ИИ в наших долгосрочных решениях. Прежде чем нырнуть в следующий проект, спросите себя: время прыгать или время ждать?

Поделиться

GPT — это шеринговые промпты, которые можно объединять с документами и действиями, создавая нечто вроде программы или примитивного агента. Чтобы ими пользоваться, нужен ChatGPT Plus. Текущая реализация от OpenAI довольно скудна: я не могу легко предоставлять документацию, обновления или изменения для GPT, которые публикую, и не могу делиться ими с теми, кто не оплатил ChatGPT Plus, даже если я готов сам оплачивать комиссии. В какой-то момент у них также появится некая система оплаты, но как именно она будет работать — неясно. Пока я считаю, что это интересный способ делиться сложными промптами, с потенциалом на будущее.