Real AI Agents and Real Work
Эссе Итана Молика о том, что ИИ-агенты перешли порог реальной экономически значимой работы. Новый тест OpenAI GDPval показал, что эксперты с опытом 14 лет в среднем лишь немного обыгрывают ИИ на задачах длительностью 4-7 часов, причём основные проигрыши ИИ связаны не с галлюцинациями, а с форматированием. Автор демонстрирует на примере Claude Sonnet 4.5, который самостоятельно воспроизвёл сложную экономическую статью, конвертировав код со STATA на Python — задача, которая могла бы помочь решить кризис воспроизводимости в науке. Согласно тесту METR, длина задач, выполнимых ИИ автономно, растёт экспоненциально от GPT-3 до GPT-5. Однако главный риск — не замена работников, а бездумное умножение бесполезного контента (17 версий PowerPoint). OpenAI рекомендует делегировать задачи ИИ как первый проход с проверкой экспертом: это даёт +40% к скорости и -60% к стоимости при сохранении контроля.
Настоящие ИИ-агенты и настоящая работа
Гонка между человекоцентричной работой и бесконечными PowerPoint-ами
ИИ тихо переступили порог: теперь они способны выполнять реальную, экономически значимую работу.
На прошлой неделе OpenAI выпустил новый тест способностей ИИ, но этот отличается от привычных бенчмарков по математике или эрудиции. Для этого теста OpenAI собрал экспертов со средним опытом 14 лет в индустриях от финансов до права и ритейла, и они разработали реалистичные задачи, на выполнение которых у эксперта-человека уходит в среднем от четырёх до семи часов (все задачи можно посмотреть здесь). Затем OpenAI поручил выполнить эти задачи как ИИ, так и другим экспертам. Третья группа экспертов оценивала результаты, не зная, какие ответы дал ИИ, а какие — человек; на каждый вопрос уходило около часа.
Эксперты-люди победили, но с минимальным отрывом, причём разница сильно варьировалась в зависимости от индустрии. При этом ИИ быстро улучшается: более новые модели набирают значительно больше очков, чем старые. Любопытно, что главной причиной проигрыша ИFI человеку были не галлюцинации и ошибки, а неспособность хорошо отформатировать результат или точно следовать инструкциям — и именно в этих областях идёт быстрый прогресс. Если текущие тенденции сохранятся, следующее поколение ИИ-моделей в среднем должно обойти экспертов-людей в этом тесте. Значит ли это, что ИИ готов заменить человеческие рабочие места?
Нет (по крайней мере, не скоро) — потому что измерялись не профессии, а задачи. Наши профессии состоят из множества задач. Моя работа профессора — это не одно занятие; она включает преподавание, исследования, написание текстов, заполнение годовых отчётов, поддержку студентов, чтение, административную работу и многое другое. То, что ИИ выполняет одну или несколько таких задач, не заменяет всю мою работу — это меняет то, чем я занимаюсь. И пока способности ИИ остаются «зубчатыми» и он не может заменить всю сложность человеческого взаимодействия, заменить профессию целиком ему непросто…
Очень ценная задача
…и всё же некоторые задачи, которые ИИ умеет выполнять уже сейчас, обладают огромной ценностью. Вернёмся к тому, что критически важно в моей работе: производству достоверных исследований. Многие знают о «кризисе воспроизводимости» в академии, когда важные открытия оказывались невоспроизводимыми другими исследователями. В академии достигнут некоторый прогресс: многие исследователи теперь публикуют свои данные, чтобы коллеги могли воспроизвести работу. Проблема в том, что воспроизведение требует много времени: нужно глубоко прочитать и понять статью, проанализировать данные и кропотливо проверить ошибки1. Это очень сложный процесс, который раньше могли выполнять только люди.
До настоящего момента.
Я передал новой модели Claude Sonnet 4.5 (к которой у меня был ранний доступ) текст сложной экономической статьи, включающей ряд экспериментов, вместе с архивом всех данных для воспроизведения. Я не сделал ничего, кроме как отдал Claude файлы и промпты: «воспроизведи выводы этой статьи на основе загруженного датасета. ты должен сделать это сам. если не можешь выполнить полное воспроизведение — сделай что сможешь», а поскольку работа включала сложную статистику, я попросил его пойти дальше: «можешь ли ты также воспроизвести полные взаимодействия, насколько это возможно?»
Без дополнительных инструкций Claude прочитал статью, открыл архив и разобрал файлы, конвертировал статистический код с одного языка (STATA) на другой (Python) и методично прошёл по всем выводам, после чего сообщил об успешном воспроизведении. Я выборочно проверил результаты, а другая модель, GPT-5 Pro, воспроизвела это воспроизведение. Всё сошлось. Я попробовал то же самое с несколькими другими статьями со столь же хорошими результатами, хотя некоторые были недоступны из-за ограничений на размер файлов или проблем с предоставленными данными для воспроизведения. Сделать это вручную заняло бы много часов.
Но революционно тут не то, что я сэкономил много времени. Революционно то, что кризис, потрясший целые академические дисциплины, можно было бы частично разрешить через воспроизведение результатов — но это требовало кропотливой и дорогой человеческой работы, которую невозможно было масштабировать. Теперь же оказывается, что ИИ способен проверять множество опубликованных статей, воспроизводя результаты, с серьёзными последствиями для всей научной работы. Барьеры пока остаются — в частности, бенчмарки точности и справедливости, — но это уже реальная возможность. Воспроизведение исследований может оказаться ИИ-задачей, а не профессией, но это вполне способно радикально изменить целую область человеческой деятельности. Что делает это возможным? ИИ-агенты стали значительно лучше, причём очень быстро.
В центре всего — агенты
Генеративный ИИ помог множеству людей выполнять задачи со времён первой ChatGPT, но ограничением всегда был пользователь-человек. ИИ совершает ошибки, поэтому без человека, направляющего его на каждом шаге, нельзя было добиться чего-то ценного. Мечта об автономных ИИ-агентах, которые при получении задачи могут планировать и использовать инструменты (программирование, веб-поиск) для её выполнения, казалась далёкой. Ведь ИИ ошибается — значит, любой сбой в длинной цепочке шагов, которые агент должен пройти для выполнения задачи, привёл бы к общему провалу.
Однако всё вышло иначе, и ещё одна свежая статья объясняет почему. Оказывается, большинство наших предположений об ИИ-агентах были неверными. Даже небольшое повышение точности (а новые модели гораздо менее склонны к ошибкам) ведёт к огромному росту числа задач, которые ИИ способен выполнить. А самые крупные и новейшие «думающие» модели по сути самокорректируются, так что их не останавливают ошибки. Всё это означает, что ИИ-агенты теперь способны выполнять гораздо больше шагов, чем раньше, и пользоваться инструментами (которые включают, по сути, всё, что умеет ваш компьютер) без существенного вмешательства человека.
Поэтому интересно, что одно из немногих измерений возможностей ИИ, охватывающее весь спектр моделей за последние годы — от GPT-3 до GPT-5, — это тест METR, оценивающий длину задач, которые ИИ способен выполнить самостоятельно с точностью не ниже 50%. Экспоненциальный рост от GPT-3 до GPT-5 очень стабилен на протяжении пяти лет и отражает продолжающееся улучшение агентной работы.
Как использовать ИИ для экономически ценных вещей
Однако у агентов нет настоящей субъектности в человеческом смысле. Пока что мы должны сами решать, что с ними делать, и это во многом определит будущее работы. Риск, на котором все сосредоточены, — использование ИИ для замены человеческого труда; и нетрудно представить, как в ближайшие годы это станет серьёзной проблемой, особенно в неизобретательных организациях, которые сосредоточены на сокращении издержек, а не на использовании новых возможностей для расширения или трансформации работы. Но есть и второй, очень вероятный риск использования ИИ на работе: применять агентов, чтобы бездумно выполнять ещё больше тех же задач, что и сейчас.
В качестве превью этого конкретного кошмара я дал Claude корпоративный меморандум и попросил превратить его в PowerPoint. Затем ещё один PowerPoint с другой точки зрения. И ещё один.
Пока не получил 17 разных PowerPoint-ов. Это слишком много PowerPoint-ов.
Если мы не задумаемся всерьёз о том, ПОЧЕМУ мы выполняем работу и какой эта работа должна быть, мы все утонем в волне ИИ-контента. Какая есть альтернатива? Статья OpenAI предложила, что эксперты могут совместно с ИИ решать задачи: делегировать ИИ как первый проход и проверять результат. Если он недостаточно хорош — попробовать пару раз дать корректировки или более точные инструкции. Если и это не сработало — выполнить работу самим. Если бы эксперты следовали этому процессу, статья оценивает, что они выполняли бы работу на сорок процентов быстрее и на шестьдесят процентов дешевле, и, что ещё важнее, сохраняли бы контроль над ИИ.
Агенты уже здесь. Они умеют выполнять реальную работу, и хотя эта работа пока ограничена, она ценна и расширяется. Но та же технология, что воспроизводит академические статьи за минуты, способна сгенерировать и 17 версий PowerPoint-презентации, никому не нужных. Разница между этими вариантами будущего — не в ИИ, а в том, как мы решим его использовать. Применяя суждение в выборе того, что стоит делать, а не только того, что можно сделать, мы сможем добиться, чтобы эти инструменты делали нас более способными, а не просто более продуктивными.
В зависимости от области исследований между replicating (что может включать сбор новых данных) и reproducing (что может предполагать использование уже существующих данных) бывают различия. В этой заметке я не разбираю эти разграничения подробно, но в данном случае ИИ работает с уже существующими данными, применяя к ним при этом новые статистические подходы.