Real AI Agents and Real Work

Real AI Agents and Real Work

Настоящие ИИ-агенты и настоящая работа

The race between human-centered work and infinite PowerPoints

Гонка между человекоцентричной работой и бесконечными PowerPoint-ами

AIs have quietly crossed a threshold: they can now perform real, economically relevant work.

ИИ тихо переступили порог: теперь они способны выполнять реальную, экономически значимую работу.

Last week, OpenAI released a new test of AI ability, but this one differs from the usual benchmarks built around math or trivia. For this test, OpenAI gathered experts with an average of 14 years of experience in industries ranging from finance to law to retail and had them design realistic tasks that would take human experts an average of four to seven hours to complete (you can see all the tasks here). OpenAI then had both AI and other experts do the tasks themselves. A third group of experts graded the results, not knowing which answers came from the AI and which from the human, a process which took about an hour per question.

На прошлой неделе OpenAI выпустил новый тест способностей ИИ, но этот отличается от привычных бенчмарков по математике или эрудиции. Для этого теста OpenAI собрал экспертов со средним опытом 14 лет в индустриях от финансов до права и ритейла, и они разработали реалистичные задачи, на выполнение которых у эксперта-человека уходит в среднем от четырёх до семи часов (все задачи можно посмотреть здесь). Затем OpenAI поручил выполнить эти задачи как ИИ, так и другим экспертам. Третья группа экспертов оценивала результаты, не зная, какие ответы дал ИИ, а какие — человек; на каждый вопрос уходило около часа.

Human experts won, but barely, and the margins varied dramatically by industry. Yet AI is improving fast, with more recent AI models scoring much higher than older ones. Interestingly, the major reason for AI losing to humans was not hallucinations and errors, but a failure to format results well or follow instructions exactly — areas of rapid improvement. If the current patterns hold, the next generation of AI models should beat human experts on average in this test. Does that mean AI is ready to replace human jobs?

Эксперты-люди победили, но с минимальным отрывом, причём разница сильно варьировалась в зависимости от индустрии. При этом ИИ быстро улучшается: более новые модели набирают значительно больше очков, чем старые. Любопытно, что главной причиной проигрыша ИFI человеку были не галлюцинации и ошибки, а неспособность хорошо отформатировать результат или точно следовать инструкциям — и именно в этих областях идёт быстрый прогресс. Если текущие тенденции сохранятся, следующее поколение ИИ-моделей в среднем должно обойти экспертов-людей в этом тесте. Значит ли это, что ИИ готов заменить человеческие рабочие места?

No (at least not soon), because what was being measured was not jobs but tasks. Our jobs consist of many tasks. My job as a professor is not just one thing, it involves teaching, researching, writing, filling out annual reports, supporting my students, reading, administrative work and more. AI doing one or more of these tasks does not replace my entire job, it shifts what I do. And as long as AI is jagged in its abilities, and cannot substitute for all the complex work of human interaction, it cannot easily replace jobs as a whole…

Нет (по крайней мере, не скоро) — потому что измерялись не профессии, а задачи. Наши профессии состоят из множества задач. Моя работа профессора — это не одно занятие; она включает преподавание, исследования, написание текстов, заполнение годовых отчётов, поддержку студентов, чтение, административную работу и многое другое. То, что ИИ выполняет одну или несколько таких задач, не заменяет всю мою работу — это меняет то, чем я занимаюсь. И пока способности ИИ остаются «зубчатыми» и он не может заменить всю сложность человеческого взаимодействия, заменить профессию целиком ему непросто…

A Very Valuable Task

Очень ценная задача

…and yet some of the tasks that AI can do right now have incredible value. Let’s return to something that is critical in my job: producing accurate research. As many people know, there has been a “replication crisis” in academia where important findings turned out to be impossible for other researchers to reproduce. Academia has made some progress on this problem, and many researchers now provide their data so that other scholars can reproduce their work. The problem is that replication takes a lot of time, as you have to deeply read and understand the paper, analyze the data, and painstakingly check for errors1. It’s a very complicated process that only humans could do.

…и всё же некоторые задачи, которые ИИ умеет выполнять уже сейчас, обладают огромной ценностью. Вернёмся к тому, что критически важно в моей работе: производству достоверных исследований. Многие знают о «кризисе воспроизводимости» в академии, когда важные открытия оказывались невоспроизводимыми другими исследователями. В академии достигнут некоторый прогресс: многие исследователи теперь публикуют свои данные, чтобы коллеги могли воспроизвести работу. Проблема в том, что воспроизведение требует много времени: нужно глубоко прочитать и понять статью, проанализировать данные и кропотливо проверить ошибки1. Это очень сложный процесс, который раньше могли выполнять только люди.

Until now.

До настоящего момента.

I gave the new Claude Sonnet 4.5 (to which I had early access) the text of a sophisticated economics paper involving a number of experiments, along with the archive of all of their replication data. I did not do anything other than give Claude the files and the prompts “replicate the findings in this paper from the dataset they uploaded. you need to do this yourself. if you can’t attempt a full replication, do what you can” and, because it involved complex statistics, I asked it to go further: “can you also replicate the full interactions as much as possible?”

Я передал новой модели Claude Sonnet 4.5 (к которой у меня был ранний доступ) текст сложной экономической статьи, включающей ряд экспериментов, вместе с архивом всех данных для воспроизведения. Я не сделал ничего, кроме как отдал Claude файлы и промпты: «воспроизведи выводы этой статьи на основе загруженного датасета. ты должен сделать это сам. если не можешь выполнить полное воспроизведение — сделай что сможешь», а поскольку работа включала сложную статистику, я попросил его пойти дальше: «можешь ли ты также воспроизвести полные взаимодействия, насколько это возможно?»

Without further instruction, Claude read the paper, opened up the archive and sorted through the files, converted the statistical code from one language (STATA) to another (Python), and methodically went through all the findings before reporting a successful reproduction. I spot checked the results and had another AI model, GPT-5 Pro, reproduce the reproduction. It all checked out. I tried this on several other papers with similarly good results, though some were inaccessible due to file size limitations or issues with the replication data provided. Doing this manually would have taken many hours.

Без дополнительных инструкций Claude прочитал статью, открыл архив и разобрал файлы, конвертировал статистический код с одного языка (STATA) на другой (Python) и методично прошёл по всем выводам, после чего сообщил об успешном воспроизведении. Я выборочно проверил результаты, а другая модель, GPT-5 Pro, воспроизвела это воспроизведение. Всё сошлось. Я попробовал то же самое с несколькими другими статьями со столь же хорошими результатами, хотя некоторые были недоступны из-за ограничений на размер файлов или проблем с предоставленными данными для воспроизведения. Сделать это вручную заняло бы много часов.

But the revolutionary part is not that I saved a lot of time. It is that a crisis that has shaken entire academic fields could be partially resolved with reproduction, but doing so required painstaking and expensive human effort that was impossible to do at scale. Now it appears that AI could check many published papers, reproducing results, with implications for all of scientific research. There are still barriers to doing this, including benchmarking for accuracy and fairness, but it is now a real possibility. Reproducing research may be an AI task, not a job, but it is also might change an entire field of human endeavor dramatically. What makes this possible? AI agents have gotten much better, very quickly.

Но революционно тут не то, что я сэкономил много времени. Революционно то, что кризис, потрясший целые академические дисциплины, можно было бы частично разрешить через воспроизведение результатов — но это требовало кропотливой и дорогой человеческой работы, которую невозможно было масштабировать. Теперь же оказывается, что ИИ способен проверять множество опубликованных статей, воспроизводя результаты, с серьёзными последствиями для всей научной работы. Барьеры пока остаются — в частности, бенчмарки точности и справедливости, — но это уже реальная возможность. Воспроизведение исследований может оказаться ИИ-задачей, а не профессией, но это вполне способно радикально изменить целую область человеческой деятельности. Что делает это возможным? ИИ-агенты стали значительно лучше, причём очень быстро.

Agents at the heart of it all

В центре всего — агенты

Generative AI has helped a lot of people do tasks since the original ChatGPT, but the limit was always a human user. AI makes mistakes and errors, so, without a human guiding it on each step, nothing valuable could be accomplished. The dream of autonomous AI agents, which, when given a task, can plan and use tools (coding, web search) to accomplish it, seemed far away. After all, AI makes mistakes, so one failure in the long chain of steps that an agent has to follow to accomplish a task would result in a failure overall.

Генеративный ИИ помог множеству людей выполнять задачи со времён первой ChatGPT, но ограничением всегда был пользователь-человек. ИИ совершает ошибки, поэтому без человека, направляющего его на каждом шаге, нельзя было добиться чего-то ценного. Мечта об автономных ИИ-агентах, которые при получении задачи могут планировать и использовать инструменты (программирование, веб-поиск) для её выполнения, казалась далёкой. Ведь ИИ ошибается — значит, любой сбой в длинной цепочке шагов, которые агент должен пройти для выполнения задачи, привёл бы к общему провалу.

However, that isn’t how things worked out, and another new paper explains why. It turns out most of our assumptions about AI agents were wrong. Even small increases in accuracy (and new models are much less prone to errors) leads to huge increases in the number of tasks an AI can do. And the biggest and latest “thinking” models are actually self-correcting, so they don’t get stopped by errors. All of this means that AI agents can accomplish far more steps than they could before and can use tools (which basically include anything your computer can do) without substantial human intervention.

Однако всё вышло иначе, и ещё одна свежая статья объясняет почему. Оказывается, большинство наших предположений об ИИ-агентах были неверными. Даже небольшое повышение точности (а новые модели гораздо менее склонны к ошибкам) ведёт к огромному росту числа задач, которые ИИ способен выполнить. А самые крупные и новейшие «думающие» модели по сути самокорректируются, так что их не останавливают ошибки. Всё это означает, что ИИ-агенты теперь способны выполнять гораздо больше шагов, чем раньше, и пользоваться инструментами (которые включают, по сути, всё, что умеет ваш компьютер) без существенного вмешательства человека.

So, it is interesting that one of the few measures of AI ability that covers the full range of AI models in the past few years, from GPT-3 to GPT-5, is METR’s test of the length of tasks that AI can accomplish alone with at least 50% accuracy. The exponential gains from GPT-3 to GPT-5 are very consistent over five years, showing the ongoing improvement in agentic work.

Поэтому интересно, что одно из немногих измерений возможностей ИИ, охватывающее весь спектр моделей за последние годы — от GPT-3 до GPT-5, — это тест METR, оценивающий длину задач, которые ИИ способен выполнить самостоятельно с точностью не ниже 50%. Экспоненциальный рост от GPT-3 до GPT-5 очень стабилен на протяжении пяти лет и отражает продолжающееся улучшение агентной работы.

How to use AI to do economically valuable things

Как использовать ИИ для экономически ценных вещей

Agents, however, don’t have true agency in the human sense. For now, we need to decide what to do with them, and that will determine a lot about the future of work. The risk everyone focuses on is using AI to replace human labor, and it is not hard to see this becoming a major concern in the coming years, especially for unimaginative organizations that focus on cost-cutting, rather than using these new capabilities to expand or transform work. But there is a second, very likely, risk about using AI at work: using agents to do more of the tasks we do now, unthinkingly.

Однако у агентов нет настоящей субъектности в человеческом смысле. Пока что мы должны сами решать, что с ними делать, и это во многом определит будущее работы. Риск, на котором все сосредоточены, — использование ИИ для замены человеческого труда; и нетрудно представить, как в ближайшие годы это станет серьёзной проблемой, особенно в неизобретательных организациях, которые сосредоточены на сокращении издержек, а не на использовании новых возможностей для расширения или трансформации работы. Но есть и второй, очень вероятный риск использования ИИ на работе: применять агентов, чтобы бездумно выполнять ещё больше тех же задач, что и сейчас.

As a preview of this particular nightmare, I gave Claude a corporate memo and asked it to turn it into a PowerPoint. And then another PowerPoint from a different perspective. And another one.

В качестве превью этого конкретного кошмара я дал Claude корпоративный меморандум и попросил превратить его в PowerPoint. Затем ещё один PowerPoint с другой точки зрения. И ещё один.

Until I got 17 different PowerPoints. That is too many PowerPoints.

Пока не получил 17 разных PowerPoint-ов. Это слишком много PowerPoint-ов.

If we don’t think hard about WHY we are doing work, and what work should look like, we are all going to drown in a wave of AI content. What is the alternative? The OpenAI paper suggested that experts can work with AI to solve problems by delegating tasks to an AI as a first pass and reviewing the work. If it isn’t good enough, they should try a couple of attempts to give corrections or better instructions. If that doesn’t work, they should just do the work themselves. If experts followed this workflow, the paper estimates they would get work done forty percent faster and sixty percent cheaper, and, even more importantly, retain control over the AI.

Если мы не задумаемся всерьёз о том, ПОЧЕМУ мы выполняем работу и какой эта работа должна быть, мы все утонем в волне ИИ-контента. Какая есть альтернатива? Статья OpenAI предложила, что эксперты могут совместно с ИИ решать задачи: делегировать ИИ как первый проход и проверять результат. Если он недостаточно хорош — попробовать пару раз дать корректировки или более точные инструкции. Если и это не сработало — выполнить работу самим. Если бы эксперты следовали этому процессу, статья оценивает, что они выполняли бы работу на сорок процентов быстрее и на шестьдесят процентов дешевле, и, что ещё важнее, сохраняли бы контроль над ИИ.

Agents are here. They can do real work, and while that work is still limited, it is valuable and increasing. But the same technology that can replicate academic papers in minutes can also generate 17 versions of a PowerPoint deck that nobody needs. The difference between these futures isn’t in the AI, it’s in how we choose to use it. By using our judgement in deciding what’s worth doing, not just what can be done, we can ensure these tools make us more capable, not just more productive.

Агенты уже здесь. Они умеют выполнять реальную работу, и хотя эта работа пока ограничена, она ценна и расширяется. Но та же технология, что воспроизводит академические статьи за минуты, способна сгенерировать и 17 версий PowerPoint-презентации, никому не нужных. Разница между этими вариантами будущего — не в ИИ, а в том, как мы решим его использовать. Применяя суждение в выборе того, что стоит делать, а не только того, что можно сделать, мы сможем добиться, чтобы эти инструменты делали нас более способными, а не просто более продуктивными.

Share

Поделиться

Depending on the field of research, there can be differences between replicating (which can involve collecting new data) and reproducing (which can involve using existing data) research. I don’t go into the various distinctions in this post, but in this case, the AI is working with existing data, but also applying new statistical approaches to that data.

В зависимости от области исследований между replicating (что может включать сбор новых данных) и reproducing (что может предполагать использование уже существующих данных) бывают различия. В этой заметке я не разбираю эти разграничения подробно, но в данном случае ИИ работает с уже существующими данными, применяя к ним при этом новые статистические подходы.