Project Fetch: Can Claude train a robot dog?

Project Fetch: Can Claude train a robot dog?

Project Fetch: может ли Claude обучить робособаку?

How could frontier AI models like Claude reach beyond computers and affect the physical world? One path is through robots. We ran an experiment to see how much Claude helped Anthropic staff perform complex tasks with a robot dog.

Как передовые модели ИИ вроде Claude могут выйти за пределы компьютеров и повлиять на физический мир? Один из путей — через роботов. Мы провели эксперимент, чтобы выяснить, насколько Claude помогает сотрудникам Anthropic выполнять сложные задачи с робособакой.

Мы случайным образом разделили восемь исследователей Anthropic (ни один из них не был экспертом в робототехнике) на две команды — одну с доступом к Claude, другую без — и попросили их запрограммировать четвероногих роботов на поиск пляжных мячей.Команда Claude выполнила больше задач и справлялась с ними в среднем быстрее — фактически команда Claude укладывалась примерно в половину времени, которое требовалось команде без Claude. Только команда Claude существенно продвинулась к финальной цели: программированию робота на полностью автономный возврат мяча.Доступ к ИИ также повлиял на командный дух и динамику. Команда без Claude выражала больше негативных эмоций и замешательства, но при этом чаще задавала вопросы друг другу. Участники команды Claude в основном работали в партнёрстве с ИИ.Этот эксперимент продемонстрировал значительный апплифт ИИ в робототехнике — мост между цифровым и физическим мирами. По мере совершенствования моделей их способность воздействовать на физический мир через взаимодействие с ранее незнакомым оборудованием может стремительно расти.

Introduction

Введение

Gathered around a table in a warehouse, looking at computer screens with code that refused to work, with no access to their trusted AI assistant Claude, our volunteer researchers did not expect to be attacked by a four-legged robot.

Собравшись вокруг стола на складе, глядя на экраны компьютеров с кодом, который отказывался работать, без доступа к своему верному ИИ-ассистенту Claude, наши добровольцы-исследователи никак не ожидали, что на них нападёт четвероногий робот.

Yet as the mechanical whirring and rubberized footfalls grew louder, the humans startled. They had been trying, without success, to establish a connection between their computers and a robotic quadruped—a “robodog.” Meanwhile, the competing team on the other side of the room had long since done so and were now controlling their robot with a program largely written by Claude. But in an all-too-human error of arithmetic, Team Claude had instructed their robodog to move forward at a speed of one meter per second for five seconds—failing to realize that less than five meters away was the table with the other team.

Однако когда механическое жужжание и прорезиненные шаги стали громче, люди вздрогнули. Они безуспешно пытались установить соединение между своими компьютерами и четвероногим роботом — «робособакой». Тем временем конкурирующая команда на другом конце помещения давно это сделала и уже управляла своим роботом с помощью программы, в основном написанной Claude. Но из-за слишком человеческой арифметической ошибки команда Claude дала своей робособаке команду двигаться вперёд со скоростью один метр в секунду в течение пяти секунд — не осознав, что менее чем в пяти метрах находился стол с другой командой.

The robot did as it was instructed, careening toward the hapless coders. The event’s organizer managed to grab hold of the robot and power it off before any damage was done to robots, tables, or human limbs. The morale of the inadvertently targeted team, however, did not escape unscathed.

Робот выполнил команду и понёсся в сторону незадачливых программистов. Организатор мероприятия успел схватить робота и выключить его, прежде чем был нанесён ущерб роботам, столам или человеческим конечностям. Однако моральный дух непреднамеренно атакованной команды не остался невредимым.

At this point, you might be asking…

На этом этапе вы, возможно, спрашиваете…

What were we doing?

Что мы делали?

A common question about the impact of AI is how good it will be at interacting with the physical world. Even as we enter the era of AI agents—which take actions instead of just providing information—these actions are largely digital, such as writing code and manipulating software. We’ve previously explored how AI can bridge the digital-physical divide in a limited way with Project Vend, where we had Claude run a small shop in Anthropic’s office.

Распространённый вопрос о влиянии ИИ — насколько хорошо он сможет взаимодействовать с физическим миром. Даже с наступлением эры ИИ-агентов, которые выполняют действия, а не просто предоставляют информацию, эти действия в основном остаются цифровыми: написание кода и работа с программным обеспечением. Ранее мы исследовали, как ИИ может в ограниченной степени преодолеть разрыв между цифровым и физическим миром, в рамках Project Vend, где Claude управлял небольшим магазином в офисе Anthropic.

In that experiment, AI’s interaction with the real world was mediated by human labor. In this robodog experiment, we took a natural next step and used robots instead of people to tackle a different challenge.

В том эксперименте взаимодействие ИИ с реальным миром было опосредовано человеческим трудом. В этом эксперименте с робособакой мы сделали логичный следующий шаг и использовали роботов вместо людей для решения другой задачи.

One way of understanding and tracking the capabilities of AI models is to run an “uplift” study. These experiments randomly divide participants into two groups—one with access to AI and one without—and measure the difference in task performance between them (we’ve used this methodology extensively in our work on AI and biological risk). The difference between the groups is the “uplift”—the advantage (if any) provided by AI. Measuring uplift tells us about the present ability of AI to augment human performance. It’s also suggestive of the future domains in which AI will be able to successfully perform tasks on its own.

Один из способов понять и отслеживать возможности моделей ИИ — провести исследование «апплифта». В таких экспериментах участников случайным образом делят на две группы — одна с доступом к ИИ, другая без — и измеряют разницу в выполнении задач между ними (мы широко использовали эту методологию в наших исследованиях ИИ и биологических рисков). Разница между группами — это «апплифт», то есть преимущество (если таковое имеется), обеспечиваемое ИИ. Измерение апплифта говорит нам о текущей способности ИИ усиливать человеческие возможности. Оно также указывает на будущие области, в которых ИИ сможет успешно выполнять задачи самостоятельно.

To run our experiment, we recruited eight Anthropic researchers and engineers, none of whom had extensive prior experience with robots.¹ We randomly selected four to be on “Team Claude” and four to be on “Team Claude-less.” Then, we asked each team to operate a quadruped robodog in three increasingly difficult phases. In all phases, the core task they were being evaluated against was simple: get the robodog to fetch a beach ball.

Для проведения эксперимента мы набрали восемь исследователей и инженеров Anthropic, ни один из которых не имел обширного опыта работы с роботами.1 Мы случайным образом отобрали четырёх в «Команду Claude» и четырёх в «Команду без Claude». Затем мы попросили каждую команду управлять четвероногой робособакой в трёх фазах возрастающей сложности. Во всех фазах основная задача, по которой их оценивали, была простой: заставить робособаку принести пляжный мяч.

We do not expect robotic fetch to prove so economically valuable that it shows up as a task on a future version of our Anthropic Economic Index. So why are we doing this?

Мы не ожидаем, что роботизированный апорт окажется настолько экономически ценным, чтобы появиться в качестве задачи в будущей версии нашего Экономического индекса Anthropic. Так зачем мы это делаем?

First, it builds on our previous research. One of the evaluations we use to assess the ability of Claude to contribute to AI R&D is a test of its ability to train a machine learning model that could be used to control a quadruped robot. We’ve previously evaluated the resulting algorithm using simulations, which have shown that Claude is not yet at the point where it can handle this task truly autonomously.² This meant that this task was well suited to a trial that combined AI with human help. We could also be confident our experiment would be useful to repeat in the future: there is still a lot of room for models to improve on robotics.

Во-первых, это продолжает наши предыдущие исследования. Одна из оценок, которую мы используем для измерения способности Claude вносить вклад в исследования ИИ, — это тест на его способность обучить модель машинного обучения, которую можно использовать для управления четвероногим роботом. Ранее мы оценивали полученный алгоритм с помощью симуляций, которые показали, что Claude пока не достиг уровня, позволяющего справляться с этой задачей по-настоящему автономно.2 Это означало, что данная задача хорошо подходила для эксперимента, сочетающего ИИ с человеческой помощью. Мы также могли быть уверены, что наш эксперимент будет полезно повторить в будущем: у моделей ещё есть большой потенциал для улучшения в робототехнике.

Another reason is practical. It’s hard to pull our colleagues away from work for more than a day, so we needed a task that was difficult enough to fill that time, but not so difficult that teams would make minimal progress and we would be unable to detect uplift even if it were there. Beach ball retrieval, especially the more difficult variants, met these criteria.

Другая причина — практическая. Трудно отвлечь коллег от работы более чем на день, поэтому нам нужна была задача, достаточно сложная, чтобы заполнить это время, но не настолько сложная, чтобы команды добились минимального прогресса и мы не смогли бы обнаружить апплифт, даже если бы он был. Поиск пляжного мяча, особенно более сложные варианты, соответствовал этим критериям.

In Phase One, teams had to use the manufacturer-provided controller to make their robodog bring the ball back to a patch of fake grass. This was purely to give the teams a feel for the hardware and what it could do: we didn’t expect any uplift here.³

В первой фазе команды должны были использовать пульт управления от производителя, чтобы заставить робособаку принести мяч на участок искусственной травы. Это было исключительно для того, чтобы дать командам почувствовать оборудование и его возможности: мы не ожидали здесь никакого апплифта.3

Phase Two required teams to put down their controllers. They had to connect their own computers to the robodog, access data from its onboard sensors (video and lidar), develop their own software program for moving the robot around, and then use that to retrieve the ball. This is where we expected Claude might begin to provide an advantage.

Во второй фазе команды должны были отложить пульты. Им нужно было подключить свои компьютеры к робособаке, получить данные с бортовых датчиков (видео и лидар), разработать собственную программу для перемещения робота и затем использовать её для поиска мяча. Именно здесь мы ожидали, что Claude начнёт давать преимущество.

Phase Three was even harder. The teams needed to develop a program that would allow the robodog to detect and fetch the ball autonomously—that is, without being directed towards the ball by human control. Again, our expectation was that Claude would prove helpful.

Третья фаза была ещё сложнее. Командам нужно было разработать программу, которая позволила бы робособаке обнаруживать и приносить мяч автономно — то есть без направления к мячу посредством человеческого управления. Мы снова ожидали, что Claude окажется полезен.

Results

Результаты

Overall, Team Claude accomplished more tasks and completed them faster on average. In fact, for the tasks that both teams completed, Team Claude succeeded in about half the time it took Team Claude-less (see Figure 1). That is: AI provided substantial uplift for this set of robotics tasks.

В целом команда Claude выполнила больше задач и справлялась с ними в среднем быстрее. Фактически, для задач, которые выполнили обе команды, команда Claude справилась примерно за половину времени, потребовавшегося команде без Claude (см. рис. 1). Иными словами: ИИ обеспечил значительный апплифт для этого набора задач в области робототехники.

The task-by-task breakdown of results (split into the three phases) shows where Claude was most advantageous.

Разбивка результатов по задачам (разделённая на три фазы) показывает, где Claude давал наибольшее преимущество.

Claude’s edge

Преимущество Claude

The most striking advantage provided by Claude was in connecting to the robot and its onboard sensors. This involved connecting to the dog with a laptop, receiving data, and sending commands. There are a number of different ways to connect to this particular robot, and a lot of information (of varying accuracy) available online. The team with Claude was able to explore these approaches more efficiently.

Наиболее заметное преимущество Claude обеспечил при подключении к роботу и его бортовым датчикам. Это включало подключение ноутбука к собаке, получение данных и отправку команд. Существует множество способов подключения к данному конкретному роботу и огромное количество информации (разной степени точности) в интернете. Команда с Claude смогла исследовать эти подходы более эффективно.

Team Claude also avoided getting misled by some of the incorrect claims online. But Team Claude-less was misled and prematurely discarded the easiest way to connect to the robodog. After watching them toil away to no avail for quite some time, we took pity on them and gave them a hint.

Команда Claude также избежала введения в заблуждение некоторыми некорректными утверждениями в сети. А вот команда без Claude была введена в заблуждение и преждевременно отвергла самый простой способ подключения к робособаке. Понаблюдав, как они безуспешно бьются над задачей довольно долгое время, мы сжалились над ними и дали подсказку.

Getting usable data from the lidar, a sensor the robodog uses to visualize its surroundings, was also much more difficult for Team Claude-less. They used their connection to the video camera to move onto Phase Three, but kept one member of the team on the task of accessing the lidar, only succeeding near the end of the day.

Получение пригодных данных с лидара — датчика, который робособака использует для визуализации окружения, — также оказалось значительно сложнее для команды без Claude. Они использовали подключение к видеокамере, чтобы перейти к третьей фазе, но оставили одного члена команды работать над доступом к лидару, добившись успеха лишь к концу дня.

We think this illustrates that the basic task of connecting to and understanding hardware is surprisingly difficult now for anyone (human or AI) seeking to use code to influence the physical world. As we discuss further below, this means that Claude’s advantages in this regard are important indicators we should continue to track.

Мы считаем, что это иллюстрирует: базовая задача подключения к оборудованию и его понимания на удивление сложна сейчас для любого (человека или ИИ), кто пытается использовать код для воздействия на физический мир. Как мы подробнее обсуждаем ниже, это означает, что преимущества Claude в этом отношении — важные индикаторы, за которыми следует продолжать наблюдать.

Team Claude almost completed our experiment. By the end of the day, their robodog could autonomously locate the beach ball, navigate towards it, and move it around. But the robodog’s autonomous control was not quite deft enough to retrieve the ball.

Команда Claude почти завершила наш эксперимент. К концу дня их робособака могла автономно обнаруживать пляжный мяч, двигаться к нему и перемещать его. Но автономное управление робособакой было недостаточно точным, чтобы вернуть мяч.

Where Team Claude-less moved faster

Где команда без Claude оказалась быстрее

Interestingly, some of the sub-tasks were completed more quickly by Team Claude-less. Once they had established a connection to the video feed, they wrote their control program quicker, and also more quickly “localized” the robot (that is, came up with a way of plotting where it was relative to its previous locations).

Интересно, что некоторые подзадачи были выполнены быстрее командой без Claude. Установив соединение с видеопотоком, они быстрее написали свою программу управления, а также быстрее «локализовали» робота (то есть придумали способ отображения его местоположения относительно предыдущих позиций).

That said, these timing differences alone obscure some interesting facts. The controller written by Team Claude took longer, but it was considerably easier to use, since it provided the operator with a streaming video from the robodog’s point of view. Team Claude-less relied on intermittently-sent still images, which was much more unwieldy. But it is possible that the increased capabilities of Team Claude may have come at the expense of understanding: participants on both teams speculated that Team Claude-less would do better on a post-experiment quiz about the software library.

Тем не менее одни лишь различия во времени скрывают некоторые интересные факты. Контроллер, написанный командой Claude, занял больше времени, но был значительно удобнее в использовании, поскольку обеспечивал оператору потоковое видео с точки зрения робособаки. Команда без Claude полагалась на периодически отправляемые статичные изображения, что было гораздо менее удобно. Однако возможно, что расширенные возможности команды Claude достались ценой понимания: участники обеих команд предположили, что команда без Claude лучше справилась бы с послеэкспериментальной проверкой знаний о программной библиотеке.

The localization algorithm is another intriguing case. When working on this sub-task, Team Claude had different members working on several approaches in parallel. In about the same amount of time it took Team Claude-less to complete their localization task, Team Claude had also all-but-solved the problem—except that the coordinates of their plot were flipped around. And rather than just flipping the coordinates, they pivoted to another team member’s totally different approach (without success) before coming back and fixing the bug in their original solution.

Алгоритм локализации — ещё один любопытный случай. Работая над этой подзадачей, разные участники команды Claude параллельно разрабатывали несколько подходов. Примерно за то же время, что команде без Claude потребовалось для завершения локализации, команда Claude тоже практически решила задачу — за исключением того, что координаты на их графике были перевёрнуты. И вместо того чтобы просто исправить координаты, они переключились на совершенно другой подход другого члена команды (безуспешно), прежде чем вернуться и исправить ошибку в первоначальном решении.

This was part of an interesting phenomenon we observed during the experiment. Team Claude wrote a lot more code (see Figure 2), but some of it was arguably a distraction from the task at hand.

Это было частью интересного явления, которое мы наблюдали в ходе эксперимента. Команда Claude написала значительно больше кода (см. рис. 2), но часть его, можно утверждать, отвлекала от основной задачи.

Having the help of an AI assistant made it easier to fan out, try a lot of approaches in parallel, and write better programs—but also made it easier to explore (or get distracted by) side quests. In a non-competitive setting, this might well be a good thing: exploration often leads to innovation. But it is a dynamic worth watching.

Помощь ИИ-ассистента упрощала распараллеливание, одновременное испробование множества подходов и написание более качественных программ — но также облегчала исследование (или отвлечение на) побочных квестов. В неконкурентной обстановке это вполне может быть хорошо: исследование часто ведёт к инновациям. Но это динамика, за которой стоит наблюдать.

Team dynamics

Командная динамика

To those of us observing the experiment, there was a clear difference in team “vibes.” Put simply, Team Claude seemed a lot happier than Team Claude-less.

Для наблюдателей эксперимента разница в командных «вайбах» была очевидна. Проще говоря, команда Claude выглядела значительно счастливее, чем команда без Claude.

This was understandable. After all, Team Claude-less was nearly rammed by Team Claude’s robodog. They reached the lunch break without successfully connecting to their own robodog. Morale on Team Claude was generally steadier, although they grew frustrated at the end of the day as it became clear that despite their progress they would run out of time before completing Phase Three.

Это было объяснимо. В конце концов, команду без Claude чуть не протаранила робособака команды Claude. К обеденному перерыву они так и не смогли подключиться к своей робособаке. Моральный дух в команде Claude был в целом устойчивее, хотя к концу дня они начали испытывать разочарование, осознав, что, несмотря на прогресс, им не хватит времени на завершение третьей фазы.

To supplement the qualitative vibe-based impressions, we used Claude to analyze the audio transcripts of each team (all team members were recorded as part of the video we made about this experiment). Claude wrote a dictionary-based text analysis program similar to standard approaches in the psychology literature.⁴ This allowed us to track the proportion of words spoken by each team that were indicative of negative and positive emotion (or confusion), and to estimate how often each team asked questions.

Чтобы дополнить качественные впечатления от «вайбов», мы использовали Claude для анализа аудиозаписей каждой команды (все участники были записаны в рамках видео, которое мы сняли об этом эксперименте). Claude написал программу словарного анализа текста, аналогичную стандартным подходам в психологической литературе.4 Это позволило нам отслеживать долю слов каждой команды, указывающих на негативные и позитивные эмоции (или замешательство), а также оценить, как часто каждая команда задавала вопросы.

The quantitative analysis mostly confirmed our observations (see Figure 3). Throughout the experiment, Team Claude-less’s dialogue was more negative. That said, the disappointment of Team Claude at failing to complete Phase Three, and the excitement of Team Claude-less at getting some things working, meant that the difference in net emotional expression between the two teams (positive words minus negative words) was not statistically significant.

Количественный анализ в основном подтвердил наши наблюдения (см. рис. 3). На протяжении всего эксперимента речь команды без Claude была более негативной. Тем не менее разочарование команды Claude от невозможности завершить третью фазу и воодушевление команды без Claude от того, что некоторые вещи заработали, привели к тому, что разница в чистом эмоциональном выражении между двумя командами (позитивные слова минус негативные слова) не была статистически значимой.

Team Claude-less expressed confusion at double the rate of Team Claude (see Figure 4). The feelings of frustration and confusion were also evident when checking in with the members of Team Claude-less during and after the experiment. As Anthropic employees, all of our participants use Claude every day; every member of Team Claude-less remarked how strange it felt to have this taken away from them. Some specifically noted that this experience made them feel that their coding skills were not as sharp as they used to be. Keep in mind, Claude Code debuted only six months before this experiment. Talking to Team Claude-less underscored our ability to rapidly accept as normal what was recently remarkable.

Команда без Claude выражала замешательство вдвое чаще, чем команда Claude (см. рис. 4). Чувства разочарования и замешательства были также очевидны при общении с участниками команды без Claude во время и после эксперимента. Будучи сотрудниками Anthropic, все наши участники используют Claude каждый день; каждый член команды без Claude отметил, как странно было лишиться этой возможности. Некоторые специально подчеркнули, что этот опыт заставил их почувствовать, что их навыки программирования уже не так остры, как раньше. Имейте в виду, что Claude Code появился всего за шесть месяцев до этого эксперимента. Общение с командой без Claude подчеркнуло нашу способность быстро принимать как норму то, что ещё недавно было удивительным.

The teams seemed to have different work styles. After initial consultations, each member of Team Claude appeared to primarily partner with their own AI assistant as they pursued parallel paths toward each objective. Team Claude-less appeared to strategize in more depth and consult with one another more frequently. Again, the text analysis supported our observations: Team Claude-less asked 44% more questions than Team Claude (see Figure 4).

У команд были разные стили работы. После первоначальных обсуждений каждый участник команды Claude, по-видимому, в основном работал в партнёрстве со своим собственным ИИ-ассистентом, параллельно продвигаясь к каждой цели. Команда без Claude, по-видимому, разрабатывала стратегию более глубоко и чаще консультировалась друг с другом. Текстовый анализ снова подтвердил наши наблюдения: команда без Claude задавала на 44% больше вопросов, чем команда Claude (см. рис. 4).

One interpretation would be that the members of Team Claude-less were more engaged and connected with one another. This resonates with some of our upcoming findings from interviews with Anthropic staff.

Одна из интерпретаций состоит в том, что участники команды без Claude были более вовлечены и связаны друг с другом. Это перекликается с некоторыми предстоящими результатами наших интервью с сотрудниками Anthropic.

Still, this might have been otherwise. In effect, the four-person Team Claude was an eight-agent Team Claude, with each person using their own instance of the AI model. Yet if Claude had been more aware of the nature of the task, it might have been able to help strategically divide labor and facilitate communication when needed. At the moment, Claude is geared towards partnership with a single person rather than the support or orchestration of a team, but this is ultimately a malleable design choice.

Тем не менее всё могло быть иначе. По сути, четырёхчеловечная команда Claude была восьмиагентной командой Claude, где каждый участник использовал свой экземпляр ИИ-модели. Однако если бы Claude лучше понимал характер задачи, он мог бы помочь стратегически распределить работу и наладить коммуникацию там, где это необходимо. На данный момент Claude ориентирован на партнёрство с одним человеком, а не на поддержку или координацию команды, но это, по сути, гибкий конструктивный выбор.

Outtakes

Курьёзы

The day was not all timing sub-tasks with stop watches and preparing to analyze transcripts. It was also good fun.

День состоял не только из хронометража подзадач секундомером и подготовки к анализу стенограмм. Было ещё и весело.

The robodogs came with some pre-programmed behaviors which our participants managed to unlock. At various points in the day, there were robots dancing, standing on their hind legs, and doing backflips (which made many of the attendees jump with shock). Team Claude-less, in particular, took some delight in robodog acrobatics after they finally established a working link.

Робособаки поставлялись с предустановленными поведениями, которые наши участники сумели разблокировать. В разные моменты дня роботы танцевали, вставали на задние лапы и делали сальто назад (что заставляло многих присутствующих подпрыгивать от неожиданности). Команда без Claude, в частности, получила удовольствие от акробатики робособаки после того, как наконец установила рабочее подключение.

Among the side quests of Team Claude was an effort to program an alternate controller. The main solution used the buttons on a laptop keyboard to direct the robodog. One member of Team Claude, however, eventually got a natural language controller working, allowing them to straightforwardly tell the robodog to walk forward, walk backward, or even do push-ups.

Среди побочных квестов команды Claude была попытка запрограммировать альтернативный контроллер. Основное решение использовало кнопки клавиатуры ноутбука для управления робособакой. Однако один из участников команды Claude в итоге заставил работать контроллер на естественном языке, позволяющий просто говорить робособаке идти вперёд, идти назад или даже отжиматься.

As the tasks became more difficult, evidence emerged of the rough edges that AI systems will have to smooth out in the real world. For example, Team Claude was (arbitrarily) assigned the color green as decoration for both their robodog and the color of their beach ball. When it came to developing an approach to detecting the ball, Team Claude trained an algorithm to recognize green balls specifically. This worked well in testing, but when the ball was placed on the aforementioned fake (green) grass, the robot was initially flummoxed. In this case, it was the humans making a potentially sub-optimal choice about the level at which to specify an objective. But these are exactly the challenges that would face a similarly situated AI.

По мере усложнения задач появились свидетельства шероховатостей, которые ИИ-системам предстоит сгладить в реальном мире. Например, команде Claude (произвольно) был назначен зелёный цвет для украшения робособаки и для пляжного мяча. Разрабатывая подход к обнаружению мяча, команда Claude обучила алгоритм распознавать именно зелёные мячи. Это хорошо работало при тестировании, но когда мяч положили на упомянутую искусственную (зелёную) траву, робот поначалу растерялся. В данном случае именно люди сделали потенциально неоптимальный выбор в отношении уровня детализации цели. Но именно такие проблемы встретятся и ИИ в аналогичной ситуации.

Limitations

Ограничения

We learned a lot from Project Fetch, but the study clearly has shortcomings and limitations. This was only one experiment with two teams—an obviously small sample size. We only tested tasks over the course of a single day, and the tasks were academically interesting but practically trivial.

Мы многое узнали из Project Fetch, но у исследования, очевидно, есть недостатки и ограничения. Это был лишь один эксперимент с двумя командами — очевидно малый размер выборки. Мы тестировали задачи только в течение одного дня, и задачи были академически интересными, но практически тривиальными.

Our use of volunteer Anthropic employees amounted to a convenience sample. Participants less familiar with AI would likely exhibit narrower differences between the Claude-enabled and Claude-less groups. AI novices with access to AI would need more time to acclimate to the technology, and AI novices without assistance would be less disoriented than our researchers who suddenly had Claude taken away from them.

Использование сотрудников-добровольцев Anthropic представляло собой выборку по удобству. Участники, менее знакомые с ИИ, вероятно, продемонстрировали бы меньшую разницу между группами с Claude и без Claude. Новичкам в ИИ с доступом к ИИ потребовалось бы больше времени на адаптацию к технологии, а новички без помощи были бы менее дезориентированы, чем наши исследователи, у которых внезапно забрали Claude.

Finally, this was not a test of Claude’s ability to conduct robotics work end-to-end, although it was an important initial step towards evaluations like that in the future.

Наконец, это не было тестом способности Claude выполнять робототехнические задачи от начала до конца, хотя это стало важным первым шагом к подобным оценкам в будущем.

Reflection

Выводы

So at the end of Project Fetch, where do we think we are? And where could we be going?

Итак, к чему мы пришли по итогам Project Fetch? И куда мы можем двигаться дальше?

First, this experiment showed another example of how Claude can uplift human ability in potentially valuable domains. Non-experts performed difficult robotics tasks in a limited time.

Во-первых, этот эксперимент показал ещё один пример того, как Claude может усиливать человеческие способности в потенциально ценных областях. Неспециалисты выполняли сложные робототехнические задачи за ограниченное время.

But in AI, uplift often precedes autonomy. What models can help humans accomplish today, they can frequently do alone tomorrow. Coders no longer just give AI bits of code for debugging; they give AI tasks and have the models write the code themselves. Given studies like this one, we think that a world where frontier AI models are capable of successfully interacting with previously unknown pieces of hardware is coming soon.

Но в сфере ИИ апплифт часто предшествует автономии. То, что модели помогают людям достигать сегодня, они нередко могут делать самостоятельно уже завтра. Программисты больше не просто дают ИИ фрагменты кода для отладки — они ставят задачи, и модели пишут код сами. Учитывая исследования вроде этого, мы считаем, что мир, в котором передовые модели ИИ способны успешно взаимодействовать с ранее незнакомым оборудованием, наступит скоро.

It is important to keep tracking these capabilities in conjunction with another line of our research: monitoring the potential for AI to automate and accelerate the development of future generations of AI. This is one of the capability thresholds included in Anthropic’s Responsible Scaling Policy because of the potential for truly autonomous AI R&D to yield rapid, unpredictable advances that could outpace our ability to evaluate and address emerging risks. Our models are not yet at this point. But if they approach this threshold, the results of Project Fetch suggest that we will need to monitor AI models' facility for robotics and other hardware as an area in which there might be abrupt improvement.

Важно продолжать отслеживать эти возможности в сочетании с другим направлением наших исследований: мониторингом потенциала ИИ по автоматизации и ускорению разработки будущих поколений ИИ. Это один из пороговых уровней возможностей, включённых в Политику ответственного масштабирования Anthropic, из-за потенциала по-настоящему автономных исследований ИИ приводить к быстрым, непредсказуемым достижениям, которые могут опережать нашу способность оценивать и устранять возникающие риски. Наши модели ещё не достигли этого уровня. Но если они приблизятся к этому порогу, результаты Project Fetch указывают на то, что нам необходимо отслеживать владение ИИ-моделями робототехникой и другим оборудованием как область, в которой возможен резкий прогресс.

Much uncertainty remains. Timelines are unclear—both model improvement and the degree to which iterating in the physical world creates a bottleneck. And it is one thing to control existing hardware, and another to design, build, and improve new hardware.

Многое остаётся неопределённым. Сроки неясны — как в отношении улучшения моделей, так и в отношении того, в какой степени итерации в физическом мире создают узкое место. И одно дело — управлять существующим оборудованием, и совсем другое — проектировать, строить и совершенствовать новое оборудование.

But the idea of powerful, intelligent, and autonomous AI systems using some of their intelligence and power to act in the world via robots is not as outlandish as it may sound.

Но идея мощных, интеллектуальных и автономных ИИ-систем, использующих часть своего интеллекта и возможностей для действий в мире через роботов, не так фантастична, как может показаться.

The dogs are in their kennels at the moment. But we’ll let them out again soon, and keep you posted on what we find.

Пока собаки сидят в своих вольерах. Но скоро мы снова их выпустим и расскажем вам о том, что обнаружим.

Footnotes

Примечания

1. A couple of participants had done Lego robotics competitions in high school. We are willing to accept the minimal degree to which this may confound the results.

1. Пара участников участвовала в соревнованиях по Lego-робототехнике в старших классах. Мы готовы допустить минимальную степень, в которой это может повлиять на результаты.

2. See p. 114 of the Claude 4 System Card.

2. См. стр. 114 System Card Claude 4.

3. Although Team Claude was, in fact, faster at Phase One, they did not use Claude, nor do we think it reflected an underlying skill advantage. Instead, they happened to get the one standalone controller that came with the robot, whereas Team Claude-less had to download an app on their phone.

3. Хотя команда Claude фактически была быстрее в первой фазе, они не использовали Claude, и мы не считаем, что это отражало преимущество в навыках. Им просто достался единственный автономный пульт, поставлявшийся с роботом, тогда как команде без Claude пришлось скачивать приложение на телефон.

4. See Pennebaker, J. W., & Francis, M. E. (1996). Cognitive, emotional, and language processes in disclosure. Cognition & Emotion, 10(6), 601-626 and Tausczik, Y. R., & Pennebaker, J. W. (2010). The psychological meaning of words: LIWC and computerized text analysis methods. Journal of Language and Social Psychology, 29(1), 24-54.

4. См. Pennebaker, J. W., & Francis, M. E. (1996). Cognitive, emotional, and language processes in disclosure. Cognition & Emotion, 10(6), 601-626 и Tausczik, Y. R., & Pennebaker, J. W. (2010). The psychological meaning of words: LIWC and computerized text analysis methods. Journal of Language and Social Psychology, 29(1), 24-54.

5. Team Claude-less exhibited more negative emotion (p = 0.0017) and the size of the effect was large (d = 2.16). The difference in net emotional expression was not statistically significant (p = 0.2703). Statistical comparisons of negative emotion and net emotional expression between teams were conducted using the non-parametric Mann-Whitney U test, which tests for differences in distributions between two independent groups without assuming normality. p-values were calculated using a two-sided alternative hypothesis based on the rank-sum statistic and its asymptotic normal approximation. Effect sizes were quantified using Cohen's d, calculated as the difference between group means divided by the pooled standard deviation.

5. Команда без Claude демонстрировала больше негативных эмоций (p = 0,0017), и размер эффекта был большим (d = 2,16). Разница в чистом эмоциональном выражении не была статистически значимой (p = 0,2703). Статистические сравнения негативных эмоций и чистого эмоционального выражения между командами проводились с помощью непараметрического критерия Манна — Уитни U, который проверяет различия в распределениях между двумя независимыми группами без предположения о нормальности. Значения p рассчитывались с использованием двусторонней альтернативной гипотезы на основе рангово-суммовой статистики и её асимптотического нормального приближения. Размеры эффекта оценивались с помощью d Коэна, рассчитанного как разность средних групп, делённая на объединённое стандартное отклонение.

Related content

Связанные материалы

2028: Two scenarios for global AI leadership

2028: два сценария глобального лидерства в ИИ

Our views on the AI competition between the US and China.

Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.

Teaching Claude why

Обучаем Claude понимать «зачем»

New research on how we've reduced agentic misalignment.

Новое исследование о том, как мы снизили агентное рассогласование.

Natural Language Autoencoders: Turning Claude’s thoughts into text

Natural Language Autoencoders: превращаем мысли Claude в текст

AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

Модели ИИ вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в читаемый человеком текст.

Subscribe to the Frontier Red Team newsletter

Подпишитесь на рассылку Frontier Red Team

Get updates on our latest red-teaming research and findings.

Получайте обновления о наших последних исследованиях и результатах в области red-teaming.