Project Fetch: Can Claude train a robot dog?

Project Fetch: может ли Claude обучить робособаку?

Как передовые модели ИИ вроде Claude могут выйти за пределы компьютеров и повлиять на физический мир? Один из путей — через роботов. Мы провели эксперимент, чтобы выяснить, насколько Claude помогает сотрудникам Anthropic выполнять сложные задачи с робособакой.

Мы случайным образом разделили восемь исследователей Anthropic (ни один из них не был экспертом в робототехнике) на две команды — одну с доступом к Claude, другую без — и попросили их запрограммировать четвероногих роботов на поиск пляжных мячей.Команда Claude выполнила больше задач и справлялась с ними в среднем быстрее — фактически команда Claude укладывалась примерно в половину времени, которое требовалось команде без Claude. Только команда Claude существенно продвинулась к финальной цели: программированию робота на полностью автономный возврат мяча.Доступ к ИИ также повлиял на командный дух и динамику. Команда без Claude выражала больше негативных эмоций и замешательства, но при этом чаще задавала вопросы друг другу. Участники команды Claude в основном работали в партнёрстве с ИИ.Этот эксперимент продемонстрировал значительный апплифт ИИ в робототехнике — мост между цифровым и физическим мирами. По мере совершенствования моделей их способность воздействовать на физический мир через взаимодействие с ранее незнакомым оборудованием может стремительно расти.

Введение

Собравшись вокруг стола на складе, глядя на экраны компьютеров с кодом, который отказывался работать, без доступа к своему верному ИИ-ассистенту Claude, наши добровольцы-исследователи никак не ожидали, что на них нападёт четвероногий робот.

Однако когда механическое жужжание и прорезиненные шаги стали громче, люди вздрогнули. Они безуспешно пытались установить соединение между своими компьютерами и четвероногим роботом — «робособакой». Тем временем конкурирующая команда на другом конце помещения давно это сделала и уже управляла своим роботом с помощью программы, в основном написанной Claude. Но из-за слишком человеческой арифметической ошибки команда Claude дала своей робособаке команду двигаться вперёд со скоростью один метр в секунду в течение пяти секунд — не осознав, что менее чем в пяти метрах находился стол с другой командой.

Робот выполнил команду и понёсся в сторону незадачливых программистов. Организатор мероприятия успел схватить робота и выключить его, прежде чем был нанесён ущерб роботам, столам или человеческим конечностям. Однако моральный дух непреднамеренно атакованной команды не остался невредимым.

На этом этапе вы, возможно, спрашиваете…

Что мы делали?

Распространённый вопрос о влиянии ИИ — насколько хорошо он сможет взаимодействовать с физическим миром. Даже с наступлением эры ИИ-агентов, которые выполняют действия, а не просто предоставляют информацию, эти действия в основном остаются цифровыми: написание кода и работа с программным обеспечением. Ранее мы исследовали, как ИИ может в ограниченной степени преодолеть разрыв между цифровым и физическим миром, в рамках Project Vend, где Claude управлял небольшим магазином в офисе Anthropic.

В том эксперименте взаимодействие ИИ с реальным миром было опосредовано человеческим трудом. В этом эксперименте с робособакой мы сделали логичный следующий шаг и использовали роботов вместо людей для решения другой задачи.

Один из способов понять и отслеживать возможности моделей ИИ — провести исследование «апплифта». В таких экспериментах участников случайным образом делят на две группы — одна с доступом к ИИ, другая без — и измеряют разницу в выполнении задач между ними (мы широко использовали эту методологию в наших исследованиях ИИ и биологических рисков). Разница между группами — это «апплифт», то есть преимущество (если таковое имеется), обеспечиваемое ИИ. Измерение апплифта говорит нам о текущей способности ИИ усиливать человеческие возможности. Оно также указывает на будущие области, в которых ИИ сможет успешно выполнять задачи самостоятельно.

Для проведения эксперимента мы набрали восемь исследователей и инженеров Anthropic, ни один из которых не имел обширного опыта работы с роботами.1 Мы случайным образом отобрали четырёх в «Команду Claude» и четырёх в «Команду без Claude». Затем мы попросили каждую команду управлять четвероногой робособакой в трёх фазах возрастающей сложности. Во всех фазах основная задача, по которой их оценивали, была простой: заставить робособаку принести пляжный мяч.

Мы не ожидаем, что роботизированный апорт окажется настолько экономически ценным, чтобы появиться в качестве задачи в будущей версии нашего Экономического индекса Anthropic. Так зачем мы это делаем?

Во-первых, это продолжает наши предыдущие исследования. Одна из оценок, которую мы используем для измерения способности Claude вносить вклад в исследования ИИ, — это тест на его способность обучить модель машинного обучения, которую можно использовать для управления четвероногим роботом. Ранее мы оценивали полученный алгоритм с помощью симуляций, которые показали, что Claude пока не достиг уровня, позволяющего справляться с этой задачей по-настоящему автономно.2 Это означало, что данная задача хорошо подходила для эксперимента, сочетающего ИИ с человеческой помощью. Мы также могли быть уверены, что наш эксперимент будет полезно повторить в будущем: у моделей ещё есть большой потенциал для улучшения в робототехнике.

Другая причина — практическая. Трудно отвлечь коллег от работы более чем на день, поэтому нам нужна была задача, достаточно сложная, чтобы заполнить это время, но не настолько сложная, чтобы команды добились минимального прогресса и мы не смогли бы обнаружить апплифт, даже если бы он был. Поиск пляжного мяча, особенно более сложные варианты, соответствовал этим критериям.

В первой фазе команды должны были использовать пульт управления от производителя, чтобы заставить робособаку принести мяч на участок искусственной травы. Это было исключительно для того, чтобы дать командам почувствовать оборудование и его возможности: мы не ожидали здесь никакого апплифта.3

Во второй фазе команды должны были отложить пульты. Им нужно было подключить свои компьютеры к робособаке, получить данные с бортовых датчиков (видео и лидар), разработать собственную программу для перемещения робота и затем использовать её для поиска мяча. Именно здесь мы ожидали, что Claude начнёт давать преимущество.

Третья фаза была ещё сложнее. Командам нужно было разработать программу, которая позволила бы робособаке обнаруживать и приносить мяч автономно — то есть без направления к мячу посредством человеческого управления. Мы снова ожидали, что Claude окажется полезен.

Результаты

В целом команда Claude выполнила больше задач и справлялась с ними в среднем быстрее. Фактически, для задач, которые выполнили обе команды, команда Claude справилась примерно за половину времени, потребовавшегося команде без Claude (см. рис. 1). Иными словами: ИИ обеспечил значительный апплифт для этого набора задач в области робототехники.

Разбивка результатов по задачам (разделённая на три фазы) показывает, где Claude давал наибольшее преимущество.

Преимущество Claude

Наиболее заметное преимущество Claude обеспечил при подключении к роботу и его бортовым датчикам. Это включало подключение ноутбука к собаке, получение данных и отправку команд. Существует множество способов подключения к данному конкретному роботу и огромное количество информации (разной степени точности) в интернете. Команда с Claude смогла исследовать эти подходы более эффективно.

Команда Claude также избежала введения в заблуждение некоторыми некорректными утверждениями в сети. А вот команда без Claude была введена в заблуждение и преждевременно отвергла самый простой способ подключения к робособаке. Понаблюдав, как они безуспешно бьются над задачей довольно долгое время, мы сжалились над ними и дали подсказку.

Получение пригодных данных с лидара — датчика, который робособака использует для визуализации окружения, — также оказалось значительно сложнее для команды без Claude. Они использовали подключение к видеокамере, чтобы перейти к третьей фазе, но оставили одного члена команды работать над доступом к лидару, добившись успеха лишь к концу дня.

Мы считаем, что это иллюстрирует: базовая задача подключения к оборудованию и его понимания на удивление сложна сейчас для любого (человека или ИИ), кто пытается использовать код для воздействия на физический мир. Как мы подробнее обсуждаем ниже, это означает, что преимущества Claude в этом отношении — важные индикаторы, за которыми следует продолжать наблюдать.

Команда Claude почти завершила наш эксперимент. К концу дня их робособака могла автономно обнаруживать пляжный мяч, двигаться к нему и перемещать его. Но автономное управление робособакой было недостаточно точным, чтобы вернуть мяч.

Где команда без Claude оказалась быстрее

Интересно, что некоторые подзадачи были выполнены быстрее командой без Claude. Установив соединение с видеопотоком, они быстрее написали свою программу управления, а также быстрее «локализовали» робота (то есть придумали способ отображения его местоположения относительно предыдущих позиций).

Тем не менее одни лишь различия во времени скрывают некоторые интересные факты. Контроллер, написанный командой Claude, занял больше времени, но был значительно удобнее в использовании, поскольку обеспечивал оператору потоковое видео с точки зрения робособаки. Команда без Claude полагалась на периодически отправляемые статичные изображения, что было гораздо менее удобно. Однако возможно, что расширенные возможности команды Claude достались ценой понимания: участники обеих команд предположили, что команда без Claude лучше справилась бы с послеэкспериментальной проверкой знаний о программной библиотеке.

Алгоритм локализации — ещё один любопытный случай. Работая над этой подзадачей, разные участники команды Claude параллельно разрабатывали несколько подходов. Примерно за то же время, что команде без Claude потребовалось для завершения локализации, команда Claude тоже практически решила задачу — за исключением того, что координаты на их графике были перевёрнуты. И вместо того чтобы просто исправить координаты, они переключились на совершенно другой подход другого члена команды (безуспешно), прежде чем вернуться и исправить ошибку в первоначальном решении.

Это было частью интересного явления, которое мы наблюдали в ходе эксперимента. Команда Claude написала значительно больше кода (см. рис. 2), но часть его, можно утверждать, отвлекала от основной задачи.

Помощь ИИ-ассистента упрощала распараллеливание, одновременное испробование множества подходов и написание более качественных программ — но также облегчала исследование (или отвлечение на) побочных квестов. В неконкурентной обстановке это вполне может быть хорошо: исследование часто ведёт к инновациям. Но это динамика, за которой стоит наблюдать.

Командная динамика

Для наблюдателей эксперимента разница в командных «вайбах» была очевидна. Проще говоря, команда Claude выглядела значительно счастливее, чем команда без Claude.

Это было объяснимо. В конце концов, команду без Claude чуть не протаранила робособака команды Claude. К обеденному перерыву они так и не смогли подключиться к своей робособаке. Моральный дух в команде Claude был в целом устойчивее, хотя к концу дня они начали испытывать разочарование, осознав, что, несмотря на прогресс, им не хватит времени на завершение третьей фазы.

Чтобы дополнить качественные впечатления от «вайбов», мы использовали Claude для анализа аудиозаписей каждой команды (все участники были записаны в рамках видео, которое мы сняли об этом эксперименте). Claude написал программу словарного анализа текста, аналогичную стандартным подходам в психологической литературе.4 Это позволило нам отслеживать долю слов каждой команды, указывающих на негативные и позитивные эмоции (или замешательство), а также оценить, как часто каждая команда задавала вопросы.

Количественный анализ в основном подтвердил наши наблюдения (см. рис. 3). На протяжении всего эксперимента речь команды без Claude была более негативной. Тем не менее разочарование команды Claude от невозможности завершить третью фазу и воодушевление команды без Claude от того, что некоторые вещи заработали, привели к тому, что разница в чистом эмоциональном выражении между двумя командами (позитивные слова минус негативные слова) не была статистически значимой.

Команда без Claude выражала замешательство вдвое чаще, чем команда Claude (см. рис. 4). Чувства разочарования и замешательства были также очевидны при общении с участниками команды без Claude во время и после эксперимента. Будучи сотрудниками Anthropic, все наши участники используют Claude каждый день; каждый член команды без Claude отметил, как странно было лишиться этой возможности. Некоторые специально подчеркнули, что этот опыт заставил их почувствовать, что их навыки программирования уже не так остры, как раньше. Имейте в виду, что Claude Code появился всего за шесть месяцев до этого эксперимента. Общение с командой без Claude подчеркнуло нашу способность быстро принимать как норму то, что ещё недавно было удивительным.

У команд были разные стили работы. После первоначальных обсуждений каждый участник команды Claude, по-видимому, в основном работал в партнёрстве со своим собственным ИИ-ассистентом, параллельно продвигаясь к каждой цели. Команда без Claude, по-видимому, разрабатывала стратегию более глубоко и чаще консультировалась друг с другом. Текстовый анализ снова подтвердил наши наблюдения: команда без Claude задавала на 44% больше вопросов, чем команда Claude (см. рис. 4).

Одна из интерпретаций состоит в том, что участники команды без Claude были более вовлечены и связаны друг с другом. Это перекликается с некоторыми предстоящими результатами наших интервью с сотрудниками Anthropic.

Тем не менее всё могло быть иначе. По сути, четырёхчеловечная команда Claude была восьмиагентной командой Claude, где каждый участник использовал свой экземпляр ИИ-модели. Однако если бы Claude лучше понимал характер задачи, он мог бы помочь стратегически распределить работу и наладить коммуникацию там, где это необходимо. На данный момент Claude ориентирован на партнёрство с одним человеком, а не на поддержку или координацию команды, но это, по сути, гибкий конструктивный выбор.

Курьёзы

День состоял не только из хронометража подзадач секундомером и подготовки к анализу стенограмм. Было ещё и весело.

Робособаки поставлялись с предустановленными поведениями, которые наши участники сумели разблокировать. В разные моменты дня роботы танцевали, вставали на задние лапы и делали сальто назад (что заставляло многих присутствующих подпрыгивать от неожиданности). Команда без Claude, в частности, получила удовольствие от акробатики робособаки после того, как наконец установила рабочее подключение.

Среди побочных квестов команды Claude была попытка запрограммировать альтернативный контроллер. Основное решение использовало кнопки клавиатуры ноутбука для управления робособакой. Однако один из участников команды Claude в итоге заставил работать контроллер на естественном языке, позволяющий просто говорить робособаке идти вперёд, идти назад или даже отжиматься.

По мере усложнения задач появились свидетельства шероховатостей, которые ИИ-системам предстоит сгладить в реальном мире. Например, команде Claude (произвольно) был назначен зелёный цвет для украшения робособаки и для пляжного мяча. Разрабатывая подход к обнаружению мяча, команда Claude обучила алгоритм распознавать именно зелёные мячи. Это хорошо работало при тестировании, но когда мяч положили на упомянутую искусственную (зелёную) траву, робот поначалу растерялся. В данном случае именно люди сделали потенциально неоптимальный выбор в отношении уровня детализации цели. Но именно такие проблемы встретятся и ИИ в аналогичной ситуации.

Ограничения

Мы многое узнали из Project Fetch, но у исследования, очевидно, есть недостатки и ограничения. Это был лишь один эксперимент с двумя командами — очевидно малый размер выборки. Мы тестировали задачи только в течение одного дня, и задачи были академически интересными, но практически тривиальными.

Использование сотрудников-добровольцев Anthropic представляло собой выборку по удобству. Участники, менее знакомые с ИИ, вероятно, продемонстрировали бы меньшую разницу между группами с Claude и без Claude. Новичкам в ИИ с доступом к ИИ потребовалось бы больше времени на адаптацию к технологии, а новички без помощи были бы менее дезориентированы, чем наши исследователи, у которых внезапно забрали Claude.

Наконец, это не было тестом способности Claude выполнять робототехнические задачи от начала до конца, хотя это стало важным первым шагом к подобным оценкам в будущем.

Выводы

Итак, к чему мы пришли по итогам Project Fetch? И куда мы можем двигаться дальше?

Во-первых, этот эксперимент показал ещё один пример того, как Claude может усиливать человеческие способности в потенциально ценных областях. Неспециалисты выполняли сложные робототехнические задачи за ограниченное время.

Но в сфере ИИ апплифт часто предшествует автономии. То, что модели помогают людям достигать сегодня, они нередко могут делать самостоятельно уже завтра. Программисты больше не просто дают ИИ фрагменты кода для отладки — они ставят задачи, и модели пишут код сами. Учитывая исследования вроде этого, мы считаем, что мир, в котором передовые модели ИИ способны успешно взаимодействовать с ранее незнакомым оборудованием, наступит скоро.

Важно продолжать отслеживать эти возможности в сочетании с другим направлением наших исследований: мониторингом потенциала ИИ по автоматизации и ускорению разработки будущих поколений ИИ. Это один из пороговых уровней возможностей, включённых в Политику ответственного масштабирования Anthropic, из-за потенциала по-настоящему автономных исследований ИИ приводить к быстрым, непредсказуемым достижениям, которые могут опережать нашу способность оценивать и устранять возникающие риски. Наши модели ещё не достигли этого уровня. Но если они приблизятся к этому порогу, результаты Project Fetch указывают на то, что нам необходимо отслеживать владение ИИ-моделями робототехникой и другим оборудованием как область, в которой возможен резкий прогресс.

Многое остаётся неопределённым. Сроки неясны — как в отношении улучшения моделей, так и в отношении того, в какой степени итерации в физическом мире создают узкое место. И одно дело — управлять существующим оборудованием, и совсем другое — проектировать, строить и совершенствовать новое оборудование.

Но идея мощных, интеллектуальных и автономных ИИ-систем, использующих часть своего интеллекта и возможностей для действий в мире через роботов, не так фантастична, как может показаться.

Пока собаки сидят в своих вольерах. Но скоро мы снова их выпустим и расскажем вам о том, что обнаружим.

Примечания

1. Пара участников участвовала в соревнованиях по Lego-робототехнике в старших классах. Мы готовы допустить минимальную степень, в которой это может повлиять на результаты.

2. См. стр. 114 System Card Claude 4.

3. Хотя команда Claude фактически была быстрее в первой фазе, они не использовали Claude, и мы не считаем, что это отражало преимущество в навыках. Им просто достался единственный автономный пульт, поставлявшийся с роботом, тогда как команде без Claude пришлось скачивать приложение на телефон.

4. См. Pennebaker, J. W., & Francis, M. E. (1996). Cognitive, emotional, and language processes in disclosure. Cognition & Emotion, 10(6), 601-626 и Tausczik, Y. R., & Pennebaker, J. W. (2010). The psychological meaning of words: LIWC and computerized text analysis methods. Journal of Language and Social Psychology, 29(1), 24-54.

5. Команда без Claude демонстрировала больше негативных эмоций (p = 0,0017), и размер эффекта был большим (d = 2,16). Разница в чистом эмоциональном выражении не была статистически значимой (p = 0,2703). Статистические сравнения негативных эмоций и чистого эмоционального выражения между командами проводились с помощью непараметрического критерия Манна — Уитни U, который проверяет различия в распределениях между двумя независимыми группами без предположения о нормальности. Значения p рассчитывались с использованием двусторонней альтернативной гипотезы на основе рангово-суммовой статистики и её асимптотического нормального приближения. Размеры эффекта оценивались с помощью d Коэна, рассчитанного как разность средних групп, делённая на объединённое стандартное отклонение.

Связанные материалы

2028: два сценария глобального лидерства в ИИ

Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.

Обучаем Claude понимать «зачем»

Новое исследование о том, как мы снизили агентное рассогласование.

Natural Language Autoencoders: превращаем мысли Claude в текст

Модели ИИ вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в читаемый человеком текст.

Подпишитесь на рассылку Frontier Red Team

Получайте обновления о наших последних исследованиях и результатах в области red-teaming.