When you give a Claude a mouse

Когда ты даёшь Claude мышь

Краткие впечатления от настоящего агента

В сфере ИИ почти все убеждены, что агенты — это следующая большая вещь. Конечно, никто точно не сходится в том, что такое агент, но обычно речь идёт об ИИ, который действует в мире самостоятельно, чтобы достигать целей пользователя.

Анонсированная сегодня новая модель Claude с функцией computer use даёт нам намёк на то, что значит «агент». Она способна к некоторому планированию, умеет пользоваться компьютером, рассматривая экран (через скриншоты) и взаимодействуя с ним (двигая виртуальной мышью и печатая на клавиатуре). Это хороший превью важной части того, на что способны агенты. На прошлой неделе у меня была возможность немного попробовать её, и я хочу поделиться короткими впечатлениями. Мне предоставили доступ к модели, подключённой к удалённому рабочему столу с обычными офисными приложениями open office, она также могла сама устанавливать новые приложения.

Обычно вы взаимодействуете с ИИ через чат, и это похоже на разговор. В этом агентном подходе всё строится на том, чтобы давать инструкции и позволять ИИ выполнять работу. Он возвращается к вам с вопросами, черновиками или готовыми результатами, пока вы занимаетесь чем-то другим. Это ощущается как делегирование задачи, а не как управление ею.

Например, я попросил ИИ составить план урока по «Великому Гэтсби» для старшеклассников, разбив его на удобные для чтения фрагменты, а затем создать задания и связки с образовательным стандартом Common Core. Ещё я попросил его свести всё это в одну электронную таблицу. С чат-ботом мне пришлось бы вести ИИ через каждый шаг, используя его как со-интеллект для совместной разработки плана. Здесь было иначе. Получив инструкции, ИИ сам прошёл через все этапы: он скачал книгу, посмотрел планы уроков в интернете, открыл табличное приложение и заполнил первоначальный план урока, затем нашёл стандарты Common Core, внёс правки в таблицу и так далее на протяжении нескольких шагов. Результат неплохой (я проверил и не увидел очевидных ошибок, но они могут быть — о надёжности подробнее далее в посте). Что самое важное, мне были представлены готовые черновики для комментариев, а не процесс, которым нужно управлять. Я просто делегировал сложную задачу и отошёл от компьютера, периодически возвращаясь, чтобы посмотреть, что получилось (система довольно медленная).

Не хотите ли сыграть в игру?

Поскольку ИИ — это умная система общего назначения, она может справляться со множеством задач — её не нужно специально программировать. Anthropic продемонстрировала возможности таких систем на примере программирования, и демо стоит посмотреть. Но чтобы немного лучше понять пределы системы, я протестировал её на игре Paperclip Clicker, которая, по иронии, посвящена ИИ, уничтожающему человечество в своей одержимости производством скрепок. Это игра в жанре кликера: она начинается просто, но по мере прохождения появляются новые опции, а масштаб и сложность растут (она довольно забавна, можно попробовать по ссылке).

Я дал ИИ ссылку на игру и сказал победить. Просто. То, что произошло дальше, — хорошая иллюстрация сильных и слабых сторон этих ранних агентов. Он сразу же понял, что это за игра, и начал производить скрепки, что требовало многократно кликать по кнопке «make paperclip», постоянно делая скриншоты для обновления своего состояния и отслеживая появление новых опций. Примерно после каждых 15 кликов он подводил итог своему прогрессу. Пример этого вы можете увидеть ниже.

Но что было особенно интересно — у ИИ была стратегия, и он был готов её пересматривать на основе того, что узнавал. Я не знаю точно, как эта стратегия была разработана ИИ, но планы заглядывали вперёд на десятки ходов и были проницательными. Например, он предположил, что новые функции появятся при производстве 50 скрепок. Ниже видно, что он понял свою ошибку и придумал новую стратегию, которую проверил.

Однако ИИ совершил ошибку, хотя и сделал это относительно умным способом. Чтобы преуспеть в игре, нужно экспериментировать с ценой скрепок — и ИИ провёл этот эксперимент! Он поднял цены — A/B-тест. Но он неверно интерпретировал результаты, максимизируя спрос на скрепки вместо выручки и неправильно считая прибыль. В итоге он удерживал низкую цену и продолжал кликать.

Через ещё несколько десятков скрепок я устал и вмешался, сказав ему поднять цены. Он поднял, но тут же столкнулся с той же математической проблемой и отменил моё решение. Мне пришлось попробовать ещё несколько раз, прежде чем он исправил свою ошибку.

Прежде чем система рухнула — это была проблема не Claude, а виртуального рабочего стола, который я использовал, — ИИ сделал более 100 независимых ходов, ни разу не задав мне ни одного вопроса. Ниже можно увидеть запись экрана со всем, что он делал. Видео — это буквально я, прокручивающий лог действий Claude. Он настойчив!

Я перезагрузил агента и попросил продолжить игру с того места, где мы остановились, но дал ему небольшую подсказку: ты компьютер, используй свои возможности. Тогда он понял, что может написать код для автоматизации игры — инструмент, создающий собственный инструмент. Впрочем, ограничения ИИ снова сыграли свою роль, и код не совсем заработал, поэтому он решил вернуться к старомодному способу — мыши и клавиатуре.

На этот раз он справился гораздо лучше, избежав ошибки с ценообразованием. К тому же, по мере усложнения игры система адаптировалась, в итоге выработав довольно сложную стратегию.

Но затем удалённый рабочий стол снова рухнул. На этот раз Claude перепробовал множество подходов к решению проблемы сломанного рабочего стола, прежде чем сдаться и, что забавно, объявить о победе (последнее предложение — потрясающее обоснование).

Что это значит?

На этом примере видны и сила, и слабости нынешнего состояния агентов. На стороне силы — Claude справился с реальным примером игры «в дикой природе», разработал долгосрочную стратегию и выполнил её. Он был гибок перед лицом большинства ошибок и настойчив. Он делал умные вещи вроде A/B-тестирования. И, что важнее всего, он просто выполнял работу, действуя почти час без перерывов.

На слабой стороне видна хрупкость нынешних агентов. LLM могут гоняться за собственным хвостом или быть упрямыми, и оба этих эффекта были заметны. Что ещё важнее, хотя ИИ был довольно устойчив ко многим типам ошибок, потребовалась всего одна (неверное ценообразование), чтобы отправить его по пути, на котором он потратил много времени впустую. Учитывая, что нынешние агенты не быстры и не дёшевы, это вызывает беспокойство. Также видно, где может проявляться поверхностность. Я попробовал использовать его для покупок на Amazon и нашёл этот процесс раздражающим: он делал довольно простой и обобщённый research товаров, не соответствующий моим вкусам. Я попросил его исследовать акции, и он хорошо справился со сбором финансовых данных в таблицу и выдачей рекомендаций, но они были довольно поверхностными показателями вроде P/E. Технически он был способен помочь и справился лучше, чем многие стажёры-люди, но недостаточно глубоко, чтобы я делегировал ему такие задачи. Всё это, скорее всего, улучшится, и есть сценарии, где нынешний уровень агентов, вероятно, уже достаточно хорош — например, составление регулярных отчётов и аналитики, требующих навигации по нескольким сайтам и использования специализированных программных инструментов.

В более широком смысле это представляет собой огромный сдвиг в использовании ИИ. Использовать агента как со-интеллект, добавляя собственные знания, чтобы система работала лучше, оказалось сложно. ИИ не всегда регулярно проверял со мной что-то и плохо поддавался управлению; он «хочет», чтобы его оставили в покое, чтобы пойти и выполнить работу. Управление агентами потребует радикально иных подходов к промптингу1, и нужно будет понять, в чём они лучше всего.

ИИ вырываются из окна чата и приходят в наш мир. Несмотря на то что больших пробелов ещё много, я был удивлён, насколько эта система уже способна и гибка. Время покажет, как скоро — и случится ли это вообще — агенты станут по-настоящему полезными в общем смысле, но, поработав с этой новой моделью, я всё больше склоняюсь к мысли, что агенты действительно будут очень большим явлением.

Поделиться

Anthropic прислала мне четыре подсказки по промптингу, которыми стоит поделиться: «1. Старайтесь ограничивать использование простыми, чётко сформулированными задачами с явными инструкциями о шагах, которые модель должна предпринять.

2. Модель иногда предполагает результаты действий, явно их не проверяя. Чтобы этого избежать, можно попросить её: «После каждого шага делай скриншот и внимательно оценивай, был ли получен правильный результат. Явно показывай свои рассуждения: "Я оценил шаг X…". Если неверно — попробуй снова. Только после того как подтвердишь, что шаг выполнен правильно, переходи к следующему».

3. Некоторые элементы UI (например, выпадающие списки) могут быть сложны для модели при управлении движениями мыши. Если вы столкнулись с этим, попробуйте подсказать модели использовать сочетания клавиш.

4. Для повторяющихся задач или взаимодействий с UI включайте в префикс промпта примеры скриншотов и вызовов инструментов, показывающие, как модель успешно справляется с задачей».