When you give a Claude a mouse
Итан Моллик делится первыми впечатлениями от новой модели Claude с функцией computer use от Anthropic — ИИ, который умеет смотреть на экран через скриншоты и управлять компьютером мышью и клавиатурой. В отличие от чата, агент работает самостоятельно: автор поручил ему составить план урока по «Великому Гэтсби» по стандарту Common Core, и Claude сам скачал книгу, изучил материалы в сети, заполнил таблицу и внёс правки. Для проверки границ автор запустил агента в игру Paperclip Clicker: ИИ разработал долгосрочную стратегию, провёл A/B-тест цен, но неправильно интерпретировал результаты и упорно держал низкую цену, игнорируя даже вмешательство пользователя. За почти час работы агент сделал более 100 самостоятельных ходов, а во втором заходе попытался написать код для автоматизации игры. Сильные стороны — автономность, гибкость и настойчивость; слабые — хрупкость, склонность зацикливаться и поверхностность в задачах вроде покупок на Amazon или анализа акций. Моллик заключает, что управление агентами потребует принципиально иных подходов к промптингу, и всё больше уверен: агенты станут по-настоящему важным явлением.
When you give a Claude a mouse
Когда ты даёшь Claude мышь
Some quick impressions of an actual agent
Краткие впечатления от настоящего агента
There seems to be near-universal belief in AI that agents are the next big thing. Of course, no one exactly agrees on what an agent is, but it usually involves the idea of an AI acting independently in the world to accomplish the goals of the user.
В сфере ИИ почти все убеждены, что агенты — это следующая большая вещь. Конечно, никто точно не сходится в том, что такое агент, но обычно речь идёт об ИИ, который действует в мире самостоятельно, чтобы достигать целей пользователя.
The new Claude computer use model announced today shows us a hint of what an agent means. It is capable of some planning, it has the ability to use a computer by looking at a screen (through taking a screenshot) and interacting with it (by moving a virtual mouse and typing), It is a good preview of an important part of what agents can do. I had a chance to try it out a bit last week, and I wanted to give some quick impressions. I was given access to a model that was connected to a remote desktop with common open office applications, it could also install new applications itself.
Анонсированная сегодня новая модель Claude с функцией computer use даёт нам намёк на то, что значит «агент». Она способна к некоторому планированию, умеет пользоваться компьютером, рассматривая экран (через скриншоты) и взаимодействуя с ним (двигая виртуальной мышью и печатая на клавиатуре). Это хороший превью важной части того, на что способны агенты. На прошлой неделе у меня была возможность немного попробовать её, и я хочу поделиться короткими впечатлениями. Мне предоставили доступ к модели, подключённой к удалённому рабочему столу с обычными офисными приложениями open office, она также могла сама устанавливать новые приложения.
Normally, you interact with an AI through chat, and it is like having a conversation. With this agentic approach, it is about giving instructions, and letting the AI do the work. It comes back to you with questions, or drafts, or finished products while you do something else. It feels like delegating a task rather than managing one.
Обычно вы взаимодействуете с ИИ через чат, и это похоже на разговор. В этом агентном подходе всё строится на том, чтобы давать инструкции и позволять ИИ выполнять работу. Он возвращается к вам с вопросами, черновиками или готовыми результатами, пока вы занимаетесь чем-то другим. Это ощущается как делегирование задачи, а не как управление ею.
As one example, I asked the AI to put together a lesson plan on the Great Gatsby for high school students, breaking it into readable chunks and then creating assignments and connections tied to the Common Core learning standard. I also asked it to put this all into a single spreadsheet for me. With a chatbot, I would have needed to direct the AI through each step, using it as a co-intelligence to develop a plan together. This was different. Once given the instructions, the AI went through the steps itself: it downloaded the book, it looked up lesson plans on the web, it opened a spreadsheet application and filled out an initial lesson plan, then it looked up Common Core standards, added revisions to the spreadsheet, and so on for multiple steps. The results are not bad (I checked and did not see obvious errors, but there may be some - more on reliability later int he post). Most importantly, I was presented finished drafts to comment on, not a process to manage. I simply delegated a complex task and walked away from my computer, checking back later to see what it did (the system is quite slow).
Например, я попросил ИИ составить план урока по «Великому Гэтсби» для старшеклассников, разбив его на удобные для чтения фрагменты, а затем создать задания и связки с образовательным стандартом Common Core. Ещё я попросил его свести всё это в одну электронную таблицу. С чат-ботом мне пришлось бы вести ИИ через каждый шаг, используя его как со-интеллект для совместной разработки плана. Здесь было иначе. Получив инструкции, ИИ сам прошёл через все этапы: он скачал книгу, посмотрел планы уроков в интернете, открыл табличное приложение и заполнил первоначальный план урока, затем нашёл стандарты Common Core, внёс правки в таблицу и так далее на протяжении нескольких шагов. Результат неплохой (я проверил и не увидел очевидных ошибок, но они могут быть — о надёжности подробнее далее в посте). Что самое важное, мне были представлены готовые черновики для комментариев, а не процесс, которым нужно управлять. Я просто делегировал сложную задачу и отошёл от компьютера, периодически возвращаясь, чтобы посмотреть, что получилось (система довольно медленная).
Would you like to play a game?
Не хотите ли сыграть в игру?
Because the AI is a smart, general-purpose system it can handle lots of tasks - it doesn’t need to be programmed to do them. Anthropic demonstrated the ability of these systems using coding, and the demo is worth watching. But to get a little bit better sense of the limits of the system, I tested it on a game, Paperclip Clicker, which, ironically, is about an AI that destroys humanity in its single-minded pursuit of making paperclips. The game is a clicker game, which means it starts simply, but new options appear as the game continues and the game increases in scale and complexity (it is pretty fun, you can try it at the link).
Поскольку ИИ — это умная система общего назначения, она может справляться со множеством задач — её не нужно специально программировать. Anthropic продемонстрировала возможности таких систем на примере программирования, и демо стоит посмотреть. Но чтобы немного лучше понять пределы системы, я протестировал её на игре Paperclip Clicker, которая, по иронии, посвящена ИИ, уничтожающему человечество в своей одержимости производством скрепок. Это игра в жанре кликера: она начинается просто, но по мере прохождения появляются новые опции, а масштаб и сложность растут (она довольно забавна, можно попробовать по ссылке).
I gave the AI the URL of the game and told it to win. Simple. What happened is a good illustration of the strengths and weaknesses of these early agents. It immediately figured out what the game was, and began creating paperclips, which required it to click on the “make paperclip” button repeatedly while constantly taking screenshots to update itself and looking for new options to appear. Every 15 or so clicks, it would summarize its progress so far. You can see an example of that below.
Я дал ИИ ссылку на игру и сказал победить. Просто. То, что произошло дальше, — хорошая иллюстрация сильных и слабых сторон этих ранних агентов. Он сразу же понял, что это за игра, и начал производить скрепки, что требовало многократно кликать по кнопке «make paperclip», постоянно делая скриншоты для обновления своего состояния и отслеживая появление новых опций. Примерно после каждых 15 кликов он подводил итог своему прогрессу. Пример этого вы можете увидеть ниже.
But what made this interesting is that the AI had a strategy, and it was willing to revise it based on what it learned. I am not sure how that strategy was developed by the AI, but the plans were forward-looking across dozens of moves and insightful. For example, it assumed new features would appear when 50 paperclips were made. You can see, below, that it realized it was wrong and came up with a new strategy that it tested.
Но что было особенно интересно — у ИИ была стратегия, и он был готов её пересматривать на основе того, что узнавал. Я не знаю точно, как эта стратегия была разработана ИИ, но планы заглядывали вперёд на десятки ходов и были проницательными. Например, он предположил, что новые функции появятся при производстве 50 скрепок. Ниже видно, что он понял свою ошибку и придумал новую стратегию, которую проверил.
However, the AI made a mistake, though it did it in a relatively smart way. To do well in the game, you need to experiment with the price of paperclips - and the AI did that experiment! It changed prices upward - an A/B test. But it interpreted the results incorrectly, maximizing demand for paperclips versus revenue, and miscalculating profits. So, it kept the price low and kept clicking.
Однако ИИ совершил ошибку, хотя и сделал это относительно умным способом. Чтобы преуспеть в игре, нужно экспериментировать с ценой скрепок — и ИИ провёл этот эксперимент! Он поднял цены — A/B-тест. Но он неверно интерпретировал результаты, максимизируя спрос на скрепки вместо выручки и неправильно считая прибыль. В итоге он удерживал низкую цену и продолжал кликать.
After a few dozen more paperclips, I got frustrated and interrupted, telling it to raise prices. It did, but then ran into the same math problem and overruled my decision. I had to try a few more times before it corrected its error.
Через ещё несколько десятков скрепок я устал и вмешался, сказав ему поднять цены. Он поднял, но тут же столкнулся с той же математической проблемой и отменил моё решение. Мне пришлось попробовать ещё несколько раз, прежде чем он исправил свою ошибку.
Before the system crashed - which was not a problem with Claude but rather with the virtual desktop I was using - the AI made over 100 independent moves without asking me any questions. You can see a screen recording of everything it did below. The video is literally me just scrolling through the log of Claude’s actions. It is persistent!
Прежде чем система рухнула — это была проблема не Claude, а виртуального рабочего стола, который я использовал, — ИИ сделал более 100 независимых ходов, ни разу не задав мне ни одного вопроса. Ниже можно увидеть запись экрана со всем, что он делал. Видео — это буквально я, прокручивающий лог действий Claude. Он настойчив!
I reloaded the agent and had it continue the game from where we left off, but I gave it a bit of a hint: you are a computer, use your abilities. It then realized it could write code to automate the game - a tool building its own tool. Again, however, the limits of the AI came into play, and the code did not quite work, so it decided to go back to the old-fashioned way of using a mouse and keyboard.
Я перезагрузил агента и попросил продолжить игру с того места, где мы остановились, но дал ему небольшую подсказку: ты компьютер, используй свои возможности. Тогда он понял, что может написать код для автоматизации игры — инструмент, создающий собственный инструмент. Впрочем, ограничения ИИ снова сыграли свою роль, и код не совсем заработал, поэтому он решил вернуться к старомодному способу — мыши и клавиатуре.
This time around, it did much better, avoiding the pricing error. Plus, as the game got more complicated, the system adjusted, eventually developing a quite complex strategy.
На этот раз он справился гораздо лучше, избежав ошибки с ценообразованием. К тому же, по мере усложнения игры система адаптировалась, в итоге выработав довольно сложную стратегию.
But then the remote desktop crashed again. This time, Claude tried many approaches to solving the problem of the broken desktop, before giving up, and funnily enough, declaring victory (the last sentence is amazing justification).
Но затем удалённый рабочий стол снова рухнул. На этот раз Claude перепробовал множество подходов к решению проблемы сломанного рабочего стола, прежде чем сдаться и, что забавно, объявить о победе (последнее предложение — потрясающее обоснование).
What does this mean?
Что это значит?
You can see the power and weaknesses of the current state of agents from this example. On the powerful side, Claude was able to handle a real-world example of a game in the wild, develop a long-term strategy, and execute on it. It was flexible in the face of most errors, and persistent. It did clever things like A/B testing. And most importantly, it just did the work, operating for nearly an hour without interruption.
На этом примере видны и сила, и слабости нынешнего состояния агентов. На стороне силы — Claude справился с реальным примером игры «в дикой природе», разработал долгосрочную стратегию и выполнил её. Он был гибок перед лицом большинства ошибок и настойчив. Он делал умные вещи вроде A/B-тестирования. И, что важнее всего, он просто выполнял работу, действуя почти час без перерывов.
On the weak side, you can see the fragility of current agents. LLMs can end up chasing their own tail or being stubborn, and you could see both at work. Even more importantly, while the AI was quite robust to many forms of error, it just took one (getting pricing wrong) to send it down a path that made it waste considerable time. Given that current agents aren’t fast or cheap, this is concerning. You can also see where shallowness might be an issue. I tried to use it to buy products on Amazon, and found the process frustrating, as it did fairly simple and generic product research that did not match my tastes. I had it research stocks and it did a good job of assembling a spreadsheet of financial data and giving recommendations, but they were fairly surface level indicators, like PE ratios. It was technically capable of helping, and did better than many human interns would, but it was not insightful enough that I would delegate these sorts of tasks. All of this is likely to improve, and there are use cases where the current level of agents is likely good enough - compiling frequent reports and analyses that require navigating across multiple sites and using bespoke software tools come to mind.
На слабой стороне видна хрупкость нынешних агентов. LLM могут гоняться за собственным хвостом или быть упрямыми, и оба этих эффекта были заметны. Что ещё важнее, хотя ИИ был довольно устойчив ко многим типам ошибок, потребовалась всего одна (неверное ценообразование), чтобы отправить его по пути, на котором он потратил много времени впустую. Учитывая, что нынешние агенты не быстры и не дёшевы, это вызывает беспокойство. Также видно, где может проявляться поверхностность. Я попробовал использовать его для покупок на Amazon и нашёл этот процесс раздражающим: он делал довольно простой и обобщённый research товаров, не соответствующий моим вкусам. Я попросил его исследовать акции, и он хорошо справился со сбором финансовых данных в таблицу и выдачей рекомендаций, но они были довольно поверхностными показателями вроде P/E. Технически он был способен помочь и справился лучше, чем многие стажёры-люди, но недостаточно глубоко, чтобы я делегировал ему такие задачи. Всё это, скорее всего, улучшится, и есть сценарии, где нынешний уровень агентов, вероятно, уже достаточно хорош — например, составление регулярных отчётов и аналитики, требующих навигации по нескольким сайтам и использования специализированных программных инструментов.
More broadly, this represents a huge shift in AI use. It was hard to use an agent as a co-intelligence, where I could add my own knowledge to make the system work better. The AI didn’t always check in regularly and could be hard to steer; it “wants” to be left alone to go and to do the work. Guiding agents will require radically different approaches to prompting1, and they will require learning what they are best at.
В более широком смысле это представляет собой огромный сдвиг в использовании ИИ. Использовать агента как со-интеллект, добавляя собственные знания, чтобы система работала лучше, оказалось сложно. ИИ не всегда регулярно проверял со мной что-то и плохо поддавался управлению; он «хочет», чтобы его оставили в покое, чтобы пойти и выполнить работу. Управление агентами потребует радикально иных подходов к промптингу1, и нужно будет понять, в чём они лучше всего.
AIs are breaking out of the chatbox are coming into our world. Even though there are still large gaps, I was surprised at how capable and flexible this system is already. Time will tell about how soon, if ever, agents truly become generally useful, but, having used this new model, I increasingly think that agents are going to be a very big deal indeed.
ИИ вырываются из окна чата и приходят в наш мир. Несмотря на то что больших пробелов ещё много, я был удивлён, насколько эта система уже способна и гибка. Время покажет, как скоро — и случится ли это вообще — агенты станут по-настоящему полезными в общем смысле, но, поработав с этой новой моделью, я всё больше склоняюсь к мысли, что агенты действительно будут очень большим явлением.
Anthropic sent me four prompting hints, which are worth sharing:
”1. Try to limit the usage to simple well specified tasks with explicit instructions about the steps that the model needs to take.
Anthropic прислала мне четыре подсказки по промптингу, которыми стоит поделиться: «1. Старайтесь ограничивать использование простыми, чётко сформулированными задачами с явными инструкциями о шагах, которые модель должна предпринять.
2.The model sometimes assumes outcomes of actions without explicitly checking for them. To prevent that you can prompt it with “After each step take a screenshot and carefully evaluate if the right outcome was present. Explicitly show your thinking: "I have evaluated step X…". If not correct, try again. Only when you confirm the step was executed correctly move on to the next one.”
2. Модель иногда предполагает результаты действий, явно их не проверяя. Чтобы этого избежать, можно попросить её: «После каждого шага делай скриншот и внимательно оценивай, был ли получен правильный результат. Явно показывай свои рассуждения: "Я оценил шаг X…". Если неверно — попробуй снова. Только после того как подтвердишь, что шаг выполнен правильно, переходи к следующему».
3.Some UI elements (like dropdowns) might be tricky for the model to manipulate using mouse movements. If you experience this try prompting the model to use keyboard shortcuts.
3. Некоторые элементы UI (например, выпадающие списки) могут быть сложны для модели при управлении движениями мыши. Если вы столкнулись с этим, попробуйте подсказать модели использовать сочетания клавиш.
4.For repeatable tasks or UI interactions, include example screenshots and tool calls showing the model succeeding as part of your prompt prefix.”
4. Для повторяющихся задач или взаимодействий с UI включайте в префикс промпта примеры скриншотов и вызовов инструментов, показывающие, как модель успешно справляется с задачей».