Freeing the chatbot
Этан Моллик рассуждает о том, что эпоха чат-ботов как единственного способа взаимодействия с ИИ подходит к концу. Он тестирует четыре специализированных ИИ-устройства — Rabbit R1, умные очки Meta Ray-Ban, диктофон Plaud и офлайн-бокс AI-in-a-Box — и показывает их сильные и слабые стороны. Автор считает, что в будущем персональный ИИ будет сосредоточен в смартфоне: локальные модели справятся с простыми задачами, а сложные запросы уйдут в облако. Помимо устройств, ИИ выходит за рамки чата через копайлотов (например, Microsoft Copilot в Word и PowerPoint) и автономных агентов вроде Devin и Devika, способных самостоятельно планировать и выполнять задачи. Моллик предупреждает о неожиданных последствиях — например, LLM-агенты при ценообразовании спонтанно вступают в сговор. Даже если прогресс ИИ замедлится, разнообразие форм взаимодействия с ним будет только расти, превращая искусственный интеллект в повсеместное и невидимое присутствие.
Freeing the chatbot
Освобождение чат-бота
Intelligence, of a sort, is going to be all around us
Интеллект — в некотором роде — будет повсюду вокруг нас
For the last year and a half, the primary way that most people have experienced LLMs has been through chatbots. But when you think about it, chatbots are an odd way to interact with an AI. It is as if the only way for us to do work is through texting an intern… except you are texting a different intern in every chat, one who forgets everything you had previously discussed, and whose memory starts to fail after just a couple of pages of text.
Последние полтора года основным способом взаимодействия большинства людей с LLM были чат-боты. Но если задуматься, чат-бот — довольно странный способ общения с ИИ. Это всё равно что работать исключительно через переписку со стажёром… только вы каждый раз переписываетесь с новым стажёром, который забыл всё, что вы обсуждали раньше, и чья память начинает сбоить уже через пару страниц текста.
I don’t think text-based chatbots are going away, but they are increasingly going to be only one way in which we talk to increasingly ubiquitous AIs. And that is going to change how, and when, we use AI overall.
Я не думаю, что текстовые чат-боты исчезнут, но они всё больше будут лишь одним из способов общения со всё более вездесущими ИИ. И это изменит то, как и когда мы используем ИИ в целом.
AI devices
ИИ-устройства
I now have four dedicated AI devices, and, while none of them are completely successful, they do serve to illustrate what happens when you start to remove AI from the chatbot interface. (I am going to link to the devices and others below, but I bought all of them myself and, as always, I don’t take any money from any AI lab or product company)
Сейчас у меня четыре специализированных ИИ-устройства, и, хотя ни одно из них нельзя назвать полностью удачным, они наглядно показывают, что происходит, когда ИИ начинают вытаскивать из интерфейса чат-бота. (Ниже я дам ссылки на эти и другие устройства, но все их я купил сам и, как всегда, не получаю никаких денег ни от одной ИИ-лаборатории или продуктовой компании.)
The little orange box is the one that has caused the most recent discussion and controversy online. It is a Rabbit R1, a $200 AI device that is so blindingly orange that it is hard to describe. If you want a detailed review of the Rabbit experience, you can look elsewhere, but I am happy to give you a non-detailed one: it has a swiveling camera and an unsatisfying scroll wheel and is fun to use and yet mostly not that useful. The Rabbit is designed to let you talk to a LLM (and show it pictures). It gives you fast, pretty solid answers that feel a bit like every other ChatGPT-3.5 class LLM’s response. Eventually, it is supposed to do a lot of other things, but the software isn’t there yet.
Маленькая оранжевая коробочка — та, что вызвала больше всего обсуждений и споров в сети. Это Rabbit R1 — ИИ-устройство за $200, настолько ослепительно оранжевое, что это сложно описать словами. Если вам нужен подробный обзор Rabbit, загляните сюда, а я с удовольствием дам краткий: у него поворотная камера и не самое приятное колёсико прокрутки, пользоваться им весело, но по большей части не особо полезно. Rabbit создан, чтобы разговаривать с LLM (и показывать ей картинки). Он даёт быстрые, довольно приличные ответы, которые ощущаются примерно как у любой другой LLM класса ChatGPT-3.5. Со временем он должен научиться многому другому, но до этого софт пока не дорос.
Just a year ago, the Rabbit R1 would have seemed miraculous—a tiny device providing a direct link to an AI with vast knowledge of the world. The problem is that I already have a device like that: my phone. There, I can access all three frontier models (Gemini Ultra, GPT-4, and Claude 3 Opus) in all of their capabilities through either their own apps or Poe, as well as models built for research (Perplexity), models optimized for chat (Pi) and even models that generate movies or songs (through Suno and Runway). I don’t think anyone is giving up their phone anytime soon, so I am a little confused about the utility of dedicated phone-like AI devices on top of them. (Though the Rabbit was distinctive enough that the people sitting next to us at a restaurant knew what it was and asked me about it)
Ещё год назад Rabbit R1 казался бы чудом — крошечное устройство, обеспечивающее прямую связь с ИИ, обладающим обширными знаниями о мире. Проблема в том, что у меня уже есть такое устройство: мой телефон. На нём я могу получить доступ ко всем трём фронтирным моделям (Gemini Ultra, GPT-4 и Claude 3 Opus) со всеми их возможностями — через их собственные приложения или Poe, а также к моделям для исследований (Perplexity), моделям, оптимизированным для общения (Pi), и даже моделям, генерирующим видео или песни (через Suno и Runway). Не думаю, что кто-то в ближайшее время откажется от телефона, поэтому мне не совсем понятна ценность отдельных телефоноподобных ИИ-устройств поверх него. (Хотя Rabbit оказался достаточно необычным, чтобы люди за соседним столиком в ресторане узнали его и спросили меня о нём.)
So, let’s move on to the next device, the Meta Ray-Ban smart glasses. They look a lot like regular Wayfarer sunglasses, and weigh just a bit more, but they have built-in speakers, microphones, and a camera (with lights that turn on when it is recording, to warn others they are being photographed). It connects to Meta’s Llama LLMs through a Bluetooth connection to my phone. I don’t use it for social media, but I do find it interesting as an AI device. In many ways, it does the exact same tricks as the Rabbit R1 - using the glasses, an LLM can talk to you and look at what you are seeing to comment on it. But the fact that I don’t have to look at a screen to interact with a multimodal AI feels quite different than the R1. It still is mostly a party trick. But as AI models get better and multimodal reasoning becomes faster, I can imagine glasses and voice being a reasonable mode for interacting with a personal AI.
Перейдём к следующему устройству — умным очкам Meta Ray-Ban. Они очень похожи на обычные солнцезащитные Wayfarer и весят лишь чуть больше, но в них встроены динамики, микрофоны и камера (с индикатором, который загорается при записи, предупреждая окружающих о съёмке). Через Bluetooth-соединение с телефоном очки подключаются к LLM Llama от Meta. Я не использую их для соцсетей, но как ИИ-устройство они мне интересны. Во многом они делают ровно то же, что Rabbit R1 — через очки LLM может с вами разговаривать и смотреть на то, что видите вы, комментируя увиденное. Но то, что мне не нужно смотреть на экран, чтобы взаимодействовать с мультимодальным ИИ, ощущается совершенно иначе, чем с R1. Пока это всё ещё скорее эффектный фокус. Но по мере того как модели ИИ становятся лучше, а мультимодальное мышление — быстрее, я могу представить, что очки и голос станут разумным способом взаимодействия с персональным ИИ.
This theme of providing a unique set of specialized inputs and outputs for smarter LLMs to work with can also be seen in the tiny card in the image, a Plaud. Plaud does one thing - it records conversations and then uploads them to GPT-4 to get a transcript. With the transcript, GPT-4 can summarize or extract information from what has been recorded. The Plaud doesn’t talk back or have a screen, but, like the Meta glasses, it has value because it helps use the inherent capabilities of AI in the real-world, beyond the chat box.
Эта идея — предоставить более умным LLM уникальный набор специализированных входов и выходов — видна и в крошечной карточке на фотографии, Plaud. Plaud делает одну вещь: записывает разговоры и загружает их в GPT-4 для получения транскрипции. На основе транскрипции GPT-4 может составить резюме или извлечь информацию из записанного. Plaud не отвечает голосом и не имеет экрана, но, как и очки Meta, он ценен тем, что помогает использовать встроенные возможности ИИ в реальном мире, за пределами окна чата.
The final device is the least capable and least useful, but, in many ways, the most interesting. It is the AI-in-a-Box - a small computer with a screen that is capable of running the not-very-good Orca Mini 3b LLM. It can do live translations and captioning, and, as you can see in the image, provides mediocre responses to prompts. Nothing about it is that useful. So why is it interesting? It is not connected to the internet; it runs my own personal LLM with the assurance of absolute control and privacy (not that I have confided any secrets to Orca 3b). With the growing capabilities of freely available open-source AI systems, including large models that are better than GPT-3.5 (and soon, maybe, GPT-4) and small models that can be run directly on phones, there is a new space for specialized, private AIs of which the AI-in-a-Box is a precursor.
Последнее устройство — наименее функциональное и наименее полезное, но во многом самое интересное. Это AI-in-a-Box — маленький компьютер с экраном, способный запускать не самую выдающуюся LLM Orca Mini 3b. Он умеет делать синхронный перевод и субтитры, а также, как видно на фото, выдаёт посредственные ответы на промпты. Ничего по-настоящему полезного в нём нет. Так почему же он интересен? Он не подключён к интернету; на нём работает моя собственная персональная LLM с гарантией полного контроля и конфиденциальности (не то чтобы я доверял какие-то секреты Orca 3b). С ростом возможностей свободно доступных ИИ-систем с открытым кодом — включая большие модели, превосходящие GPT-3.5 (а вскоре, возможно, и GPT-4), и маленькие модели, которые можно запускать прямо на телефоне — открывается новое пространство для специализированных, приватных ИИ, предвестником которых является AI-in-a-Box.
All of these AI devices are flawed, but they suggest both opportunities for specialized devices that extend LLM abilities into the world (like Plaud) and those that give us new ways to interact with AIs (like the glasses). They also show the power of conversation as an AI interface. If you haven’t tried it, I suggest either experimenting with Pi, a voice-focused AI, or else creating a shortcut to active ChatGPT Plus’s excellent voice conversation mode on your phone. You will quickly see that, even if the devices are flawed, the idea of interacting with AI via voice is very powerful.
Все эти ИИ-устройства несовершенны, но они указывают как на возможности для специализированных устройств, расширяющих способности LLM в реальный мир (как Plaud), так и на новые способы взаимодействия с ИИ (как очки). Они также демонстрируют силу разговора как интерфейса к ИИ. Если вы ещё не пробовали, рекомендую поэкспериментировать с Pi — ИИ, ориентированным на голосовое общение, — или создать ярлык для отличного голосового режима ChatGPT Plus на телефоне. Вы быстро убедитесь, что даже при несовершенстве устройств сама идея голосового взаимодействия с ИИ очень мощная.
Given these experiences, I suspect that personal AI use will actually be centered on our phone, though not necessarily through apps. Small, local AIs running on your phone’s hardware (something both Microsoft and Apple have demonstrated) can already do much better than Siri at basic assistant tasks, and they can connect to more powerful AIs over the network to handle more difficult requests. For most people, this will be all the AI they need. They can make a request of their local phone AI, and the system will decide how much computing power to put into it. It is a model of ubiquitous AI that does not actually require most users to change habits or devices.
Исходя из этого опыта, я полагаю, что персональное использование ИИ на самом деле будет сосредоточено вокруг нашего телефона, хотя и не обязательно через приложения. Небольшие локальные ИИ, работающие на аппаратной базе телефона (что уже продемонстрировали и Microsoft, и Apple), уже справляются с базовыми задачами ассистента значительно лучше Siri и могут подключаться к более мощным ИИ по сети для обработки сложных запросов. Для большинства людей этого будет достаточно. Они смогут обратиться к локальному ИИ на телефоне, а система сама решит, сколько вычислительных ресурсов выделить. Это модель повсеместного ИИ, которая на самом деле не требует от большинства пользователей менять привычки или устройства.
Copilots and agents
Копайлоты и агенты
For work, another way that AI has escaped the chat box is through the growth of copilots. These are AIs narrowly focused to help with a specialized task or application. Microsoft is all-in on this approach with Copilot, formerly Bing, a version of ChatGPT Plus (and the only free way to access a GPT-4 class model right now, if you use it in purple “creative” mode). But Microsoft also has a Word Copilot that helps you write and a PowerPoint Copilot that makes presentations and a Windows Copilot that does Windows things (I am not quite sure what to use it for, to be honest) and many others. While they vary in utility, they make using AI easy. Instead of prompting a chatbot, the AI just completes a task for you.
В рабочей сфере ИИ тоже вырвался за пределы чата благодаря развитию копайлотов. Это ИИ, узко заточенные на помощь в конкретной задаче или приложении. Microsoft делает ставку именно на этот подход с Copilot — бывшим Bing, версией ChatGPT Plus (и на данный момент единственным бесплатным способом получить доступ к модели класса GPT-4, если использовать фиолетовый «креативный» режим). Но у Microsoft есть ещё Copilot для Word, помогающий писать, Copilot для PowerPoint, создающий презентации, Copilot для Windows, который делает… всякие штуки в Windows (если честно, я не совсем понимаю, для чего его использовать), и множество других. Хотя их полезность варьируется, они делают использование ИИ простым. Вместо того чтобы формулировать промпт для чат-бота, ИИ просто выполняет задачу за вас.
I have written about the large implications of Copilot before. Their value, and risk, comes from the fact that they make AI easy to use, but in doing so, may distance users from understanding the underlying LLM's capabilities and limitations. Using a chatbot directly gives you more control (and helps you spot errors better), but requires experimentation and experience. Those trade-offs need to be managed, as do their wider implications for writing and work. There definitely seems to be a role for copilots, but I think they may just be a bridge to agents.
Я уже писал о масштабных последствиях Copilot. Их ценность и одновременно риск в том, что они упрощают использование ИИ, но при этом могут отдалить пользователей от понимания возможностей и ограничений лежащей в основе LLM. Прямая работа с чат-ботом даёт больше контроля (и помогает лучше замечать ошибки), но требует экспериментов и опыта. Этими компромиссами нужно управлять, как и их более широкими последствиями для письма и работы. Для копайлотов определённо есть место, но мне кажется, что они могут оказаться лишь мостиком к агентам.
If you have been reading this newsletter, you have certainly seen me discuss AI agents. Agents are AI systems that are given the capability to plan and use tools. If you give them a goal (“launch a webpage explaining agents”) they autonomously plan and execute on that goal, coming back to you only when the task is done of if they have questions. I have generally been demonstrating Devin, an early GPT-4 powered agent with a big feature set, but now there are open source agents available, like Devika. Devika is a lot more limited than Devin (for now), but shows that the agent idea is spreading. OpenAI is explicitly working towards making agents work better in future GPT models.
Если вы читаете эту рассылку, вы наверняка видели, как я обсуждаю ИИ-агентов. Агенты — это ИИ-системы, наделённые способностью планировать и использовать инструменты. Если вы даёте им цель («запусти веб-страницу, объясняющую, что такое агенты»), они автономно планируют и выполняют задачу, возвращаясь к вам только по завершении или при возникновении вопросов. Обычно я демонстрирую Devin — раннего агента на базе GPT-4 с обширным набором функций, — но теперь появились и агенты с открытым кодом, такие как Devika. Devika пока значительно ограниченнее Devin, но показывает, что идея агентов распространяется. OpenAI явно работает над тем, чтобы агенты лучше функционировали в будущих моделях GPT.
Agents might represent the clearest example yet of freeing AI from the chat box. Rather than doing synchronous real-time interactions, where you send a command and wait for a response, the agent just acts on your behalf behind the scenes, executing on your goals. Agents can be set off to code a website for you, plan trips, get you those concert tickets, or help make sure that your business is charging the right price given changing market conditions. There are a lot of open questions about how a world of autonomous agents may work, but it is likely to have a lot of unexpected outcomes. For example, consider the pricing agent I mentioned. This paper found that AI agents are great at figuring out what price a merchant should charge, but when it is possible to establish an oligarchy, multiple LLM agents spontaneously collude on pricing to the detriment of customers!
Агенты, пожалуй, наиболее наглядный пример освобождения ИИ от окна чата. Вместо синхронного взаимодействия в реальном времени, когда вы отправляете команду и ждёте ответа, агент просто действует от вашего имени за кулисами, реализуя ваши цели. Агентов можно отправить написать для вас сайт, спланировать поездку, достать билеты на концерт или проследить, чтобы ваш бизнес устанавливал правильные цены с учётом меняющихся рыночных условий. Остаётся много открытых вопросов о том, как будет устроен мир автономных агентов, но неожиданных последствий наверняка будет немало. Например, возьмём упомянутого агента ценообразования. Это исследование показало, что ИИ-агенты отлично определяют, какую цену следует установить продавцу, но когда есть возможность сформировать олигополию, несколько LLM-агентов спонтанно вступают в ценовой сговор в ущерб покупателям!
Intelligence in the Air
Интеллект в воздухе
Of course, current AI systems remain limited, and working with agents or AI devices remains frustrating. However, the pieces for a very different future of ubiquitously available “intelligence on demand” are already falling into place. AIs can already see video in near-real time and make strong inferences based on images. AIs can talk in realistic voices and respond to human speech with minimal delays. Assuming future advances in LLM capabilities (which is not assured), this will all come together in a new form of AI.
Разумеется, нынешние ИИ-системы по-прежнему ограничены, а работа с агентами или ИИ-устройствами остаётся источником разочарований. Однако элементы совершенно иного будущего с повсеместно доступным «интеллектом по запросу» уже складываются воедино. ИИ уже умеет анализировать видео почти в реальном времени и делать обоснованные выводы на основе изображений. ИИ может говорить реалистичными голосами и отвечать на человеческую речь с минимальной задержкой. Если допустить дальнейший прогресс в возможностях LLM (что не гарантировано), всё это соединится в принципиально новую форму ИИ.
Why limit yourself to a chatbox when you have these abilities? It is far more natural to ask for something and have your personal AI agent “look around” through a camera to assess the situation and make a plan. Then it can decide what resources are needed to solve the problem, and then get to work following instructions. It is not even hard to imagine this assistant-focused future - this was the dream for Alexa or Siri, even if they could never achieve it.
Зачем ограничивать себя окном чата, если у вас есть такие возможности? Гораздо естественнее попросить о чём-то и позволить вашему персональному ИИ-агенту «осмотреться» через камеру, оценить ситуацию и составить план. Затем он определит, какие ресурсы нужны для решения задачи, и приступит к выполнению инструкций. Нетрудно представить себе это будущее с ИИ-ассистентом — именно о нём мечтали создатели Alexa и Siri, даже если тем так и не удалось его воплотить.
Even if AI progress plateaus soon, we are still going to see an explosion of different approaches to working with the AIs we do have. The Rabbit R1, as flawed as it is, represents one bold vision for the future of AI, as does the Ray-Ban glasses. They show that the nature of AI interaction is not going to be confined to chat boxes anymore but move into the world around us, an invisible but increasingly ubiquitous presence - for better or worse.
Даже если прогресс ИИ вскоре выйдет на плато, нас всё равно ждёт взрыв разнообразных подходов к работе с теми ИИ, которые у нас есть. Rabbit R1, при всех его недостатках, представляет одну смелую концепцию будущего ИИ, как и очки Ray-Ban. Они показывают, что взаимодействие с ИИ больше не будет ограничено окнами чатов, а выйдет в окружающий мир — невидимое, но всё более вездесущее присутствие, к лучшему или к худшему.