On speaking to AI

On speaking to AI

О разговорах с ИИ

Voice changes a lot of things

Голос меняет очень многое

Over the last two days, I gained the ability to have conversations with two different AIs on my phone. Though both are happy to talk to me (and to each other, try the recording), they represent radically different views of the future of AI, with different ambitions and implications. I want to be clear that both are early models, and nowhere near complete, but I think sharing my experiences so far might be useful.

За последние два дня я получил возможность вести разговоры с двумя разными ИИ на своём телефоне. Хотя оба охотно общаются со мной (и друг с другом — послушайте запись), они представляют радикально разные взгляды на будущее ИИ, с разными амбициями и последствиями. Хочу подчеркнуть, что обе модели — ранние и далеки от завершения, но думаю, что поделиться первыми впечатлениями будет полезно.

So, let’s talk about ChatGPT’s new Advanced Voice mode and the new AI-powered Siri. They are not just different approaches to talking to AI. In many ways, they represent the divide between two philosophies of AI - Copilots versus Agents, small models versus large ones, specialists versus generalists.

Итак, давайте поговорим о новом расширенном голосовом режиме ChatGPT и новой Siri на базе ИИ. Это не просто разные подходы к общению с ИИ. Во многом они отражают водораздел между двумя философиями ИИ — Копилоты против Агентов, маленькие модели против больших, специалисты против универсалов.

Siri as Copilot

Siri как Копилот

Talking to Siri AI still feels like talking to the old Siri, at least for now. Your jaw will not drop in amazement, and you will still find yourself frustrated by how hit-or-miss it is.

Разговор с Siri AI по-прежнему напоминает общение со старой Siri — по крайней мере, пока. Ваша челюсть не отвиснет от восторга, и вы по-прежнему будете разочарованы тем, насколько непредсказуемо она работает.

There is a reason for the lack of a clear “wow” factor, Apple built Siri AI is around privacy, safety, and security. With over a billion people using their system, Apple didn’t want people exposed to all the risks and oddities of a LLM, they wanted something that worked well, and which was extremely private.

У отсутствия явного «вау-эффекта» есть причина: Apple построила Siri AI вокруг приватности, безопасности и защиты данных. Имея более миллиарда пользователей, Apple не хотела подвергать людей всем рискам и странностям LLM — им нужно было что-то надёжно работающее и максимально конфиденциальное.

Doing that required trade-offs, and so Apple put a small AI directly onto the phone itself, rather than relying on an internet connection. This is possible because AI models come in many sizes. For example, the open weights Llama 3.1 model from Meta comes in a giant 405 billion parameter model (which is equivalent to GPT-4), a medium-sized 70 billion parameter model (around the old ChatGPT-3.5), and a small 8 billion parameter model. These parameter numbers refer to the complexity of the AI model - larger numbers generally indicate more capable but resource-intensive systems. I can run the smallest model on my computer, but specialized hardware is required to run the 405B parameter model. The small model is nowhere near as powerful, but it makes up for it in other ways.

Для этого пришлось пойти на компромиссы, и Apple разместила небольшой ИИ прямо на самом телефоне, а не полагалась на интернет-соединение. Это возможно, потому что модели ИИ бывают самых разных размеров. Например, открытая модель Llama 3.1 от Meta выпускается в гигантской версии на 405 миллиардов параметров (сопоставимой с GPT-4), средней на 70 миллиардов параметров (примерно уровень старого ChatGPT-3.5) и маленькой на 8 миллиардов параметров. Эти числа параметров отражают сложность модели ИИ — чем больше число, тем, как правило, мощнее модель, но и тем больше ресурсов она требует. Самую маленькую модель я могу запустить на своём компьютере, но для модели на 405 млрд параметров нужно специализированное оборудование. Маленькая модель далеко не так мощна, но компенсирует это другими преимуществами.

Small models are cheap, fast, can be run on weaker hardware (like your phone) and can be specialized for particular tasks. As opposed to generalist models like ChatGPT, this creates AIs that are extremely focused on a narrow thing, which they can generally do reasonably well. Siri AI relies on a tiny 3B parameter model, but it uses a clever approach that allows their on-device AI to switch specialties among a few options, like summarizing text or editing images. Because all the work is done on your phone, it is encrypted and very private.

Маленькие модели дёшевы, быстры, работают на слабом оборудовании (вроде вашего телефона) и могут быть специализированы под конкретные задачи. В отличие от моделей-универсалов вроде ChatGPT, это создаёт ИИ, сфокусированные на узкой области, с которой они, как правило, справляются достаточно хорошо. Siri AI использует крошечную модель на 3 млрд параметров, но применяет хитрый подход, позволяющий локальному ИИ переключаться между несколькими специализациями — например, резюмированием текста или редактированием изображений. Поскольку вся обработка происходит на вашем телефоне, данные зашифрованы и полностью конфиденциальны.

And yet, because it is a small model, it also isn’t that smart. In fact, it feels like using the old Siri, with minor improvements. If I ask it "I want to go to dinner and a movie tonight, and make sure I can get there by 6 & be home by 10. I would love some spicy Latin food and an action movie” it fails miserably. This is not actually a hard problem for LLMs, though. A slightly larger model, Llama 8B, actually does a much better job (though it does get some details wrong as it doesn’t have web access).

И всё же, будучи маленькой моделью, она не слишком умна. По ощущениям это старая Siri с незначительными улучшениями. Если я попрошу: «Хочу сходить на ужин и в кино сегодня вечером, убедись, что я смогу добраться к 6 и вернуться домой к 10. Хотелось бы острую латиноамериканскую кухню и боевик» — она провалится с треском. При этом для LLM это вовсе не сложная задача. Чуть более крупная модель, Llama 8B, справляется заметно лучше (хотя и допускает некоторые ошибки из-за отсутствия доступа в интернет).

This is just the start for Apple AI, though, because a future update will make it so that the Siri on your phone can ask a larger Apple AI in the cloud to help when it can’t solve a problem, or even pass really hard questions on to ChatGPT. And it will be able to interact with apps, triggering actions and taking in information from multiple sources. The technology will certainly improve.

Впрочем, для Apple AI это только начало, потому что в будущем обновлении Siri на вашем телефоне сможет обращаться к более крупному ИИ Apple в облаке, когда не может решить задачу сама, или даже перенаправлять особо сложные вопросы к ChatGPT. Кроме того, она сможет взаимодействовать с приложениями, запуская действия и получая информацию из нескольких источников. Технология определённо будет совершенствоваться.

Yet, Apple’s approach is not just a technical one, but a philosophic decision. AI carries risks. It is unpredictable. It hallucinates. It has the potential for misuse. It is not always private. So, Apple decided to reduce the danger of misuse or error. They have turned Siri into a Copilot. You see these sorts of Copilots appearing in many products - very narrow AI systems designed to help with specific tasks. In doing so, they hide the weirder, riskier, and more powerful aspects of Large Language Models. Copilots can be helpful, but they are unlikely to lead to leaps in productivity, or change the way we work, because they are constrained. Power trades off with security.

Тем не менее подход Apple — это не только техническое решение, но и философский выбор. ИИ несёт риски. Он непредсказуем. Он галлюцинирует. Он может быть использован не по назначению. Он не всегда обеспечивает конфиденциальность. Поэтому Apple решила снизить опасность злоупотреблений и ошибок. Они превратили Siri в Копилота. Подобные Копилоты появляются во многих продуктах — очень узкие системы ИИ, предназначенные для помощи в конкретных задачах. При этом они скрывают более странные, рискованные и мощные аспекты больших языковых моделей. Копилоты могут быть полезны, но вряд ли приведут к скачку производительности или изменят способ нашей работы, потому что они ограничены. Мощность приносится в жертву безопасности.

ChatGPT Voice as Agent

Голосовой ChatGPT как Агент

If Siri is about making AI less weird and more predictable, ChatGPT Voice is the exact opposite. It does not use a small, tailored model, but rather provides access to the full power of the generalist GPT-4o. While there has been a kind of voice mode available for ChatGPT for months, this is very different. It engages in natural conversations, with interruptions and fast flow. It is hard to communicate exactly how impressive the interactive voice mode for ChatGPT is, so I would suggest you listen to the audio clips I have embedded into this post.

Если Siri стремится сделать ИИ менее странным и более предсказуемым, голосовой ChatGPT — полная противоположность. Он не использует маленькую, заточенную модель, а предоставляет доступ к полной мощи универсальной GPT-4o. Хотя некое подобие голосового режима было доступно в ChatGPT уже несколько месяцев, нынешняя версия — совсем другое. Она ведёт естественные диалоги, с перебиваниями и живым темпом. Трудно передать словами, насколько впечатляет интерактивный голосовой режим ChatGPT, поэтому я рекомендую вам послушать аудиозаписи, встроенные в этот пост.

For example, here I get ChatGPT to help me with the opening paragraph of this post. Note not just the speed and natural flow of interruptions, but also subtle tonal changes (the simulated enthusiasm for me and my work, the natural sounding tone, etc.).

Например, здесь я прошу ChatGPT помочь мне с вступительным абзацем этого поста. Обратите внимание не только на скорость и естественность перебиваний, но и на тонкие изменения тона (имитация энтузиазма по поводу меня и моей работы, естественно звучащая интонация и т. д.).

Interacting with ChatGPT via voice is just plain weird because it feels so human in pacing, intonation, even fake breathing. It is capable of a wide range of simulated emotions, because it isn’t just triggering a recording, instead, the system is apparently fully multimodal in outputs and inputs, taking in and producing sounds in the same way older generations of LLMs took in and produced text. Right now, it appears many of these features are locked behind guardrails - as you can see at the end of the clip below, the AI isn’t allowed to produce sound effects, or to change its voice dramatically, likely to avoid misuse - but those are capabilities that it has.

Взаимодействие с ChatGPT через голос — это просто странно, потому что ощущается поразительно человечным по темпу, интонации и даже имитации дыхания. Система способна передавать широкий спектр симулированных эмоций, поскольку она не просто воспроизводит записи — судя по всему, система полностью мультимодальна на входе и выходе, воспринимая и генерируя звуки так же, как предыдущие поколения LLM воспринимали и генерировали текст. Сейчас многие из этих возможностей, похоже, заблокированы ограничителями — как видно в конце ролика ниже, ИИ не разрешено создавать звуковые эффекты или радикально менять голос, вероятно, во избежание злоупотреблений, — но эти способности у него есть.

Working with ChatGPT via voice seems like talking to a person. Even though the underlying model is no different than the usual GPT-4o, the addition of voice has a lot of implications. A voice-powered tutor works very differently than one that communicates via typing, for example. It can also speak many other languages providing new approaches to cross-cultural communication. And I have no doubt people will have emotional reactions to their ChatGPT assistants, with unpredictable results.

Работа с ChatGPT через голос напоминает разговор с живым человеком. Хотя базовая модель ничем не отличается от обычной GPT-4o, добавление голоса влечёт множество последствий. Голосовой репетитор работает совсем иначе, чем тот, что общается через текст. Система также может говорить на многих языках, открывая новые подходы к межкультурной коммуникации. И я не сомневаюсь, что у людей будут возникать эмоциональные привязанности к их ассистентам на ChatGPT — с непредсказуемыми последствиями.

But just like Apple has not enabled the full power of their system, neither has OpenAI. Their AIs are fully multimodal, which means that they can also view images and video, and potentially produce much better images than previous models as well. If their vision comes true, soon we will have assistants can watch, listen, and interact with the world. Once that is achieved, the next step will be agents, the idea that your AI should not just be able to talk to you, but also plan and take action on your behalf. Unlike Copilots, agent-based systems, and their precursors like GPT-4 voice, embrace messiness in ways that are both powerful and potentially risky. While full of guardrails, OpenAI’s approach to voice is much less constrained than Apple AI, and thus it will interact with the world in unexpected ways.

Но как и Apple, OpenAI тоже пока не раскрыла полную мощь своей системы. Их ИИ полностью мультимодален, а значит, может также воспринимать изображения и видео, а потенциально и генерировать изображения значительно лучше предыдущих моделей. Если их видение воплотится, вскоре у нас появятся ассистенты, способные видеть, слышать и взаимодействовать с миром. Как только это будет достигнуто, следующим шагом станут агенты — идея о том, что ваш ИИ должен не только разговаривать с вами, но и планировать и действовать от вашего имени. В отличие от Копилотов, агентные системы и их предшественники вроде голосового GPT-4 принимают хаотичность — и в этом их сила и потенциальный риск. При всём обилии ограничителей подход OpenAI к голосу гораздо менее скован, чем Apple AI, и потому будет взаимодействовать с миром неожиданными способами.

Sharp edges and new changes

Острые углы и новые перемены

The different approaches to voice show us the future of AI will involve navigating a tension between lower risk, less capable systems and those that allow the users more control and options, for good and bad. I think a lot of companies hope to have both, but I am not sure that is possible. They will need to decide whether to give users dull tools that are not very effective, but are also not dangerous, or whether they want to give them sharp knives that can be used to actually do work, but which carry the risk of injury. Dull knives will do no damage, but also much less good. I think we need to carefully consider when and where to select low-risk approaches (like Copilots) and where we are willing to tolerate risk of misuse in return for potentially huge benefits (like agents).

Разные подходы к голосу показывают, что будущее ИИ будет связано с балансированием между менее рискованными, но менее способными системами и теми, что дают пользователям больше контроля и возможностей — со всеми плюсами и минусами. Думаю, многие компании надеются получить и то, и другое, но я не уверен, что это возможно. Им придётся решить: давать пользователям тупые инструменты, которые не слишком эффективны, но и не опасны, или вручать им острые ножи, которыми можно реально работать, но которые несут риск травмы. Тупые ножи не причинят вреда, но и пользы от них немного. Я считаю, нам нужно тщательно выбирать, где применять подход с низким риском (как Копилоты), а где мы готовы мириться с риском злоупотреблений ради потенциально огромных выгод (как агенты).

This is all early, and based on first impressions, but I think that voice capabilities like GPT-4o’s are going to change how most people interact with AI systems. Voice and visual interactions are more natural than text and will have broader appeal to a wider audience. The future will involve talking to AI.

Всё это — ранние впечатления, основанные на первом опыте, но я думаю, что голосовые возможности вроде тех, что предлагает GPT-4o, изменят способ взаимодействия большинства людей с системами ИИ. Голосовое и визуальное взаимодействие естественнее текста и привлечёт более широкую аудиторию. Будущее — это разговоры с ИИ.

Share

Поделиться