What Apple's AI Tells Us: Experimental Models⁴

What Apple's AI Tells Us: Experimental Models⁴

Что говорит нам ИИ от Apple: экспериментальные модели⁴

Siri versus the machine god?

Siri против машинного бога?

I wanted to give some quick thoughts on the Apple AI (sorry, “Apple Intelligence”) release. I haven’t used it myself, and we don’t know everything about their approach, but I think the release highlights something important happening in AI right now: experimentation with four kinds of models - AI models, models of use, business models, and mental models of the future. What is worth paying attention to is how all the AI giants are trying many different approaches to see what works.

Хочу поделиться несколькими быстрыми мыслями о релизе Apple AI (простите, «Apple Intelligence»). Сам я им ещё не пользовался, и мы знаем не всё об их подходе, но, по-моему, этот релиз подсвечивает нечто важное, что происходит в ИИ прямо сейчас: эксперименты с четырьмя типами моделей — ИИ-моделями, моделями использования, бизнес-моделями и ментальными моделями будущего. На что стоит обратить внимание — так это на то, как все гиганты ИИ пробуют множество разных подходов, чтобы понять, что работает.

I am going to broadly stereotype some of these views - no company is a monolith, and all the AI organizations are doing many different things - but, in broad strokes, an interesting picture is emerging.

Я буду грубо обобщать некоторые из этих взглядов — ни одна компания не монолитна, и все ИИ-организации делают множество разных вещей, — но в общих чертах вырисовывается интересная картина.

AI Models

ИИ-модели

As I wrote in the last post, the power of the foundation model you use is a big deal, because the largest frontier models are, out-of-the-box, better at most things than smaller models, even smaller specialized models.

Как я писал в прошлом посте, мощность фундаментальной модели, которую вы используете, имеет большое значение, потому что крупнейшие фронтирные модели «из коробки» лучше справляются с большинством задач, чем модели поменьше — даже чем небольшие специализированные модели.

Remember BloombergGPT, which was a specially trained finance LLM, drawing on all of Bloomberg's data? It made a bunch of firms decide to train their own models to reap the benefits of their special information and data. You may not have seen that GPT-4 (the old, pre-turbo version with a small context window), without specialized finance training or special tools, beat BloombergGPT on almost all finance tasks. This demonstrates a pattern: the most advanced generalist AI models often outperform specialized models, even in the specific domains those specialized models were designed for. That means that if you want a model that can do a lot - reason over massive amounts of text, help you generate ideas, write in a non-robotic way — you want to use one of the three frontier models: GPT-4o, Gemini 1.5, or Claude 3 Opus.

Помните BloombergGPT — специально обученную финансовую LLM, опиравшуюся на все данные Bloomberg? Из-за неё множество фирм решили обучать собственные модели, чтобы извлечь выгоду из своей особой информации и данных. Вы могли не заметить, что GPT-4 (старая, до-turbo версия с маленьким контекстным окном), без специального финансового обучения и без особых инструментов, обошла BloombergGPT почти на всех финансовых задачах. Это демонстрирует закономерность: самые продвинутые универсальные ИИ-модели часто превосходят специализированные модели, даже в тех конкретных областях, под которые эти специализированные модели создавались. Это значит, что если вам нужна модель, способная на многое — рассуждать над огромными объёмами текста, помогать генерировать идеи, писать не по-роботски, — вам стоит использовать одну из трёх фронтирных моделей: GPT-4o, Gemini 1.5 или Claude 3 Opus.

But these models are expensive to train and slow and expensive to run, which leaves room for much smaller models that aren’t as good as the frontier models but can run cheaply and easily - even on a PC or phone. This isn't new. Back in December, I was able to run Mistral 7b, a model slightly less advanced than the original ChatGPT, directly on my phone without an internet connection. I also ran Mixtral, a model from the same company that slightly outperforms the original ChatGPT, on my gaming computer.

Но эти модели дороги в обучении, а также медленны и дороги в эксплуатации, что оставляет место для гораздо меньших моделей, которые не так хороши, как фронтирные, но могут работать дёшево и легко — даже на ПК или телефоне. Это не ново. Ещё в декабре я смог запустить Mistral 7b, модель чуть менее продвинутую, чем оригинальный ChatGPT, прямо на своём телефоне без подключения к интернету. Также я запускал Mixtral — модель той же компании, которая немного превосходит оригинальный ChatGPT, — на своём игровом компьютере.

All of the tech companies have been releasing these sorts of small, fairly powerful models, with the idea that they can handle simple questions on the hardware of your devices, and then call a larger model “in the cloud” when they need help. You aren’t getting anywhere near the smarts of a frontier model, but if you want to do straightforward things (make a Siri that works or “make my photos more vivid”), these models are often more than enough. Many of the companies betting on frontier models, like Google, have also released faster and cheaper models to fill this niche, and are deploying them to phones as well.

Все технологические компании выпускают подобные небольшие, довольно мощные модели с идеей, что те смогут обрабатывать простые запросы на «железе» ваших устройств, а затем обращаться к более крупной модели «в облаке», когда нужна помощь. Вы и близко не получаете уровня ума фронтирной модели, но если вам нужно делать несложные вещи (сделать рабочую Siri или «сделать мои фото ярче»), таких моделей часто более чем достаточно. Многие компании, делающие ставку на фронтирные модели, например Google, тоже выпустили более быстрые и дешёвые модели, чтобы заполнить эту нишу, и разворачивают их на телефонах.

Apple does not have a frontier model, Google and Microsoft/OpenAI have a large lead in that space. But they have created a bunch of small models that run on the AI-focused chips in Apple products. And they have built a medium-sized model that the iPhone can call in the cloud when it needs help. The model that runs on your phone is pretty close in abilities to the version of Mistral that I was using above (but much faster and optimized to reduce errors) and the version that runs in the cloud is better than the original ChatGPT, but not that much better. These smaller, weaker models give Apple a lot of control over AI use on their systems and offloads a lot of work to the phone or computer. But they still don’t have a frontier model, so they working with OpenAI to send GPT-4 the questions that are too hard for Apple’s models to answer. Companies are clearly still experimenting with which models, or sets of models, to offer.

У Apple нет фронтирной модели — Google и Microsoft/OpenAI существенно опережают всех в этой сфере. Но они создали набор небольших моделей, которые работают на ориентированных под ИИ чипах в продуктах Apple. И они построили модель среднего размера, к которой iPhone может обращаться в облаке, когда нужна помощь. Модель, работающая на вашем телефоне, довольно близка по возможностям к той версии Mistral, которую я использовал выше (но гораздо быстрее и оптимизирована для снижения числа ошибок), а версия, работающая в облаке, лучше оригинального ChatGPT, но не намного. Эти меньшие, более слабые модели дают Apple большой контроль над использованием ИИ в их системах и переносят значительную часть работы на телефон или компьютер. Но фронтирной модели у них всё же нет, поэтому они сотрудничают с OpenAI, чтобы отправлять GPT-4 те вопросы, которые слишком сложны для моделей Apple. Компании явно всё ещё экспериментируют с тем, какую модель или набор моделей предлагать.

Models of Use

Модели использования

Large Language Models are Swiss army knives of the mind - they can help with a wide range of intellectual tasks, though they do some badly (the toothpick in the Swiss army knife), and some not at all. Knowing what they are good or bad at is a process of learning by doing and acquiring expertise. That requires both expertise with the models themselves (the rule-of-thumb in my book is 10 hours of use to learn what the models do), and also expertise with the work you are trying to get the AI to do. Within your area of expertise, experimentation with AI is easy - since you know when it messes up - but outside of that, it can be challenging because AI is weird.

Большие языковые модели — это швейцарские ножи разума: они помогают с широким спектром интеллектуальных задач, хотя что-то делают плохо (зубочистка в швейцарском ноже), а что-то не делают вовсе. Понимание того, в чём они хороши, а в чём плохи, — это процесс обучения на практике и накопления опыта. Это требует и экспертизы в самих моделях (эмпирическое правило в моей книге — 10 часов использования, чтобы понять, что модели умеют), и экспертизы в той работе, которую вы пытаетесь поручить ИИ. В вашей области экспертизы экспериментировать с ИИ легко — ведь вы видите, когда он ошибается, — но за её пределами это может быть непросто, потому что ИИ — штука странная.

The makers of frontier models do not have strong views about how their systems can be used, and so they are not optimized for any one task. Working with advanced models is more like working with a human being, a smart one that makes mistakes and has weird moods sometimes. Frontier models are more likely to do extraordinary things but are also more frustrating and often unnerving to use. Contrast this with Apple’s narrow focus on making AI get stuff done for you.

Создатели фронтирных моделей не имеют жёстких представлений о том, как должны использоваться их системы, и поэтому те не оптимизированы под какую-то одну задачу. Работа с продвинутыми моделями больше похожа на работу с живым человеком — умным, который делает ошибки и порой бывает в странном настроении. Фронтирные модели чаще способны на выдающиеся вещи, но при этом более раздражают и зачастую вызывают тревогу при использовании. Сравните это с узким фокусом Apple на том, чтобы ИИ делал дела за вас.

For example, I can ask Gemini 1.5 to look a bunch of PDFs of comics, read my emails to learn about my sense of humor, and suggest the comics that might appeal to me. Pretty amazing stuff. But I can ask Siri with AI to send this photo to my friend Sarah after making the colors pop.

Например, я могу попросить Gemini 1.5 просмотреть кучу PDF с комиксами, прочитать мои письма, чтобы понять моё чувство юмора, и предложить комиксы, которые могли бы мне понравиться. Довольно впечатляющая штука. Но Siri с ИИ я могу попросить отправить это фото моей подруге Sarah, предварительно сделав цвета насыщеннее.

For many people the second use case is actually the more natural, intuitive, and useful one. A machine that can do anything much of the time, but also sometimes does something entirely different, is harder to understand than a narrow AI that just does what you want (with the caveat we don’t know how well the Apple system works). Google is also going to be releasing smaller AI models that are local to phones. And Microsoft is taking a similar approach to Apple, with a business twist. They have implemented Copilots in their key office apps. They do a really good job of providing easily understood “it just works” (mostly) integration of AI into work in easy ways. But both the Apple and app-specific Copilot models are constrained, which limits their upside, as well as their downside.

Для многих людей второй сценарий на самом деле более естественный, интуитивный и полезный. Машину, которая способна делать что угодно большую часть времени, но иногда вытворяет нечто совершенно иное, понять труднее, чем узкий ИИ, который просто делает то, что вы хотите (с оговоркой, что мы не знаем, насколько хорошо работает система Apple). Google тоже собирается выпускать меньшие ИИ-модели, локальные для телефонов. А Microsoft применяет подход, похожий на Apple, но с бизнес-уклоном. Они внедрили Copilot’ы в свои ключевые офисные приложения. У них отлично получается обеспечивать понятную интеграцию ИИ в работу по принципу «оно просто работает» (по большей части), причём простыми способами. Но и модели Apple, и привязанные к приложениям Copilot’ы ограничены, что лимитирует их потенциальную пользу, равно как и риски.

The potential gains to AI, the productivity boosts and innovation, along with the weird risks, come from the larger, less constrained models. And the benefits come from figuring out how to apply AI to your own use cases, even though that takes work. Frontier models thus have a very different approach to use cases than more constrained models. Take a look at this demo, from OpenAI, where GPT-4o (rather flirtatiously?) helps someone work through an interview, and compare it to this demo of Apple’s AI-powered Siri, helping with appointments. Radically different philosophies at work.

Потенциальные выгоды ИИ — прирост производительности и инновации, наряду со странными рисками, — исходят от более крупных, менее ограниченных моделей. И эти выгоды берутся из того, что вы разбираетесь, как применить ИИ к собственным сценариям использования, пусть это и требует усилий. Таким образом, у фронтирных моделей совсем иной подход к сценариям использования, чем у более ограниченных моделей. Взгляните на этот демо от OpenAI, где GPT-4o (довольно кокетливо?) помогает человеку готовиться к собеседованию, и сравните его с этим демо ИИ-Siri от Apple, помогающей с назначением встреч. Здесь работают радикально разные философии.

Business Models

Бизнес-модели

The best access to an advanced model costs you $20 a month, at least that is what OpenAI and Google and Anthropic and Microsoft decided. And, of course, all of these companies sell API access, charged by usage, to businesses and individuals directly. Yet, increasingly, some advanced AI access is free, including to Copilot and ChatGPT-4o. Apple sounds like they will start with free service as well, but may decide to charge in the future. The truth is that everyone is exploring this space, and how they make money and cover costs is still unclear (though there is a lot of money out there: OpenAI is one of the fastest growing tech companies in history, with revenues reaching $2B). To a large extent, the future of AI will be shaped by the degree to which AI companies figure out sustainable business models, so expect to see more experimentation.

Лучший доступ к продвинутой модели стоит вам $20 в месяц — по крайней мере, так решили OpenAI, Google, Anthropic и Microsoft. И, конечно, все эти компании продают доступ по API с оплатой по использованию — напрямую бизнесу и частным лицам. При этом всё чаще часть доступа к продвинутому ИИ бесплатна, включая Copilot и ChatGPT-4o. Apple, судя по всему, тоже начнёт с бесплатного сервиса, но в будущем может решить брать плату. Правда в том, что все исследуют это пространство, и то, как они будут зарабатывать и покрывать издержки, до сих пор неясно (хотя денег вокруг немало: OpenAI — одна из самых быстрорастущих технологических компаний в истории, с выручкой, достигшей $2 млрд). В значительной мере будущее ИИ будет определяться тем, в какой степени ИИ-компании сумеют выстроить устойчивые бизнес-модели, так что ждите ещё больше экспериментов.

What every one of these companies needs to succeed, however, is trust. There are a lot of reasons why people don’t trust AI companies; from their unclear use of training data to their plans for an AI-dominated future to their often-opaque management. But what most people mean by trust is the question of privacy (“will AI use what I give it as training data?”) and that has long been answered. All of the AI companies offer options where they agree to not use your data for training, and the legal implications for breaching these agreements would be dire. But Apple goes many steps further, putting extra work into making sure it could never learn about your data, even if it wanted to. Only the local AI on your phone accesses personal data, and anything handed to the cloud AI is encrypted, processed anonymously and instantly erased in ways that would be very hard for anyone to intercept. To the extent that data is given to OpenAI, it is also anonymous and requires explicit permission. Between the limited use cases and the privacy focus, this is a very “ethical” use of AI (though we still know little about Apple’s training data). We will see if that is enough to get the public to trust AI more.

Однако то, что нужно каждой из этих компаний для успеха, — это доверие. Есть много причин, по которым люди не доверяют ИИ-компаниям: от неясного использования обучающих данных до их планов на будущее, где доминирует ИИ, и часто непрозрачного управления. Но под доверием большинство людей подразумевают вопрос приватности («будет ли ИИ использовать то, что я ему даю, как обучающие данные?»), и на него давно дан ответ. Все ИИ-компании предлагают варианты, в которых они соглашаются не использовать ваши данные для обучения, а юридические последствия нарушения этих соглашений были бы тяжёлыми. Но Apple идёт намного дальше, прилагая дополнительные усилия к тому, чтобы она никогда не смогла узнать о ваших данных, даже если бы захотела. Только локальный ИИ на вашем телефоне обращается к персональным данным, а всё, что передаётся облачному ИИ, шифруется, обрабатывается анонимно и мгновенно стирается такими способами, что перехватить это кому-либо было бы очень трудно. В той мере, в какой данные передаются OpenAI, они также анонимны и требуют явного разрешения. Между ограниченными сценариями использования и фокусом на приватности это очень «этичное» применение ИИ (хотя об обучающих данных Apple мы всё ещё знаем мало). Посмотрим, окажется ли этого достаточно, чтобы публика стала больше доверять ИИ.

Models of the Future

Модели будущего

There is a specter haunting all AI development, the specter of AGI - Artificial General Intelligence, the hypothetical machine better than humans at every intellectual tasks. This is the explicit goal of OpenAI and Anthropic, and it is something they hope to achieve in the near term. For people who genuinely believe they are building AGI soon, almost nothing else is important. The AI models along the way to AGI are mere stepping stones, not anything you want to build a business around, because they will be replaced by better models soon. OpenAI's systems may feel unpolished because the company believes that future models will significantly advance AI capabilities. As a result, they may not be investing heavily in refining systems that will likely be outdated as new models are released. I do not know if AGI is achievable, but I know that the mere idea of AGI being possible soon bends everything around it, resulting in wide differences in approach and philosophy in AI implementations.

Над всей разработкой ИИ витает призрак — призрак AGI, Artificial General Intelligence, гипотетической машины, превосходящей человека в каждой интеллектуальной задаче. Это явная цель OpenAI и Anthropic, и они надеются достичь её в близкой перспективе. Для людей, которые искренне верят, что они скоро построят AGI, почти ничто другое не важно. ИИ-модели на пути к AGI — лишь ступеньки, а не то, вокруг чего стоит строить бизнес, ведь их вскоре заменят более совершенные модели. Системы OpenAI могут казаться недоведёнными, потому что компания верит, что будущие модели значительно продвинут возможности ИИ. В результате они, возможно, не вкладываются всерьёз в шлифовку систем, которые, скорее всего, устареют по мере выхода новых моделей. Я не знаю, достижим ли AGI, но я знаю, что одна лишь идея о том, что AGI возможен в скором времени, искривляет всё вокруг себя, порождая большие различия в подходах и философии при внедрении ИИ.

While Apple is building narrow AI systems that can accurately answer questions about your personal data (“tell me when my mother is landing”), OpenAI wants to build autonomous agents that would complete complex tasks for you (“You know those emails about the new business I want to start, could you figure out what I should do to register it so that it is best for my taxes and do that.”). The first is, as Apple demonstrated, science fact, while the second is science fiction, at least for now. Every major AI company argues the technology will evolve further and has teased mysterious future additions to their systems. In contrast, what we are seeing from Apple is a clear and practical vision of how AI can help most users, without a lot of effort, today. In doing so, they are hiding much of the power, and quirks, of LLMs from their users. Having companies take many approaches to AI is likely to lead to faster adoption in the long term. And, as companies experiment, we will learn more about which sets of models are correct.

Пока Apple строит узкие ИИ-системы, способные точно отвечать на вопросы о ваших персональных данных («скажи, когда приземляется моя мама»), OpenAI хочет создать автономных агентов, которые выполняли бы за вас сложные задачи («Помнишь те письма про новый бизнес, который я хочу запустить, — мог бы ты разобраться, как мне его зарегистрировать так, чтобы это было оптимально с точки зрения налогов, и сделать это»). Первое, как продемонстрировала Apple, — научный факт, тогда как второе — научная фантастика, по крайней мере пока. Каждая крупная ИИ-компания утверждает, что технология будет развиваться дальше, и дразнит загадочными будущими дополнениями к своим системам. В отличие от этого, то, что мы видим у Apple, — это ясное и практичное видение того, как ИИ может помочь большинству пользователей уже сегодня, без особых усилий. Тем самым они скрывают от своих пользователей значительную часть мощи — и причуд — LLM. То, что компании применяют множество подходов к ИИ, вероятно, приведёт к более быстрому внедрению в долгосрочной перспективе. И по мере того как компании экспериментируют, мы будем узнавать всё больше о том, какие наборы моделей верны.

Share

Поделиться