The shape of the shadow of The Thing

The shape of the shadow of The Thing

Очертания тени Нечта

We can start to see, dimly, what the near future of AI looks like.

Мы начинаем смутно различать, как будет выглядеть ближайшее будущее ИИ.

A lot has happened in the past week or so, so I wanted to write a post taking stock of where we are. In many ways I see us reaching the culmination of the first phase of the AI era that started (only 10 months ago!) with the launch of ChatGPT. It ends with the upcoming launch of Google’s Gemini, the first LLM model likely to beat OpenAI’s GPT-4.

За последнюю неделю или около того произошло множество событий, поэтому я хотел написать пост, подводящий итоги того, где мы находимся. Во многом мне кажется, что мы подходим к кульминации первой фазы эры ИИ, которая началась (всего 10 месяцев назад!) с запуска ChatGPT. Она завершается с предстоящим выходом Google Gemini — первой LLM-модели, которая, вероятно, превзойдёт GPT-4 от OpenAI.

Now, enough pieces of the jigsaw puzzle are in place that we can start to see what AI can actually do, at least in the short term. Many pieces are still missing, though, and this is a temporary state of affairs, AI continues to improve.

Сейчас достаточно кусочков мозаики встало на свои места, чтобы мы могли начать понимать, на что ИИ действительно способен — по крайней мере, в краткосрочной перспективе. Многих кусочков по-прежнему не хватает, и это временное положение дел: ИИ продолжает совершенствоваться.

Even more importantly, the actual implications of what this phase of AI will mean for work and education is currently unknowable. It is unknowable to all of us who don’t have insight into what the AI labs have planned, but it is also actually unknowable to them. I guarantee that the people at Google and OpenAI and Microsoft do not know the implications of AI for YOUR job or YOUR company or YOUR education, or even all the ways in which the systems they are building will ultimately be used, for good or bad.

Что ещё важнее, реальные последствия того, что эта фаза ИИ будет означать для работы и образования, сейчас непознаваемы. Они непознаваемы для всех нас, у кого нет доступа к планам ИИ-лабораторий, но они непознаваемы и для самих лабораторий. Я гарантирую, что люди в Google, OpenAI и Microsoft не знают, что ИИ будет означать для ВАШЕЙ работы, ВАШЕЙ компании или ВАШЕГО образования, и даже не знают всех способов, которыми создаваемые ими системы в конечном счёте будут использоваться — во благо или во вред.

So, we can’t see the Thing that is being built, or even the shadow it is going to cast over work and education, but we can get a sense of its general shape. That’s what this post is about. With so many updates, there is a lot to discuss, but the right place to start is with the metaphorical “brain” (I going to be anthropomorphizing a lot in this post for ease of understanding, please forgive it) — the core LLM models themselves.

Итак, мы не можем увидеть Нечто, которое создаётся, и даже тень, которую оно отбросит на работу и образование, но мы можем уловить его общие очертания. Об этом и пойдёт речь в этом посте. При таком количестве обновлений есть что обсудить, но начать стоит с метафорического «мозга» (в этом посте я буду много антропоморфизировать для простоты понимания, прошу простить) — самих базовых LLM-моделей.

Brains

Мозги

One thing everyone should pay attention to is the quality of what industry insiders call Frontier Models. These are the LLMs that are the most capable, the most “intelligent” (I did it again), the most impressive to work with. There are increasing numbers of other good models that might be better for some uses (usually because they are cheaper or open source), but the abilities of the Frontier Models show us what AI is capable of.

Одна вещь, на которую всем стоит обратить внимание, — это качество того, что инсайдеры отрасли называют Frontier Models. Это LLM, которые наиболее способны, наиболее «интеллектуальны» (я опять за своё), с которыми наиболее впечатляюще работать. Растёт число других хороших моделей, которые могут быть лучше для отдельных задач (обычно потому, что дешевле или имеют открытый исходный код), но именно возможности Frontier Models показывают нам, на что способен ИИ.

The gold standard Large Language Model to date has been OpenAI’s GPT-4, which has been deployed, in some form, for over a year, though it originally stopped training many months before that. No other AI released has beaten GPT-4, and Google’s Bard AI model is notoriously mediocre. That is likely to change in the coming weeks with the release of Google’s Gemini, which all rumors suggest will take the crown of the most powerful AI model.

Золотым стандартом среди больших языковых моделей на сегодняшний день остаётся GPT-4 от OpenAI, которая в том или ином виде используется уже больше года, хотя обучение завершилось за много месяцев до этого. Ни одна другая выпущенная модель ИИ не превзошла GPT-4, а модель Google Bard печально известна своей посредственностью. Вероятно, это изменится в ближайшие недели с выходом Google Gemini, которая, по всем слухам, займёт трон самой мощной ИИ-модели.

I suspect, however, that while Gemini will beat GPT-4, it will not exceed it by such a large margin that it takes us to a new phase of AI. Instead, we are likely to be at a situation where OpenAI, Google, and (maybe) one or two other players have very capable models that can out-innovate many humans, boost performance on complex tasks, and also do everyone’s homework. They also come with a lot of knowledge - which is why GPT-4, a general-purpose AI, can beat older, more specialized AIs trained to be good in one area, like medicine. But these systems have flaws as well, and continue to have problems with hallucinations and making up facts.

Однако я подозреваю, что хотя Gemini превзойдёт GPT-4, отрыв будет не настолько большим, чтобы перевести нас в новую фазу ИИ. Скорее всего, мы окажемся в ситуации, когда OpenAI, Google и (возможно) ещё один-два игрока будут располагать очень мощными моделями, способными превзойти многих людей в инновациях, повысить производительность в сложных задачах, а также делать за всех домашние задания. Они также обладают огромным объёмом знаний — именно поэтому GPT-4, универсальный ИИ, может обойти более старые, специализированные модели, обученные быть хорошими в одной области, например в медицине. Но у этих систем есть и недостатки, и проблемы с галлюцинациями и выдумыванием фактов никуда не делись.

So, not bad for a year of AI releases, but also not the dreaded/hoped-for Artificial General Intelligence that out-thinks all humans or achieves sentience. The future development of AI remains controversial. Yet, even if we stopped AI development today, it would likely be most of a decade before we figured out the full implications of today’s LLMs. That is in part because brains are just the start.

Итак, неплохо для года ИИ-релизов, но и не тот пугающий/долгожданный искусственный общий интеллект, который превосходит всех людей в мышлении или обретает сознание. Будущее развитие ИИ остаётся предметом споров. Однако даже если бы мы остановили разработку ИИ сегодня, потребовалась бы бо́льшая часть десятилетия, чтобы разобраться во всех последствиях нынешних LLM. Отчасти потому, что мозги — это лишь начало.

Vision

Зрение

Image recognition is not new, nor is the ability to create AI images, but when they are combined with the “brains” of the LLM, something very different happens. So, it is significant that both Google and Microsoft/Open AI have introduced different levels of multimodal capabilities. That means that they can create and “see” images, and also receive and produce voice (more on that in a minute).

Распознавание изображений не ново, как и возможность создавать ИИ-изображения, но когда они сочетаются с «мозгами» LLM, происходит нечто совершенно иное. Поэтому важно, что и Google, и Microsoft/OpenAI представили различные уровни мультимодальных возможностей. Это означает, что они могут создавать и «видеть» изображения, а также принимать и воспроизводить голос (подробнее об этом чуть позже).

Once you give AIs vision, they gain a new method of interacting with the world, one that expands their capabilities into industries and uses that most of us had never considered. It does all the basics, of course. Basics like deciphering handwritten treatises on mummies written in archaic Catalan (a challenge given to me by historian Benjamin Breen) or becoming a solid photography coach. But that is just the start.

Как только вы даёте ИИ зрение, он получает новый способ взаимодействия с миром — такой, который расширяет его возможности в отрасли и сферы применения, о которых большинство из нас никогда не задумывались. Он справляется со всеми базовыми задачами, разумеется. Например, расшифровывает рукописные трактаты о мумиях, написанные на архаичном каталанском (задача, предложенная мне историком Бенджамином Брином), или становится хорошим наставником по фотографии. Но это лишь начало.

In fact, researchers at Microsoft have written a dense paper documenting the surprising ways these vision systems can be used (though they do not provide any statistics on how often it works successfully, and these models are still flawed). Among the more interesting is the ability of the AI to read an operating manual to learn how to use a machine, write an insurance report, perform medical diagnoses, do manufacturing analyses, and even pilot a robot. All of these applications used to require expensive and highly specialized vision systems. Now, the Frontier Models can do them all (though, again, we do not know how to best prompt them or how accurate they are).

Более того, исследователи из Microsoft написали объёмную статью, документирующую неожиданные способы применения этих систем компьютерного зрения (хотя они не приводят статистики успешности, и эти модели по-прежнему несовершенны). Среди наиболее интересных — способность ИИ прочитать руководство по эксплуатации, чтобы научиться управлять станком, составить страховой отчёт, провести медицинскую диагностику, выполнить производственный анализ и даже управлять роботом. Все эти задачи раньше требовали дорогих и узкоспециализированных систем компьютерного зрения. Теперь Frontier Models справляются с ними всеми (хотя, опять же, мы не знаем, как лучше всего формулировать для них запросы и насколько они точны).

But giving AI vision also lets it do things that might be more double-edged swords. Out of the box, it is extraordinarily good at facial recognition, even without training, and it can accurately assess the expressions on people’s faces, the location in which they are, and the context in which they are acting. For example, without location information beyond a sign with half-obscured text, GPT-4 was able to guess the location of a trip to Hershey amusement park, track who was in which picture, figure out the context under which they were acting, and make inferences about the sequence of events and activities. This is both really exciting… and offers the potential for misuse. While OpenAI and Microsoft have both put guardrails around how these products can be used: they won’t tell you the names of people or assess them in detail, and they refuse to solve CAPTCHAS. But these tools will soon become broadly available, and, of course, people are finding ways around these limits by convincing the AI to break its own rules (Denis Shiryaev was able to convince the AI to solve a CAPTCHA by fooling it into believing that it was an inscription on his mother’s locket)

Но наделение ИИ зрением также позволяет ему делать вещи, которые могут быть палкой о двух концах. Прямо из коробки он исключительно хорош в распознавании лиц, даже без специального обучения, и может точно оценивать выражения лиц, определять местоположение людей и контекст, в котором они действуют. Например, не имея информации о местоположении, кроме вывески с полустёртым текстом, GPT-4 смог угадать, что поездка была в парк развлечений Hershey, отследить, кто на каком снимке, понять контекст происходящего и сделать выводы о последовательности событий и активностей. Это одновременно очень впечатляет… и открывает возможности для злоупотреблений. Хотя OpenAI и Microsoft установили ограничения на использование этих продуктов — они не называют имена людей, не дают подробных оценок и отказываются решать CAPTCHA, — эти инструменты скоро станут широко доступны, и, конечно, люди находят способы обойти эти ограничения, убеждая ИИ нарушить собственные правила (Денис Ширяев смог убедить ИИ решить CAPTCHA, заставив его поверить, что это надпись на медальоне его матери).

And, by hooking up LLMs with vision and research capabilities to image creation models, AIs can actually start to design their own images, beyond just prompting image generators. For example, I asked Bing (which uses GPT-4 with vision in creative mode): Create a Nike ad in the style of a 1920s poster, make sure to really do research in advance and translate the elements from a modern ad to that period, giving lots of detail. Bing looked up 1920s art styles and Nike ads and then decided to use the prompt “An illustration of a person wearing Nike shoes and clothing, doing some sport activity. The person is drawn in a geometric and abstract style, with bright colors and sharp angles. The illustration is inspired by the works of Tamara de Lempicka, a famous Art Deco painter who depicted modern and elegant figures. The person is shown running on a track, with a city skyline in the background. The illustration covers most of the poster space, to create a dynamic and eye-catching effect.” While the results aren’t perfect (the art is flawed, and sometimes Bing forgets to use the prompt it creates or argues with you about whether it has already created a picture when it hasn’t), you can start to see how being good at prompting AI image generators is going to be much less important when the AI generates its own images.

А подключив к LLM с возможностями зрения и исследования модели генерации изображений, ИИ может начать самостоятельно проектировать собственные изображения, а не просто передавать промпты генераторам. Например, я попросил Bing (который использует GPT-4 с функцией зрения в творческом режиме): Создай рекламу Nike в стиле плаката 1920-х годов, обязательно проведи предварительное исследование и перенеси элементы современной рекламы в ту эпоху, дав множество деталей. Bing изучил стили искусства 1920-х и рекламу Nike, а затем решил использовать промпт: «Иллюстрация человека в кроссовках и одежде Nike, занимающегося каким-либо видом спорта. Человек нарисован в геометрическом и абстрактном стиле, с яркими цветами и острыми углами. Иллюстрация вдохновлена работами Тамары де Лемпицки, знаменитой художницы ар-деко, изображавшей современных и элегантных персонажей. Человек показан бегущим по дорожке на фоне городского горизонта. Иллюстрация занимает бо́льшую часть пространства плаката, создавая динамичный и привлекающий внимание эффект.» Хотя результаты не идеальны (картинка несовершенна, и иногда Bing забывает использовать созданный им промпт или спорит с вами о том, создал ли он уже изображение, хотя не создавал), можно начать видеть, как умение составлять промпты для ИИ-генераторов изображений станет гораздо менее важным, когда ИИ будет генерировать собственные изображения самостоятельно.

But we can go further, starting a cycle of self-improvement: Bing, here is the image you created, can you critique and improve it. Without further prompting, it decided that the picture needed a slogan, so it regenerated an image with those elements.

Но можно пойти дальше, запустив цикл самосовершенствования: Bing, вот изображение, которое ты создал — можешь ли ты его раскритиковать и улучшить. Без дополнительных подсказок он решил, что картинке нужен слоган, и перегенерировал изображение с этими элементами.

Voice

Голос

It may not seem like a big deal compared to vision, but AIs are also gaining the ability to both listen and speak. If you are used to yelling at Siri or Alexa, these new AI powered systems are going to be a big change: they can understand accents, mixes of languages, and are not bothered by crowded, noisy rooms. Combined with the “brains” of the LLM, you can start to do interesting things. For example, in my entrepreneurship class, students not only pitched to real venture capitalists, but also to the AI with the instructions You are a seed stage venture capitalist who evaluates startup pitches. Evaluate the following pitch from that perspective and offer 4 positives and negatives, as well as what you think about the pitch overall as an investor. The VC in the room was impressed by the results. So were most of the students when I surveyed them. Everyone considered the results to be either somewhat or very realistic; 55% of students rated the feedback as very useful, and 35% as somewhat useful; 95% reported either minor or no hallucinations.

По сравнению со зрением это может показаться не столь значительным, но ИИ также обретает способность слушать и говорить. Если вы привыкли кричать на Siri или Alexa, эти новые системы на базе ИИ станут большой переменой: они понимают акценты, смешение языков и не теряются в шумных, переполненных помещениях. В сочетании с «мозгами» LLM можно начать делать интересные вещи. Например, на моём курсе по предпринимательству студенты не только делали питчи перед настоящими венчурными инвесторами, но и перед ИИ с инструкцией: Ты — венчурный инвестор посевной стадии, который оценивает стартап-питчи. Оцени следующий питч с этой позиции и укажи 4 плюса и минуса, а также своё общее мнение о питче как инвестора. Венчурный инвестор в аудитории был впечатлён результатами. Как и большинство студентов, когда я провёл опрос. Все сочли результаты либо отчасти, либо очень реалистичными; 55% студентов оценили обратную связь как очень полезную, 35% — как достаточно полезную; 95% сообщили о минимальных галлюцинациях или их полном отсутствии.

But adding voice output turns out to be a bigger deal than I thought. Talking with an AI is an oddly personal experience: even though you know you are talking to a machine; it feels like there is a real human interested in what you have to say. This is all an illusion, but it is a convincing enough one that, even with today’s LLMs, I can see people looking forward to talking to their AI companions. There is a lot of debate over whether this will be a good or a bad thing. But I would suggest downloading Pi (an LLM optimized for chit-chat) and trying it out for yourself for free. That same capability will be standard on other LLMs soon.

Но добавление голосового вывода оказалось более значимым, чем я думал. Разговор с ИИ — это удивительно личный опыт: даже зная, что говоришь с машиной, ощущаешь, будто рядом реальный человек, которому интересно то, что ты говоришь. Всё это иллюзия, но она достаточно убедительна, чтобы уже с нынешними LLM я мог представить, как люди будут с нетерпением ждать разговоров со своими ИИ-компаньонами. Ведутся большие дебаты о том, хорошо это или плохо. Но я бы предложил скачать Pi (LLM, оптимизированную для непринуждённого общения) и бесплатно попробовать самим. Та же функциональность скоро станет стандартной и для других LLM.

Connection

Связь

One of the limits of AI right now is that they don’t “know” anything - they are trained on a mass of data, which they can imperfectly recreate in response to prompts, leading to hallucinations and errors. As you add tools to the AI that give it context and connections to other sources of data, their usefulness increases. One way to do this is connecting the AIs to the internet, so they can look up information.

Одно из ограничений ИИ прямо сейчас в том, что он ничего не «знает» — он обучен на массиве данных, который может несовершенно воспроизводить в ответ на запросы, что приводит к галлюцинациям и ошибкам. По мере добавления инструментов, дающих ИИ контекст и связь с другими источниками данных, его полезность возрастает. Один из способов — подключение ИИ к интернету для поиска информации.

A potentially more powerful technique is to connect it to your own data. Google is doing exactly that, connecting Bard to its other services, like Gmail. Since Bard is currently underpowered (though, again, I expect that to change), I would not trust the results, yet. It hallucinates details, including making up messages that don’t exist. But you can see from my experiment below that, with lower hallucination rates and human supervision, these sorts of connections can become very powerful. Even the flawed Bard was able to identify urgent tasks in my email and draft potential replies.

Потенциально более мощная техника — подключить его к вашим собственным данным. Именно это делает Google, соединяя Bard со своими другими сервисами, такими как Gmail. Поскольку Bard пока недостаточно мощен (хотя, повторюсь, я ожидаю, что это изменится), результатам я бы пока не доверял. Он галлюцинирует детали, включая выдумывание несуществующих сообщений. Но из моего эксперимента ниже видно, что при более низком уровне галлюцинаций и человеческом контроле такие подключения могут стать очень мощными. Даже несовершенный Bard смог определить срочные задачи в моей почте и подготовить черновики ответов.

As AIs learn more about you, their usefulness will go up, though the full implications of AIs that make complex inferences about you is currently unclear.

По мере того как ИИ будет узнавать о вас всё больше, его полезность будет расти, хотя все последствия ИИ, способного делать сложные умозаключения о вас, пока неясны.

The Shape of the Shadow

Очертания тени

We have these pieces which let us guess at the shape of the AI in front of us. It isn’t science fiction to assume that AIs will soon talk to you, see you, know about you, do research for you, create images for you - because all of that is already built, and working. I can already pull all of these elements together myself with just a little effort. That means AI can quite easily serve as personal assistant, intern, and companion - answering emails, giving advice, paying attention to the world around you — in a way that makes the Siris and Alexas of the world look prehistoric. It also suggests unexpected corporate and government uses, as AI, with these capabilities, can act as a ubiquitous helpful coach, or troubling panopticon, by observing and listening, intervening with advice or instructions.

У нас есть все эти элементы, позволяющие угадать очертания ИИ перед нами. Не нужно обращаться к научной фантастике, чтобы предположить, что ИИ скоро будет с вами разговаривать, видеть вас, знать о вас, проводить для вас исследования, создавать для вас изображения — потому что всё это уже создано и работает. Я уже сейчас могу собрать все эти элементы воедино, приложив лишь небольшие усилия. Это означает, что ИИ может довольно легко выступать в роли личного помощника, стажёра и компаньона — отвечать на письма, давать советы, следить за происходящим вокруг вас — так, что Siri и Alexa покажутся доисторическими. Это также предполагает неожиданные корпоративные и государственные применения: ИИ с такими возможностями может выступать в роли вездесущего полезного наставника или тревожного паноптикона, наблюдая и слушая, вмешиваясь с советами или инструкциями.

In many ways, what happens next, the actual Thing that all of this becomes in the near term, depends on our agency and decisions, it is not going to be imposed on us by machines (at least with our current generations of LLMs). With these new capabilities, AI can either serve to empower and simplify (“Fill out my expense reports”; “I am nervous about responding to this email, please help me;” “I don’t understand this confusing form, should I sign it?”) or to remove power (Who needs a human companion when you have an AI? What happens when everyone has a perfect facial tracking system? etc). Some of these consequences are knowable, and need regulation or responsible action by individuals, and some is going to fall unevenly across industries and societies. It is up to us to figure out how to use this new technology to empower and uplift, rather than harm.

Во многом то, что произойдёт дальше — то самое Нечто, которым всё это станет в ближайшем будущем, — зависит от нашей воли и решений; оно не будет навязано нам машинами (по крайней мере, с нынешними поколениями LLM). С этими новыми возможностями ИИ может либо расширять наши возможности и упрощать жизнь («Заполни мои авансовые отчёты»; «Я нервничаю из-за этого письма, помоги мне ответить»; «Я не понимаю эту запутанную форму, стоит ли её подписывать?»), либо лишать власти (зачем нужен живой собеседник, если есть ИИ? Что будет, когда у каждого появится идеальная система распознавания лиц? и т. д.). Некоторые из этих последствий предсказуемы и требуют регулирования или ответственных действий со стороны людей, а некоторые будут распределяться неравномерно по отраслям и обществам. Нам предстоит разобраться, как использовать эту новую технологию для расширения возможностей и прогресса, а не во вред.

Share

Поделиться