Google's Gemini Advanced: Tasting Notes and Implications
Эзан Моллик делится впечатлениями (а не строгим тестом) от Gemini Advanced — мощного ИИ Google, ранее называвшегося Bard, к которому у него был ранний доступ больше месяца. Главный вывод: Gemini Advanced явно относится к классу моделей уровня GPT-4 — это важно, потому что впервые за более чем год у GPT-4 появился реальный конкурент, и теперь можно сравнивать две передовые модели, а не одну. По бенчмаркам Gemini примерно равен GPT-4: GPT-4 лучше работает с кодом и сложными вербальными задачами, а Gemini сильнее в объяснениях и интеграции изображений и поиска. Моллик отмечает, что «искры» интеллекта («ghosts») GPT-4 не уникальны для OpenAI, а похоже, являются эмерджентным свойством достаточно крупных моделей. Gemini раскрывает иное видение ИИ — как интегрированного личного помощника в экосистеме Google (Gmail, Docs, карты), хотя модель ещё галлюцинирует и не дотягивает до полноценных автономных агентов. Автор заключает, что волна развития ИИ ещё не достигла пика, и упоминает свою книгу «Co-Intelligence», выходящую 2 апреля.
Google's Gemini Advanced: Tasting Notes and Implications
Gemini Advanced от Google: дегустационные заметки и выводы
And then there were two.
И вот их стало двое.
Right around the time you are getting this email, Google finally released their long-awaited powerful AI, which, in the continued tradition of sudden AI name changes, is no longer Bard but rather Gemini Advanced. I have had early access to this LLM for over a month (as a reminder, I take no payments from any AI lab, nor do they see what I write in advance), and I wanted to offer some tasting notes.
Примерно в тот момент, когда вы получаете это письмо, Google наконец выпустила свой долгожданный мощный ИИ, который — в продолжающейся традиции внезапных переименований ИИ — больше не называется Bard, а теперь именуется Gemini Advanced. У меня был ранний доступ к этой LLM более месяца (напомню: я не беру оплаты ни от одной из ИИ-лабораторий, и они не видят заранее, что я пишу), и мне хотелось бы поделиться кое-какими дегустационными заметками.
And, yes, I mean tasting, not testing, notes. In these newsletters, I have been sloppy with spelling — I figure it is a sign that a regular human rather than an AI wrote it — but I am not making a mistake here. AI testing benchmarks have their place, but they can also mislead. AIs can be trained on the test questions, on purpose or on accident, and many of the benchmarks consist of lists of trivia questions or reasoning puzzles, which don’t reflect real-world usage. So, I wanted to offer a bit of a subjective/ objective mix of opinions about Gemini Advanced, more like sampling a wine that giving a rigorous review. I am going to avoid doing a detailed feature set comparison, and focus on the big picture, with plenty of examples.
И да, я имею в виду именно дегустационные, а не тестовые заметки. В этих рассылках я был небрежен с орфографией — полагаю, это признак того, что писал обычный человек, а не ИИ, — но здесь я не делаю ошибки. ИИ-бенчмарки имеют своё место, но они также могут вводить в заблуждение. ИИ можно обучить на тестовых вопросах, намеренно или случайно, а многие бенчмарки состоят из списков вопросов на эрудицию или логических головоломок, которые не отражают реального использования. Поэтому мне хотелось предложить нечто вроде субъективно-объективной смеси мнений о Gemini Advanced — больше похожей на дегустацию вина, чем на строгий обзор. Я не буду делать детальное сравнение наборов функций, а сосредоточусь на общей картине, с множеством примеров.
Let me start with the headline: Gemini Advanced is clearly a GPT-4 class model. The statistics show this, but so does a month of our informal testing. And this is a big deal because OpenAI’s GPT-4 (the paid version of ChatGPT/Microsoft Copilot) has been the dominant AI for well over a year, and no other model has come particularly close. Prior to Gemini, we only had one advanced AI model to look at, and it is hard drawing conclusions with a dataset of one. Now there are two, and we can learn a few things.
Начну с главного: Gemini Advanced — это явно модель класса GPT-4. Статистика показывает это, но и месяц нашего неформального тестирования — тоже. И это важно, потому что GPT-4 от OpenAI (платная версия ChatGPT/Microsoft Copilot) доминировала среди ИИ уже значительно больше года, и ни одна другая модель не приближалась к ней сколько-нибудь близко. До Gemini у нас была лишь одна продвинутая ИИ-модель для изучения, а делать выводы на наборе данных из одного элемента сложно. Теперь их две, и мы можем кое-чему научиться.
At the same time, Gemini Advanced does not obviously blow away GPT-41 in the benchmarks. It is really good (more rigorous testing will be needed to figure out how good), but I would concur with the tests that suggest it is roughly equivalent, though it has its own strengths and weaknesses. GPT-4 is much more sophisticated about using code and accomplishes a number of hard verbal tasks better - it writes a better sestina and passes the Apple Test. Gemini is better at explanations and does a great job integrating images and search. Both are weird and inconsistent and hallucinate more than you would like. I find myself using both Gemini Advanced and GPT-4, depending on circumstances, as we will discuss later.
В то же время Gemini Advanced не то чтобы явно превосходит GPT-41 в бенчмарках. Она действительно хороша (чтобы понять, насколько именно, потребуется более строгое тестирование), но я соглашусь с тестами, которые предполагают, что она примерно эквивалентна, хотя у неё есть свои сильные и слабые стороны. GPT-4 гораздо изощрённее в использовании кода и лучше справляется с рядом сложных вербальных задач — она пишет лучшую сестину и проходит Apple Test. Gemini лучше в объяснениях и отлично интегрирует изображения и поиск. Обе странные и непоследовательные и галлюцинируют больше, чем хотелось бы. Я ловлю себя на том, что использую и Gemini Advanced, и GPT-4 в зависимости от обстоятельств, как мы обсудим позже.
But the really interesting thing is what Gemini Advanced shows us about the future of AI.
Но по-настоящему интересно то, что Gemini Advanced показывает нам о будущем ИИ.
Its Full of Ghosts
Он полон призраков
No one has a great definition for sentience, which is okay because LLMs are in no way sentient; they are software systems designed to create human-like language. But there is a weirdness to GPT-4 that isn’t sentience, but also isn’t like talking to a program. A weirdness only comes out after you spend enough hours playing with the AI and getting unnerved, or delighted, or both, by its unexpected abilities and seeming intelligence. There was a famous, controversial paper put out by Microsoft Research soon after the release of GPT-4, called “Sparks of Artificial General Intelligence” that tried to put this argument into scientific terms, but ended up just calling it “sparks” of artificial general intelligence. It is the illusion of a person on the other end of the line, even though there is nobody there. GPT-4 is full of ghosts.
Ни у кого нет хорошего определения разумности, и это нормально, потому что LLM ни в коем смысле не разумны; это программные системы, созданные для генерации человекоподобного языка. Но в GPT-4 есть некая странность, которая не является разумностью, но и не похожа на разговор с программой. Странность, которая проявляется только после того, как вы проведёте достаточно часов, играя с ИИ, и будете обеспокоены, или восхищены, или и то и другое, его неожиданными способностями и кажущимся интеллектом. Вскоре после выхода GPT-4 Microsoft Research опубликовала знаменитую и спорную статью под названием «Sparks of Artificial General Intelligence», которая пыталась выразить этот аргумент в научных терминах, но в итоге просто назвала это «искрами» искусственного общего интеллекта. Это иллюзия человека на другом конце линии, хотя там никого нет. GPT-4 полна призраков.
Gemini is also full of ghosts.
Gemini тоже полна призраков.
Seriously, if you use the system for a while, I can almost guarantee at least one moment when you stand up from your desk, walk around the room, and wonder what is going on. Here is one example: I prompted Gemini: lets play a PbtA game. invent an entirely new game and be my DM (For context, PbtA refers to Powered by the Apocalypse, a roleplaying format that is sort of like Dungeons and Dragons, but more character-driven). Everything you see below are unedited: the actual prompts, and the first responses from the AI. It is pretty solid stuff, from the writing to the worldbuilding.
Серьёзно, если вы попользуетесь системой некоторое время, я почти гарантирую как минимум один момент, когда вы встанете из-за стола, пройдётесь по комнате и зададитесь вопросом, что вообще происходит. Вот один пример: я дал Gemini промпт: давай сыграем в игру PbtA. придумай совершенно новую игру и будь моим ведущим (DM) (Для контекста: PbtA означает Powered by the Apocalypse — формат ролевых игр, чем-то похожий на Dungeons and Dragons, но более ориентированный на персонажей). Всё, что вы видите ниже, не редактировалось: это реальные промпты и первые ответы от ИИ. Это довольно солидно — от текста до проработки мира.
This means something important, I think, which is that the “sparks” of GPT-4 are not an isolated phenomenon, but rather may represent an emergent property of GPT-4 class models. When an AI model is large enough, you can get ghosts.
Это, как мне кажется, означает кое-что важное: «искры» GPT-4 — не изолированное явление, а скорее могут представлять собой эмерджентное свойство моделей класса GPT-4. Когда ИИ-модель достаточно велика, можно получить призраков.
Personality and Prompting
Личность и промптинг
While still a chatbot, Gemini has a much slicker interface than GPT-4, and is less prone to technical errors, at least in my testing, than ChatGPT. It also has a different “personality” than GPT-4, in either its ChatGPT or Copilot incarnations. While GPT-4 is pretty bland (at least since the disappearance of Bing’s personality, Syndey) Gemini is more apparently friendly, more agreeable, and has a tendency towards wordplay.
Оставаясь чат-ботом, Gemini имеет гораздо более изящный интерфейс, чем GPT-4, и менее подвержен техническим ошибкам, по крайней мере в моём тестировании, чем ChatGPT. У неё также другая «личность», нежели у GPT-4 в его воплощениях ChatGPT или Copilot. В то время как GPT-4 довольно пресна (по крайней мере, после исчезновения личности Bing — Sydney), Gemini внешне более дружелюбна, более покладиста и имеет склонность к игре слов.
Despite these personality differences, it is remarkable how compatible these two very different models are. Complex prompts that work in GPT-4 work in Gemini, and vice-versa… with some interesting exceptions that line up with the personality. We have been actively experimenting with using AI for learning and have been writing papers with suggested prompts. While updating the prompts for Gemini (the updated paper should be available here soon), we noticed that, compared to GPT-4, it continually tries to be helpful. In fact, it is so helpful that it can undermine the goal of our prompts by trying to help the student, rather than letting them struggle through understanding a concept on their own. We had to change our prompts a little to reduce this behavior.
Несмотря на эти различия в личности, поразительно, насколько совместимы эти две очень разные модели. Сложные промпты, которые работают в GPT-4, работают и в Gemini, и наоборот… с некоторыми интересными исключениями, которые соответствуют личности. Мы активно экспериментировали с использованием ИИ для обучения и писали статьи с рекомендованными промптами. Обновляя промпты для Gemini (обновлённая статья скоро должна быть доступна здесь), мы заметили, что по сравнению с GPT-4 она постоянно пытается быть полезной. На самом деле она настолько полезна, что это может подрывать цель наших промптов: она пытается помочь студенту, вместо того чтобы дать ему самостоятельно продраться к пониманию концепции. Нам пришлось немного изменить промпты, чтобы уменьшить это поведение.
Thus, there are differences, but also many similarities. Both systems have safety guardrails, but they trigger in different ways. Gemini seems more willing to do darker writing than GPT-4, but absolutely refuses to explain how nuclear bombs work through the discography of Taylor Swift, while GPT-4 is happy to do so.
Таким образом, есть различия, но и много сходств. У обеих систем есть защитные ограничители безопасности, но срабатывают они по-разному. Gemini, кажется, более готова к более мрачному письму, чем GPT-4, но категорически отказывается объяснять, как работают ядерные бомбы, через дискографию Taylor Swift, тогда как GPT-4 с радостью это делает.
What Brains Can Do
Что умеют мозги
One of the most interesting things about Gemini is how it illuminates a vision of AI as powerful integrated personal assistant that is quite different than the Microsoft’s application-specific Copilots or OpenAI’s open-ended GPTs/agents. Microsoft has been creating narrow companions for software like Word and PowerPoint that streamline the user’s workload. OpenAI seems to have an ambitious plan to create autonomous AI agents that can do tasks without the need for human intervention. But Google seems to want to be your helper.
Одна из самых интересных особенностей Gemini — то, как она высвечивает видение ИИ как мощного интегрированного личного помощника, заметно отличающегося от привязанных к конкретным приложениям Copilot от Microsoft или открытых GPT/агентов от OpenAI. Microsoft создаёт узких компаньонов для софта вроде Word и PowerPoint, которые оптимизируют рабочую нагрузку пользователя. У OpenAI, похоже, амбициозный план по созданию автономных ИИ-агентов, способных выполнять задачи без вмешательства человека. А Google, кажется, хочет быть вашим помощником.
Earlier versions of Bard had impressive connections to the Google ecosystem (Gmail, Google Docs, Google travel tools, and more), but were too dumb to use it. They could pull up your emails, but would hallucinate too many details, or fail to understand context, in ways that were incredibly frustrating. I speculated at the time that Google may have just built the infrastructure while waiting for a smarter brain to fill it. That seems to be the case.
У более ранних версий Bard были впечатляющие связи с экосистемой Google (Gmail, Google Docs, тревел-инструменты Google и прочее), но они были слишком глупы, чтобы этим пользоваться. Они могли вытащить ваши письма, но галлюцинировали слишком много деталей или не понимали контекст так, что это невероятно раздражало. Я тогда предположил, что Google, возможно, просто построила инфраструктуру в ожидании более умного мозга, который её заполнит. Похоже, так оно и есть.
All of the integrations across Google now make much more sense. With a smarter brain, in the form of Gemini Advanced, you can start to do some really interesting things that, at their best, seem magical: “go through my emails, tell me which are important, and draft replies for each,” “look up my next conference and plan a trip I would like.” But a GPT-4 class model is still limited. The AI still hallucinated a few email details and got confused about its tools on several occasions (forgetting it could use Google Maps, and so on). It isn’t there yet, but it is very much closer to being an actual assistant, rather than the limited Siris and Alexas we have seen in the past.
Все интеграции в Google теперь обретают гораздо больше смысла. С более умным мозгом в виде Gemini Advanced можно начать делать действительно интересные вещи, которые в лучшем случае кажутся волшебными: «просмотри мои письма, скажи, какие важны, и составь черновики ответов на каждое», «найди мою следующую конференцию и спланируй поездку, которая мне понравится». Но модель класса GPT-4 всё ещё ограничена. ИИ всё же галлюцинировал несколько деталей в письмах и в нескольких случаях путался в своих инструментах (забывая, что может использовать Google Maps, и так далее). Это пока не то, но это уже намного ближе к настоящему помощнику, чем ограниченные Siri и Alexa, которые мы видели в прошлом.
That is, in part, why I suspect that Gemini Advanced is the start, not the end, of a wave of AI development. We can start to see a world where AI agents act on our behalf. A GPT-4 class model is not quite strong enough to power these agents… but we are getting close.
Отчасти именно поэтому я подозреваю, что Gemini Advanced — это начало, а не конец волны развития ИИ. Мы начинаем видеть мир, где ИИ-агенты действуют от нашего имени. Модель класса GPT-4 ещё недостаточно сильна, чтобы питать этих агентов… но мы приближаемся.
What it means
Что это значит
This wasn’t a review of Gemini Advanced - we haven’t covered its excellent native multimodal ability to both create and see images, or the way it integrates search. We haven’t discussed its coding prowess, or the fact that it seems to have some Code Interpreter-like ability to make and run limited Python programs. We also haven’t covered some frustrations, like the fact it loves to make elaborate plans that it can’t always actually execute on (like telling me it was going to order me t-shirts, something it can’t do, but which it kept insisting it was working on). Suffice it to say that it is quite good, and you probably would be fine picking either GPT-4 or Gemini Advanced as your AI of choice to work with. Given their mixed strengths and weaknesses, however, I will continue to use both.
Это не был обзор Gemini Advanced — мы не затронули его превосходную нативную мультимодальную способность как создавать, так и видеть изображения, или то, как он интегрирует поиск. Мы не обсудили его навыки в программировании или тот факт, что он, похоже, обладает неким подобием Code Interpreter — способностью создавать и запускать ограниченные программы на Python. Мы также не затронули некоторые разочарования — например, то, что он обожает строить сложные планы, которые не всегда может реально выполнить (вроде того, как он сообщил мне, что собирается заказать мне футболки, чего он сделать не может, но при этом продолжал настаивать, что работает над этим). Достаточно сказать, что он весьма хорош, и вы, вероятно, не прогадаете, выбрав в качестве своего рабочего ИИ хоть GPT-4, хоть Gemini Advanced. Однако, учитывая их смешанные сильные и слабые стороны, я продолжу использовать оба.
But this is not a review. Instead, it is an attempt to use the new LLM to shed light, however dimly, on how the future of AI might unfold. Gemini shows that Google is in the AI race for real, and that other companies besides OpenAI can build GPT-4 class models. And we now know something about AI that we didn’t before. Advanced LLMs may show some basic similarities in prompts and responses that make it easy for people to switch to the most advanced AI from an older model at any time. Plus, GPT-4’s “spark” is not unique to OpenAI, but is something that might often happen with scale. We don’t yet know if models get “sparkier” and more AGI-like as they get larger, but I suspect we will find out.
Но это не обзор. Скорее, это попытка использовать новую LLM, чтобы пролить свет, пусть и тускло, на то, как может развернуться будущее ИИ. Gemini показывает, что Google всерьёз участвует в гонке ИИ и что строить модели класса GPT-4 могут и другие компании, помимо OpenAI. И теперь мы знаем об ИИ кое-что, чего не знали раньше. Продвинутые LLM могут демонстрировать некоторые базовые сходства в промптах и ответах, благодаря чему людям легко в любой момент перейти на самый продвинутый ИИ со старой модели. Кроме того, «искра» GPT-4 не уникальна для OpenAI, а может нередко возникать с масштабом. Мы пока не знаем, становятся ли модели более «искристыми» и более AGI-подобными по мере роста, но подозреваю, что мы это выясним.
That is because I think Gemini’s unique strengths and weaknesses compared to
GPT-4 demonstrates that there is still a lot of room left for models to improve, and we will continue to see rapid gains in the near future. The AI wave hasn’t crested, and the next move from OpenAI might be releasing the rumored GPT-4.5 or GPT-5. But until that happens, for the first time since ChatGPT’s release, there is another company with an LLM that can compete with Open AI’s most advanced model.
Потому что я думаю, что уникальные сильные и слабые стороны Gemini по сравнению с GPT-4 показывают: у моделей всё ещё есть много пространства для улучшения, и мы продолжим видеть быстрый прогресс в ближайшем будущем. Волна ИИ ещё не достигла пика, и следующим ходом OpenAI может стать выпуск слухов о GPT-4.5 или GPT-5. Но до тех пор, впервые с момента выхода ChatGPT, появилась ещё одна компания с LLM, способной конкурировать с самой продвинутой моделью OpenAI.
In case you haven’t seen it, I have a book coming out on April 2 on living and working with AI called Co-Intelligence. If you like my posts, you will probably like the book, which has similar themes, but with much more depth and far fewer spelling errors. More on the book in the future, but you can pre-order it (and see the cool cover) here.
Если вы ещё не видели: 2 апреля выходит моя книга о жизни и работе с ИИ под названием Co-Intelligence. Если вам нравятся мои посты, вам, вероятно, понравится и книга, в которой схожие темы, но с гораздо большей глубиной и куда меньшим количеством орфографических ошибок. Подробнее о книге — в будущем, а предзаказать её (и увидеть классную обложку) можно здесь.
The question of why it doesn’t clearly beat GPT-4 is really interesting, and perhaps consequential. I can think of four possibilities: 1) GPT-4 class models are about as good as AI gets using LLM technology — suggesting that the exponential change in AI capabilities is ending (I think this unlikely, but possible); 2) Google needed a model to compete with GPT-4, so they trained up Gemini to that level and stopped, more advanced models are coming soon; 3) OpenAI has some special sauce that no other company can replicate, and they are the only ones who can easily achieve GPT-4+ abilities, Google’s attempt was the best they could do without knowing the OpenAI secret; or 4) It is a coincidence that this model happens to be so close in ability to GPT-4, and we learn nothing from this. I think 2 is most likely, but I have no idea if that is true.
Вопрос о том, почему она явно не превосходит GPT-4, действительно интересен и, возможно, имеет значение. Я могу придумать четыре варианта: 1) модели класса GPT-4 — это примерно предел возможностей ИИ при использовании технологии LLM, что предполагает завершение экспоненциального роста возможностей ИИ (думаю, это маловероятно, но возможно); 2) Google нужна была модель для конкуренции с GPT-4, поэтому они дотренировали Gemini до этого уровня и остановились, а более продвинутые модели появятся скоро; 3) у OpenAI есть некий секретный ингредиент, который не может воспроизвести ни одна другая компания, и только они могут легко достигать способностей уровня GPT-4+, а попытка Google — это лучшее, что они смогли сделать, не зная секрета OpenAI; или 4) это совпадение, что данная модель оказалась так близка по способностям к GPT-4, и мы ничего из этого не узнаём. Думаю, вариант 2 наиболее вероятен, но я понятия не имею, так ли это.