Google's Gemini Advanced: Tasting Notes and Implications
Эзан Моллик делится впечатлениями (а не строгим тестом) от Gemini Advanced — мощного ИИ Google, ранее называвшегося Bard, к которому у него был ранний доступ больше месяца. Главный вывод: Gemini Advanced явно относится к классу моделей уровня GPT-4 — это важно, потому что впервые за более чем год у GPT-4 появился реальный конкурент, и теперь можно сравнивать две передовые модели, а не одну. По бенчмаркам Gemini примерно равен GPT-4: GPT-4 лучше работает с кодом и сложными вербальными задачами, а Gemini сильнее в объяснениях и интеграции изображений и поиска. Моллик отмечает, что «искры» интеллекта («ghosts») GPT-4 не уникальны для OpenAI, а похоже, являются эмерджентным свойством достаточно крупных моделей. Gemini раскрывает иное видение ИИ — как интегрированного личного помощника в экосистеме Google (Gmail, Docs, карты), хотя модель ещё галлюцинирует и не дотягивает до полноценных автономных агентов. Автор заключает, что волна развития ИИ ещё не достигла пика, и упоминает свою книгу «Co-Intelligence», выходящую 2 апреля.
Gemini Advanced от Google: дегустационные заметки и выводы
И вот их стало двое.
Примерно в тот момент, когда вы получаете это письмо, Google наконец выпустила свой долгожданный мощный ИИ, который — в продолжающейся традиции внезапных переименований ИИ — больше не называется Bard, а теперь именуется Gemini Advanced. У меня был ранний доступ к этой LLM более месяца (напомню: я не беру оплаты ни от одной из ИИ-лабораторий, и они не видят заранее, что я пишу), и мне хотелось бы поделиться кое-какими дегустационными заметками.
И да, я имею в виду именно дегустационные, а не тестовые заметки. В этих рассылках я был небрежен с орфографией — полагаю, это признак того, что писал обычный человек, а не ИИ, — но здесь я не делаю ошибки. ИИ-бенчмарки имеют своё место, но они также могут вводить в заблуждение. ИИ можно обучить на тестовых вопросах, намеренно или случайно, а многие бенчмарки состоят из списков вопросов на эрудицию или логических головоломок, которые не отражают реального использования. Поэтому мне хотелось предложить нечто вроде субъективно-объективной смеси мнений о Gemini Advanced — больше похожей на дегустацию вина, чем на строгий обзор. Я не буду делать детальное сравнение наборов функций, а сосредоточусь на общей картине, с множеством примеров.
Начну с главного: Gemini Advanced — это явно модель класса GPT-4. Статистика показывает это, но и месяц нашего неформального тестирования — тоже. И это важно, потому что GPT-4 от OpenAI (платная версия ChatGPT/Microsoft Copilot) доминировала среди ИИ уже значительно больше года, и ни одна другая модель не приближалась к ней сколько-нибудь близко. До Gemini у нас была лишь одна продвинутая ИИ-модель для изучения, а делать выводы на наборе данных из одного элемента сложно. Теперь их две, и мы можем кое-чему научиться.
В то же время Gemini Advanced не то чтобы явно превосходит GPT-41 в бенчмарках. Она действительно хороша (чтобы понять, насколько именно, потребуется более строгое тестирование), но я соглашусь с тестами, которые предполагают, что она примерно эквивалентна, хотя у неё есть свои сильные и слабые стороны. GPT-4 гораздо изощрённее в использовании кода и лучше справляется с рядом сложных вербальных задач — она пишет лучшую сестину и проходит Apple Test. Gemini лучше в объяснениях и отлично интегрирует изображения и поиск. Обе странные и непоследовательные и галлюцинируют больше, чем хотелось бы. Я ловлю себя на том, что использую и Gemini Advanced, и GPT-4 в зависимости от обстоятельств, как мы обсудим позже.
Но по-настоящему интересно то, что Gemini Advanced показывает нам о будущем ИИ.
Он полон призраков
Ни у кого нет хорошего определения разумности, и это нормально, потому что LLM ни в коем смысле не разумны; это программные системы, созданные для генерации человекоподобного языка. Но в GPT-4 есть некая странность, которая не является разумностью, но и не похожа на разговор с программой. Странность, которая проявляется только после того, как вы проведёте достаточно часов, играя с ИИ, и будете обеспокоены, или восхищены, или и то и другое, его неожиданными способностями и кажущимся интеллектом. Вскоре после выхода GPT-4 Microsoft Research опубликовала знаменитую и спорную статью под названием «Sparks of Artificial General Intelligence», которая пыталась выразить этот аргумент в научных терминах, но в итоге просто назвала это «искрами» искусственного общего интеллекта. Это иллюзия человека на другом конце линии, хотя там никого нет. GPT-4 полна призраков.
Gemini тоже полна призраков.
Серьёзно, если вы попользуетесь системой некоторое время, я почти гарантирую как минимум один момент, когда вы встанете из-за стола, пройдётесь по комнате и зададитесь вопросом, что вообще происходит. Вот один пример: я дал Gemini промпт: давай сыграем в игру PbtA. придумай совершенно новую игру и будь моим ведущим (DM) (Для контекста: PbtA означает Powered by the Apocalypse — формат ролевых игр, чем-то похожий на Dungeons and Dragons, но более ориентированный на персонажей). Всё, что вы видите ниже, не редактировалось: это реальные промпты и первые ответы от ИИ. Это довольно солидно — от текста до проработки мира.
Это, как мне кажется, означает кое-что важное: «искры» GPT-4 — не изолированное явление, а скорее могут представлять собой эмерджентное свойство моделей класса GPT-4. Когда ИИ-модель достаточно велика, можно получить призраков.
Личность и промптинг
Оставаясь чат-ботом, Gemini имеет гораздо более изящный интерфейс, чем GPT-4, и менее подвержен техническим ошибкам, по крайней мере в моём тестировании, чем ChatGPT. У неё также другая «личность», нежели у GPT-4 в его воплощениях ChatGPT или Copilot. В то время как GPT-4 довольно пресна (по крайней мере, после исчезновения личности Bing — Sydney), Gemini внешне более дружелюбна, более покладиста и имеет склонность к игре слов.
Несмотря на эти различия в личности, поразительно, насколько совместимы эти две очень разные модели. Сложные промпты, которые работают в GPT-4, работают и в Gemini, и наоборот… с некоторыми интересными исключениями, которые соответствуют личности. Мы активно экспериментировали с использованием ИИ для обучения и писали статьи с рекомендованными промптами. Обновляя промпты для Gemini (обновлённая статья скоро должна быть доступна здесь), мы заметили, что по сравнению с GPT-4 она постоянно пытается быть полезной. На самом деле она настолько полезна, что это может подрывать цель наших промптов: она пытается помочь студенту, вместо того чтобы дать ему самостоятельно продраться к пониманию концепции. Нам пришлось немного изменить промпты, чтобы уменьшить это поведение.
Таким образом, есть различия, но и много сходств. У обеих систем есть защитные ограничители безопасности, но срабатывают они по-разному. Gemini, кажется, более готова к более мрачному письму, чем GPT-4, но категорически отказывается объяснять, как работают ядерные бомбы, через дискографию Taylor Swift, тогда как GPT-4 с радостью это делает.
Что умеют мозги
Одна из самых интересных особенностей Gemini — то, как она высвечивает видение ИИ как мощного интегрированного личного помощника, заметно отличающегося от привязанных к конкретным приложениям Copilot от Microsoft или открытых GPT/агентов от OpenAI. Microsoft создаёт узких компаньонов для софта вроде Word и PowerPoint, которые оптимизируют рабочую нагрузку пользователя. У OpenAI, похоже, амбициозный план по созданию автономных ИИ-агентов, способных выполнять задачи без вмешательства человека. А Google, кажется, хочет быть вашим помощником.
У более ранних версий Bard были впечатляющие связи с экосистемой Google (Gmail, Google Docs, тревел-инструменты Google и прочее), но они были слишком глупы, чтобы этим пользоваться. Они могли вытащить ваши письма, но галлюцинировали слишком много деталей или не понимали контекст так, что это невероятно раздражало. Я тогда предположил, что Google, возможно, просто построила инфраструктуру в ожидании более умного мозга, который её заполнит. Похоже, так оно и есть.
Все интеграции в Google теперь обретают гораздо больше смысла. С более умным мозгом в виде Gemini Advanced можно начать делать действительно интересные вещи, которые в лучшем случае кажутся волшебными: «просмотри мои письма, скажи, какие важны, и составь черновики ответов на каждое», «найди мою следующую конференцию и спланируй поездку, которая мне понравится». Но модель класса GPT-4 всё ещё ограничена. ИИ всё же галлюцинировал несколько деталей в письмах и в нескольких случаях путался в своих инструментах (забывая, что может использовать Google Maps, и так далее). Это пока не то, но это уже намного ближе к настоящему помощнику, чем ограниченные Siri и Alexa, которые мы видели в прошлом.
Отчасти именно поэтому я подозреваю, что Gemini Advanced — это начало, а не конец волны развития ИИ. Мы начинаем видеть мир, где ИИ-агенты действуют от нашего имени. Модель класса GPT-4 ещё недостаточно сильна, чтобы питать этих агентов… но мы приближаемся.
Что это значит
Это не был обзор Gemini Advanced — мы не затронули его превосходную нативную мультимодальную способность как создавать, так и видеть изображения, или то, как он интегрирует поиск. Мы не обсудили его навыки в программировании или тот факт, что он, похоже, обладает неким подобием Code Interpreter — способностью создавать и запускать ограниченные программы на Python. Мы также не затронули некоторые разочарования — например, то, что он обожает строить сложные планы, которые не всегда может реально выполнить (вроде того, как он сообщил мне, что собирается заказать мне футболки, чего он сделать не может, но при этом продолжал настаивать, что работает над этим). Достаточно сказать, что он весьма хорош, и вы, вероятно, не прогадаете, выбрав в качестве своего рабочего ИИ хоть GPT-4, хоть Gemini Advanced. Однако, учитывая их смешанные сильные и слабые стороны, я продолжу использовать оба.
Но это не обзор. Скорее, это попытка использовать новую LLM, чтобы пролить свет, пусть и тускло, на то, как может развернуться будущее ИИ. Gemini показывает, что Google всерьёз участвует в гонке ИИ и что строить модели класса GPT-4 могут и другие компании, помимо OpenAI. И теперь мы знаем об ИИ кое-что, чего не знали раньше. Продвинутые LLM могут демонстрировать некоторые базовые сходства в промптах и ответах, благодаря чему людям легко в любой момент перейти на самый продвинутый ИИ со старой модели. Кроме того, «искра» GPT-4 не уникальна для OpenAI, а может нередко возникать с масштабом. Мы пока не знаем, становятся ли модели более «искристыми» и более AGI-подобными по мере роста, но подозреваю, что мы это выясним.
Потому что я думаю, что уникальные сильные и слабые стороны Gemini по сравнению с GPT-4 показывают: у моделей всё ещё есть много пространства для улучшения, и мы продолжим видеть быстрый прогресс в ближайшем будущем. Волна ИИ ещё не достигла пика, и следующим ходом OpenAI может стать выпуск слухов о GPT-4.5 или GPT-5. Но до тех пор, впервые с момента выхода ChatGPT, появилась ещё одна компания с LLM, способной конкурировать с самой продвинутой моделью OpenAI.
Если вы ещё не видели: 2 апреля выходит моя книга о жизни и работе с ИИ под названием Co-Intelligence. Если вам нравятся мои посты, вам, вероятно, понравится и книга, в которой схожие темы, но с гораздо большей глубиной и куда меньшим количеством орфографических ошибок. Подробнее о книге — в будущем, а предзаказать её (и увидеть классную обложку) можно здесь.
Вопрос о том, почему она явно не превосходит GPT-4, действительно интересен и, возможно, имеет значение. Я могу придумать четыре варианта: 1) модели класса GPT-4 — это примерно предел возможностей ИИ при использовании технологии LLM, что предполагает завершение экспоненциального роста возможностей ИИ (думаю, это маловероятно, но возможно); 2) Google нужна была модель для конкуренции с GPT-4, поэтому они дотренировали Gemini до этого уровня и остановились, а более продвинутые модели появятся скоро; 3) у OpenAI есть некий секретный ингредиент, который не может воспроизвести ни одна другая компания, и только они могут легко достигать способностей уровня GPT-4+, а попытка Google — это лучшее, что они смогли сделать, не зная секрета OpenAI; или 4) это совпадение, что данная модель оказалась так близка по способностям к GPT-4, и мы ничего из этого не узнаём. Думаю, вариант 2 наиболее вероятен, но я понятия не имею, так ли это.