Something New: On OpenAI's "Strawberry" and Reasoning

Нечто новое: о «Strawberry» от OpenAI и рассуждениях

Решение сложных задач новыми способами

У меня уже какое-то время был доступ к много обсуждаемой системе расширенных рассуждений OpenAI «Strawberry», и теперь, когда она стала публичной, я наконец могу поделиться некоторыми мыслями1. Она поразительна, всё ещё ограничена и, что, пожалуй, важнее всего, является сигналом того, куда всё движется.

Новая модель ИИ под названием o1-preview (почему ИИ-компании так плохо придумывают названия?) позволяет ИИ «продумать» задачу, прежде чем её решать. Это даёт ей возможность браться за очень сложные проблемы, требующие планирования и итераций, — вроде нетривиальных вопросов по математике или науке. Более того, теперь она способна превзойти людей — PhD-экспертов в решении чрезвычайно сложных задач по физике.

Чтобы было ясно: o1-preview не во всём лучше. Например, она не пишет лучше, чем GPT-4o. Но для задач, требующих планирования, изменения весьма значительны. Вот, к примеру, я даю o1-preview инструкцию: Придумай, как построить обучающий симулятор с использованием нескольких агентов и генеративного ИИ, вдохновляясь приведённой ниже статьёй и учитывая взгляды учителей и учеников. Напиши код и подробно опиши свой подход. Затем я вставил полный текст нашей статьи. Единственная другая подсказка, которую я дал, была напиши полный код. Ниже вы можете увидеть, что выдала система.

Strawberry в действии

Но всю эту сложную выдачу трудно оценить, поэтому, пожалуй, проще всего показать достижения Strawberry (и некоторые ограничения) на примере игры: кроссворда. Я взял 8 определений из верхнего левого угла очень сложного кроссворда и перевёл их в текст (потому что o1-preview пока не умеет видеть изображения). Сначала попробуйте решить головоломку сами; готов поспорить, что вы найдёте её действительно непростой.

Кроссворды особенно трудны для LLM, потому что требуют итеративного решения: перебора и отклонения множества вариантов ответов, которые все влияют друг на друга. Это то, что LLM не умеют, поскольку они могут добавлять лишь по одному токену/слову за раз к своему ответу. Когда я, например, даю эту подсказку Claude, он сначала придумывает ответ для 1 по вертикали (он угадывает STAR, что неверно), а затем застревает, пытаясь разгадать остальную часть головоломки с этим ответом, и в итоге даже близко не подходит к решению. Без процесса планирования ему остаётся лишь идти напролом.

Но что происходит, когда я даю это Strawberry? ИИ сначала «думает» над задачей целых 108 секунд (большинство задач решается за гораздо меньшее время). Вы можете увидеть его размышления, образец которых приведён ниже (на самом деле их было гораздо больше, и я включил не всё), и они крайне показательны — стоит уделить минуту, чтобы прочитать часть из них.

LLM многократно итерирует, порождая и отбрасывая идеи. Результаты получаются довольно впечатляющими, и она справляется хорошо… но o1-preview, похоже, всё ещё основана на GPT-4o, и она слишком буквальна, чтобы решить эту довольно несправедливую головоломку. Ответ на 1 по вертикали «Galaxy cluster» — это не отсылка к настоящим галактикам, а отсылка к телефону Samsung Galaxy (это сбило с толку и меня) — «APPS». Зациклившись на реальных галактиках, ИИ вместо этого продолжал перебирать названия настоящих галактических скоплений, пока не решил, что 1 по вертикали — это COMA (что действительно является реальным галактическим скоплением — я и не подозревал). Из-за этого остальные результаты неверны и не вполне соответствуют правилам, но довольно креативны: 1 по горизонтали — CONS, 12 по горизонтали — OUCH, 15 по горизонтали — MUSICIANS и так далее.

Чтобы посмотреть, сможем ли мы продвинуться дальше, я решил дать ей подсказку: «1 по вертикали — это APPS». ИИ берёт ещё минуту. И снова в образце его размышлений (слева) вы можете увидеть, как он перебирает идеи.

Итоговый ответ здесь полностью верен, и все сложные отсылки разгаданы, хотя модель и галлюцинирует новое определение, 23 по горизонтали, которого в данной мной головоломке нет.

Итак, o1-preview делает то, что было бы невозможно без Strawberry, но она всё ещё не безупречна: ошибки и галлюцинации по-прежнему случаются, и она по-прежнему ограничена «интеллектом» GPT-4o как базовой модели. С тех пор как я получил новую модель, я не перестал использовать Claude для критики моих постов — Claude всё ещё лучше в стиле, — но я перестал использовать его для чего-либо, связанного со сложным планированием или решением задач. В этих областях она представляет огромный скачок.

От со-интеллекта к…

Использование o1-preview означает столкновение со сменой парадигмы в ИИ. Планирование — это форма агентности, при которой ИИ самостоятельно, без нашей помощи, приходит к выводам о том, как решить задачу. Из видео выше видно, что ИИ выполняет столько размышлений и тяжёлой работы, выдавая готовые результаты, что моя роль как человека-партнёра ощущается уменьшенной. Он просто делает своё дело и вручает мне ответ. Конечно, я могу просмотреть страницы его рассуждений, чтобы выявить ошибки, но я больше не чувствую такой связи с результатом работы ИИ и не ощущаю, что играю столь же большую роль в том, куда движется решение. Это не обязательно плохо, но это иначе.

По мере того как эти системы развиваются и приближаются к настоящим автономным агентам, нам придётся понять, как оставаться в курсе процесса — и чтобы ловить ошибки, и чтобы держать руку на пульсе тех задач, которые мы пытаемся решить. o1-preview приоткрывает завесу над возможностями ИИ, которых мы могли и не предвидеть, даже с учётом её нынешних ограничений. Это оставляет нас с важнейшим вопросом: как нам развивать наше сотрудничество с ИИ по мере того, как он сам эволюционирует? Эту задачу o1-preview пока решить не может.

Как обычно, напоминаю — мне не платят и никак не компенсируют ни одна ИИ-компания. OpenAI не видела этот материал до того, как я его опубликовал (и не просила об этом). Я заранее не знал, когда модель будет выпущена.