Something New: On OpenAI's "Strawberry" and Reasoning

Something New: On OpenAI's "Strawberry" and Reasoning

Нечто новое: о «Strawberry» от OpenAI и рассуждениях

Solving hard problems in new ways

Решение сложных задач новыми способами

I have had access to the much-rumored OpenAI “Strawberry” enhanced reasoning system for awhile, and now that it is public, I can finally share some thoughts1. It is amazing, still limited, and, perhaps most importantly, a signal of where things are heading.

У меня уже какое-то время был доступ к много обсуждаемой системе расширенных рассуждений OpenAI «Strawberry», и теперь, когда она стала публичной, я наконец могу поделиться некоторыми мыслями1. Она поразительна, всё ещё ограничена и, что, пожалуй, важнее всего, является сигналом того, куда всё движется.

The new AI model, called o1-preview (why are the AI companies so bad at names?), lets the AI “think through” a problem before solving it. This lets it address very hard problems that require planning and iteration, like novel math or science questions. In fact, it can now beat human PhD experts in solving extremely hard physics problems.

Новая модель ИИ под названием o1-preview (почему ИИ-компании так плохо придумывают названия?) позволяет ИИ «продумать» задачу, прежде чем её решать. Это даёт ей возможность браться за очень сложные проблемы, требующие планирования и итераций, — вроде нетривиальных вопросов по математике или науке. Более того, теперь она способна превзойти людей — PhD-экспертов в решении чрезвычайно сложных задач по физике.

To be clear, o1-preview doesn’t do everything better. It is not a better writer than GPT-4o, for example. But for tasks that require planning, the changes are quite large. For example, here is me giving o1-preview the instruction: Figure out how to build a teaching simulator using multiple agents and generative AI, inspired by the paper below and considering the views of teachers and students. write the code and be detailed in your approach. I then pasted in the full text of our paper. The only other prompt I gave was build the full code. You can see what the system produced below.

Чтобы было ясно: o1-preview не во всём лучше. Например, она не пишет лучше, чем GPT-4o. Но для задач, требующих планирования, изменения весьма значительны. Вот, к примеру, я даю o1-preview инструкцию: Придумай, как построить обучающий симулятор с использованием нескольких агентов и генеративного ИИ, вдохновляясь приведённой ниже статьёй и учитывая взгляды учителей и учеников. Напиши код и подробно опиши свой подход. Затем я вставил полный текст нашей статьи. Единственная другая подсказка, которую я дал, была напиши полный код. Ниже вы можете увидеть, что выдала система.

Strawberry in Action

Strawberry в действии

But it is hard to evaluate all of this complex output, so perhaps the easiest way to show the gains of Strawberry (and some limitations) is with a game: a crossword puzzle. I took the 8 clues from the upper left corner of a very hard crossword puzzle and translated that into text (because o1-preview can’t see images, yet). Try the puzzle yourself first; I am willing to bet that you find it really challenging.

Но всю эту сложную выдачу трудно оценить, поэтому, пожалуй, проще всего показать достижения Strawberry (и некоторые ограничения) на примере игры: кроссворда. Я взял 8 определений из верхнего левого угла очень сложного кроссворда и перевёл их в текст (потому что o1-preview пока не умеет видеть изображения). Сначала попробуйте решить головоломку сами; готов поспорить, что вы найдёте её действительно непростой.

Crossword puzzles are especially hard for LLMs because they require iterative solving: trying and rejecting many answers that all affect each other. This is something LLMs can’t do, since they can only add a token/word at a time to their answer. When I give the prompt to Claude, for example, it first comes up with an answer for 1 down (it guesses STAR, which is wrong) and then is stuck trying to figure out the rest of the puzzle with that answer, ultimately failing to even come close. Without a planning process, it has to just charge ahead.

Кроссворды особенно трудны для LLM, потому что требуют итеративного решения: перебора и отклонения множества вариантов ответов, которые все влияют друг на друга. Это то, что LLM не умеют, поскольку они могут добавлять лишь по одному токену/слову за раз к своему ответу. Когда я, например, даю эту подсказку Claude, он сначала придумывает ответ для 1 по вертикали (он угадывает STAR, что неверно), а затем застревает, пытаясь разгадать остальную часть головоломки с этим ответом, и в итоге даже близко не подходит к решению. Без процесса планирования ему остаётся лишь идти напролом.

But what happens when I give this to Strawberry? The AI “thinks” about the problem first, for a full 108 seconds (most problems are solved in much shorter times). You can see its thoughts, a sample of which are below (there was a lot more I did not include), and which are super illuminating - it is worth a moment to read some of it.

Но что происходит, когда я даю это Strawberry? ИИ сначала «думает» над задачей целых 108 секунд (большинство задач решается за гораздо меньшее время). Вы можете увидеть его размышления, образец которых приведён ниже (на самом деле их было гораздо больше, и я включил не всё), и они крайне показательны — стоит уделить минуту, чтобы прочитать часть из них.

The LLM iterates repeatedly, creating and rejecting ideas. The results are pretty impressive, and it does well… but o1-preview is still seemingly based on GPT-4o, and it is a little too literal to solve this rather unfair puzzle. The answer to 1 down “Galaxy cluster” is not a reference to real galaxies, but rather a reference to the Samsung Galaxy phone (this stumped me, too) - “APPS.” Stuck on real galaxies, the AI instead kept trying out the name of actual galactic clusters before deciding 1 down is COMA (which is a real galactic cluster - I had no idea). Thus, the rest of the results are not correct and do not fit the rules exactly, but are pretty creative: 1 across is CONS, 12 across is OUCH, 15 across is MUSICIANS, etc.

LLM многократно итерирует, порождая и отбрасывая идеи. Результаты получаются довольно впечатляющими, и она справляется хорошо… но o1-preview, похоже, всё ещё основана на GPT-4o, и она слишком буквальна, чтобы решить эту довольно несправедливую головоломку. Ответ на 1 по вертикали «Galaxy cluster» — это не отсылка к настоящим галактикам, а отсылка к телефону Samsung Galaxy (это сбило с толку и меня) — «APPS». Зациклившись на реальных галактиках, ИИ вместо этого продолжал перебирать названия настоящих галактических скоплений, пока не решил, что 1 по вертикали — это COMA (что действительно является реальным галактическим скоплением — я и не подозревал). Из-за этого остальные результаты неверны и не вполне соответствуют правилам, но довольно креативны: 1 по горизонтали — CONS, 12 по горизонтали — OUCH, 15 по горизонтали — MUSICIANS и так далее.

To see if we could get further, I decided to give it a clue: “1 down is APPS.” The AI takes another minute. Again, in a sample of its thinking (on the left) you can see how it iterates ideas.

Чтобы посмотреть, сможем ли мы продвинуться дальше, я решил дать ей подсказку: «1 по вертикали — это APPS». ИИ берёт ещё минуту. И снова в образце его размышлений (слева) вы можете увидеть, как он перебирает идеи.

The final answer here is completely correct, solving all the hard references, though it does hallucinate a new clue, 23 across, which is not in the puzzle I gave it.

Итоговый ответ здесь полностью верен, и все сложные отсылки разгаданы, хотя модель и галлюцинирует новое определение, 23 по горизонтали, которого в данной мной головоломке нет.

So o1-preview does things that would have been impossible without Strawberry, but it still isn’t flawless: errors and hallucinations still happen, and it is still limited by the “intelligence” of GPT-4o as the underlying model. Since getting the new model, I haven’t stopped using Claude to critique my posts - Claude is still better at style - but I did stop using it for anything involving complex planning or problem solving. It represents a huge leap in those areas.

Итак, o1-preview делает то, что было бы невозможно без Strawberry, но она всё ещё не безупречна: ошибки и галлюцинации по-прежнему случаются, и она по-прежнему ограничена «интеллектом» GPT-4o как базовой модели. С тех пор как я получил новую модель, я не перестал использовать Claude для критики моих постов — Claude всё ещё лучше в стиле, — но я перестал использовать его для чего-либо, связанного со сложным планированием или решением задач. В этих областях она представляет огромный скачок.

From Co-Intelligence to…

От со-интеллекта к…

Using o1-preview means confronting a paradigm change in AI. Planning is a form of agency, where the AI arrives at conclusions about how to solve a problem on its own, without our help. You can see from the video above that the AI does so much thinking and heavy lifting, churning out complete results, that my role as a human partner feels diminished. It just does its thing and hands me an answer. Sure, I can sift through its pages of reasoning to spot mistakes, but I no longer feel as connected to the AI output, or that I am playing as large a role in shaping where the solution is going. This isn’t necessarily bad, but it is different.

Использование o1-preview означает столкновение со сменой парадигмы в ИИ. Планирование — это форма агентности, при которой ИИ самостоятельно, без нашей помощи, приходит к выводам о том, как решить задачу. Из видео выше видно, что ИИ выполняет столько размышлений и тяжёлой работы, выдавая готовые результаты, что моя роль как человека-партнёра ощущается уменьшенной. Он просто делает своё дело и вручает мне ответ. Конечно, я могу просмотреть страницы его рассуждений, чтобы выявить ошибки, но я больше не чувствую такой связи с результатом работы ИИ и не ощущаю, что играю столь же большую роль в том, куда движется решение. Это не обязательно плохо, но это иначе.

As these systems level up and inch towards true autonomous agents, we're going to need to figure out how to stay in the loop - both to catch errors and to keep our fingers on the pulse of the problems we're trying to crack. o1-preview is pulling back the curtain on AI capabilities we might not have seen coming, even with its current limitations. This leaves us with a crucial question: How do we evolve our collaboration with AI as it evolves? That is a problem that o1-preview can not yet solve.

По мере того как эти системы развиваются и приближаются к настоящим автономным агентам, нам придётся понять, как оставаться в курсе процесса — и чтобы ловить ошибки, и чтобы держать руку на пульсе тех задач, которые мы пытаемся решить. o1-preview приоткрывает завесу над возможностями ИИ, которых мы могли и не предвидеть, даже с учётом её нынешних ограничений. Это оставляет нас с важнейшим вопросом: как нам развивать наше сотрудничество с ИИ по мере того, как он сам эволюционирует? Эту задачу o1-preview пока решить не может.

The usual reminder - I am not paid or compensated in any way by any AI company. OpenAI was not shown this piece before I published it (nor did they ask). I did not know when the model was going to be released in advance.

Как обычно, напоминаю — мне не платят и никак не компенсируют ни одна ИИ-компания. OpenAI не видела этот материал до того, как я его опубликовал (и не просила об этом). Я заранее не знал, когда модель будет выпущена.