I Built TetrisBench, Where LLMs Compete at Playing Tetris. Here’s What I Found. | Andreessen Horowitz

Я создала TetrisBench, где LLM соревнуются в Tetris. Вот что я обнаружила.

Однажды вечером я играла в Tetris99 на своём Nintendo Switch и задумалась: а могу ли я сделать версию, где я играю против LLM. Не в смысле доказать, что модель может «победить» игру, а просто чтобы понять, каково это — играть в знакомое против системы, которая рассуждает совсем не как человек.

Тогда я не пыталась создать бенчмарк. У меня не было таблицы лидеров, на которую надо взбираться, или утверждения, которое нужно доказать. Мне было любопытно само ощущение, ведь Tetris обманчиво прост. По сути это задача оптимизации: каждый ход — компромисс между тем, что помогает сейчас, и тем, что позволит выжить дальше. Всю доску можно чисто описать, то есть каждый ход представляется как структурированные данные, а не как пиксели. Это делает игру необычно удобной для систем, ориентированных на рассуждение, где сложность не в восприятии, а в том, что и когда оптимизировать.

Когда LLM не работают, всегда переформулируй задачу в код

Моя первая попытка восприняла эту идею очень буквально.

Я начала с того, что отправляла модели полное состояние доски на каждом ходу, закодированное в JSON, и просто спрашивала, какой ход сделать дальше. Я начала с набора frontier-моделей: Opus 4.5, GPT 5.2, Grok 4.1 fast reasoning, Sonnet 4, Gemini 3 Flash — они должны быть сильны в структурированном рассуждении и коде, и я хотела проверить, достаточно ли одной только способности рассуждать.

Чтобы сделать эксперимент интереснее, я устроила две простые арены: одна, где человек и модель играют параллельно по одним правилам, и другая, где модели многократно играют друг против друга, чтобы выявить поведенческие различия в масштабе. В проекте есть «headless-режим», где модели могут соревноваться в Tetris на одном и том же движке в пакетном режиме.

В теории всё, что нужно модели, было на месте: доска, текущая фигура и допустимые размещения.

На практике всё было ужасно:

Слева: человек, справа: Gemini 3 Flash — модели было трудно очистить хотя бы одну линию, когда её просили рассуждать о доске визуально

Ходы были непоследовательными, часто бессмысленными и нередко саморазрушительными. Даже сильные модели не могли удерживать связную стратегию между ходами. Игра быстро разваливалась. Плюс задержка реально убивала удовольствие от игры — модели слишком долго думали на каждом ходу.

В ретроспективе это неудивительно. Языковые модели не обучаются рассуждать пошагово над большими, изменяющимися пространствами состояний. У них нет внутреннего понятия пространственной непрерывности или устойчивого игрового плана, если их явно не построить. Просить LLM смотреть на доску и выбирать ход на каждом шаге — это, по сути, просить её решать задачу планирования, для которой её никогда не обучали.

А вот в чём они действительно очень хороши, так это в написании кода.

Вместо того чтобы просить модель выбирать ход, я попросила её написать логику, которая решает, как выглядит хороший ход.

Как только я переформулировала Tetris как задачу программирования, всё изменилось. Задача модели стала такой: по текущему состоянию доски сгенерировать оценочную функцию, которая оценивает возможные размещения. Эта функция выполняется детерминированно, оценивает все допустимые ходы и выбирает лучший. Модель решает, нужно ли и когда обновлять эту функцию в зависимости от состояния доски.

С этим изменением Tetris превратился в стабильный цикл оптимизации. Модель больше не реагировала на доску — она определяла целевую функцию, а система её исполняла:

От цикла оптимизации к бенчмарку

Когда это начало стабильно работать, мне захотелось узнать: разные стили игры моделей — это разовое явление или устойчивая закономерность? И я запустила матчи в масштабе.

Я начала проводить матчи модель-против-модели в масштабе. Одна и та же последовательность фигур. Одни и те же ограничения. Один и тот же цикл выполнения. Единственная переменная — модель. Я провела сотни игр на каждую пару и логировала всё.

Первое, на что я посмотрела, — это процент побед:

На первый взгляд таблица проста: одни модели побеждают чаще других. Но как только посмотришь на сами игры за этими числами, становится ясно, что win rate измеряет не просто «мастерство». Он улавливает нечто более глубокое — как именно каждая модель подходит к долгосрочной оптимизации.

Две модели могут иметь похожие средние очки, но совершенно разные профили побед. Одна может доминировать в начале и обрушиться в конце. Другая может дольше выживать со стабильными досками. Таблица скрывала стилистические различия внутри одной метрики.

А как только начинаешь смотреть на сами игры, а не на проценты, эти различия становится невозможно игнорировать.

Модели не равны в долгосрочной стратегии

Сразу бросалось в глаза не столько различие в очках, сколько различие в стиле.

Некоторые модели играли агрессивно. Они жёстко оптимизировались под ранние очистки линий, мирились с высокими стопками и хорошо смотрелись на старте игры. Другие были заметно консервативнее — отдавали приоритет более плоским доскам и выживаемости, даже ценой упущенных очков.

Что меня удивило — никто этого явно не подсказывал. Ни одной модели не говорили думать в долгую или коротко. И тем не менее каждая вела себя так, словно у неё был внутренний горизонт оптимизации.

Одно из проявлений этого — насколько часто модели решали вмешаться и обновить свою стратегию. Одни часто переписывали свою оценочную логику по мере развития доски. Другие долго держались за начальный набор эвристик, даже когда игра уходила в более рискованную зону.

Интересно, что у Gemini 3 Pro самый высокий процент побед (62.0%) при наименьшем числе вмешательств (1.22 обновления за игру). Она набирает солидные 109.3 очков/ход — эффективно и решительно. Gemini 3 Flash вмешивается чаще всех (2.68/игру) и всё равно выигрывает 60.3% при сильных 110.4 очков/ход — частые правки тоже, похоже, работают.

Это породило интересный вопрос: могут ли метрики вроде среднего числа очков за ход, сопоставленные с количеством стратегических вмешательств, помочь отличить модели, оптимизирующие локально, от тех, кто неявно рассуждает на более длинных горизонтах?

Несколько дополнительных закономерностей намекают, что ответ — да:

Вмешательства давали убывающую отдачу у части моделей: частые обновления стратегии не всегда приводили к лучшим результатам. В некоторых случаях модели, вмешивавшиеся чаще всего, колебались между эвристиками, не сходясь к устойчивому долгосрочному плану.

Статистика по низкому и высокому числу вмешательств на основе 800+ игр

Поведение в поздней игре сильно различалось: по мере заполнения доски одни модели становились всё более реактивными и делали более крупные эвристические скачки под давлением. Другие тихо проваливались, продолжая применять стратегию, уже не соответствующую состоянию.

Люди против LLM в Tetris

Противостояние людей и моделей выявило контраст не только в результатах, но и в том, как именно происходят ошибки.

Люди обычно играют в Tetris через интуицию и распознавание паттернов. Мы не оцениваем каждый возможный ход. Вместо этого мы терпим грязные доски, делаем локально «плохие» ходы и полагаемся на веру в то, что сможем восстановиться позже.

Модели намного эксплицитнее. Каждый ход отражает оценочную функцию. Когда модель меняет стратегию, это видно в логике, которую она генерирует. Когда она проваливается, провал часто прослеживается до раннего оптимизационного выбора, который казался разумным в моменте, но оказался хрупким. В матчах один на один проявились несколько интересных закономерностей:

Модели обычно играли с очень чистыми ранними досками, но начинали испытывать трудности, как только доска входила в состояние, под которое они не оптимизировались.

Люди лучше играли «вне распределения». Мы делаем уродливые ходы намеренно и бросаем планы посреди игры, не выводя стратегию заново явно

Если посмотреть на таблицу побед, главный вывод прост: модели уже сильны. На больших количествах игр они обыгрывают большинство людей. Против среднего или среднеопытного игрока разрыв — структурный.

Но интересна не победа моделей. Интересно то, где они проигрывают.

Лучшие игроки-люди по-прежнему стабильно обыгрывают определённые frontier-модели. И разрыв не в скорости реакции и не в механической точности — среда полностью пошаговая. Различие, похоже, проявляется в краевых случаях: необычных состояниях доски, неудобных последовательностях фигур, в моментах, когда «правильный» ход не локально оптимален, но сохраняет долгосрочную гибкость.

Метрики качества доски это подтверждают. Слабые в Tetris люди производят хаотичные доски. Модели — очень чистые. Но самые сильные люди — посередине: не идеально чисто, но и не безрассудно. Они вносят контролируемую нерегулярность. Эта «золотая середина вне распределения», похоже, и есть зона, где моделям сложнее всего.

Иными словами, модели крайне компетентны внутри распределения, порождённого их собственными эвристиками. Лучшие же люди иногда умудряются загонять игру в режимы, под которые эти эвристики не строились.

Один из таких примеров — игра, где TAFOKINTS (пользователь, ранее соревновавшийся в Tetris профессионально) играл против Claude Opus 4.5. TAFOKINTS в итоге набрал 22 300, обыграв Opus с его 15 700. Что интересно — Opus играл идеально 21 раунд, после чего TAFOKINTS быстро его догнал:

TAFOKINTS также строил доски с bumpiness 12–19, удерживая при этом 0–1 «дыр». Этот «контролируемый хаос» — та самая золотая середина вне распределения, которая ломает оценочные функции AI:

Что этот эксперимент изменил в моих взглядах

Сборка чего-то, во что я реально могу играть, изменила то, как я думаю об оценке моделей.

Одно из ясных открытий — насколько сильно представление формирует то, что вы в итоге измеряете. Убрав зрение и работая со структурированным состоянием, я сместила задачу с восприятия на планирование. Проявившиеся различия мало касались того, что модели могли «видеть», и куда больше касались того, что они выбирали оптимизировать со временем.

Другой инсайт: горизонт оптимизации — это то, что наблюдается в поведении, а не то, что надёжно вытаскивается промптами. В последовательной задаче вроде Tetris долго- против краткосрочного смещения становится видимым. Можно наблюдать, как модели обменивают будущую гибкость на немедленную награду или, наоборот, сознательно этого избегают — даже когда им никто не велит думать наперёд.

Наконец, само вмешательство — это значимое решение со стороны LLM. Знать, как действовать, — это не то же самое, что знать, когда остановиться и пересмотреть стратегию. Это различие кажется всё более важным по мере того, как мы строим агентов, работающих на более длинных горизонтах и сталкивающихся с состояниями, которые их разработчики явно не предусмотрели.

Больше всего меня удивило, что очень старой и очень простой игры оказалось достаточно, чтобы выявить эти различия. Не всегда нужны сложные среды, чтобы узнать что-то осмысленное о том, как системы рассуждают во времени.

Если вы думаете о бенчмарках для планирования, агентов-кодеров или поведения моделей на длинных горизонтах, буду рада пообщаться. Найти проект TetrisBench можно здесь. Если вам интересны полные данные и траектории, сгенерированные этим бенчмарком, или хочется изучить смежные анализы — пишите на yli@a16z.com.

Yoko Li

— партнёр в Andreessen Horowitz, где она фокусируется на инструментах для разработчиков, инфраструктуре, AI и инструментах для творчества.

Почему нам нужно непрерывное обучение

И ты, агент? Это ты установил бэкдор?

Вашим дата-агентам нужен контекст

Состояние генеративных медиа 2026

Большинство людей не умеют vibe code. Вот как это исправить.

Хотите больше про инфраструктуру?

Аналитика и новости о последних трендах, переформатирующих AI и инфраструктуру.

Мнения, выраженные в «постах» (включая подкасты, видео и социальные сети), принадлежат соответствующим сотрудникам a16z, цитируемым в них, и не являются мнениями a16z Capital Management, L.L.C. («a16z») или её аффилированных лиц. a16z Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам. Регистрация в качестве инвестиционного консультанта не подразумевает наличия каких-либо особых навыков или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются предложением о продаже — или предложением о покупке — каких-либо ценных бумаг, и не могут использоваться или применяться при оценке достоинств любой инвестиции.

Содержание, представленное здесь — и доступное на любых связанных платформах распространения и любых публичных онлайн-аккаунтах a16z в социальных сетях, платформах и сайтах (совместно — «каналы распространения контента») — не следует толковать или использовать каким-либо образом как инвестиционные, юридические, налоговые или иные консультации. По юридическим, деловым, налоговым и иным связанным вопросам, касающимся любых инвестиций, вам следует консультироваться с собственными консультантами. Любые проекции, оценки, прогнозы, цели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться от мнений, выражаемых другими, или противоречить им. Любые графики, предоставленные здесь или в каналах распространения контента a16z, носят исключительно информационный характер и не должны использоваться при принятии каких-либо инвестиционных решений. Часть информации здесь получена из сторонних источников, в том числе от портфельных компаний фондов под управлением a16z. Хотя источники считаются надёжными, a16z не проверяла такую информацию независимо и не делает заявлений о её сохраняющейся точности или применимости к конкретной ситуации. Кроме того, посты могут содержать рекламу третьих лиц; a16z такую рекламу не проверяла и не одобряет содержащиеся в ней рекламные материалы. Весь контент актуален только на указанную дату.

Ни при каких обстоятельствах посты или иная информация, представленные на этом сайте — или в связанных каналах распространения контента — не должны рассматриваться как предложение о покупке или продаже каких-либо ценных бумаг или долей в каком-либо объединённом инвестиционном инструменте, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Их также не следует толковать как предложение о предоставлении инвестиционно-консультационных услуг; предложение об инвестировании в управляемый a16z объединённый инвестиционный инструмент будет сделано отдельно и только посредством конфиденциальных предложений по конкретным объединённым инвестиционным инструментам — которые следует прочесть целиком и только тем, кто, среди прочего, удовлетворяет определённым квалификациям по федеральным законам о ценных бумагах. Такие инвесторы — определяемые как «аккредитованные инвесторы» и «квалифицированные покупатели» — обычно считаются способными оценивать достоинства и риски потенциальных инвестиций и финансовых вопросов.

Не может быть гарантий, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в инструмент, управляемый a16z, сопряжена с высокой степенью риска, включая риск полной потери вложенной суммы. Любые упомянутые, указанные или описанные инвестиции или портфельные компании не репрезентативны для всех инвестиций в инструменты, управляемые a16z, и не может быть гарантий, что инвестиции окажутся прибыльными или что будущие инвестиции будут иметь схожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен здесь: https://a16z.com/investments/. Прошлые результаты инвестиций, объединённых инвестиционных инструментов или стратегий a16z не обязательно указывают на будущие результаты. Из списка исключены инвестиции (и некоторые публично торгуемые криптовалюты/цифровые активы), по которым эмитент не дал разрешения на публичное раскрытие. В отношении своих инвестиций в любой криптовалютный или токен-проект a16z действует в собственных финансовых интересах, не обязательно в интересах других держателей токенов. a16z не играет особой роли в этих проектах и не имеет власти над их управлением. a16z не обязуется продолжать участвовать в этих проектах иначе, чем в качестве инвестора и держателя токенов, и другие держатели токенов не должны ожидать или полагаться на её особое участие.

В отношении фондов под управлением a16z, зарегистрированных в Японии, a16z предоставит любому представителю японской общественности копию документов, обязательных к публичному раскрытию согласно статье 63 Закона о финансовых инструментах и биржах Японии. Для запроса таких документов обращайтесь по адресу compliance@a16z.com.

С прочими условиями использования сайта можно ознакомиться здесь. Дополнительная важная информация об a16z, включая нашу форму ADV Part 2A Brochure, доступна на сайте SEC: http://www.adviserinfo.sec.gov.