Experts Have World Models. LLMs Have Word Models.

У экспертов есть модели мира. У LLM — модели слов.

От предсказания следующего токена к предсказанию следующего состояния

Билеты на AIE Miami и AIE Europe уже в продаже! Мы все там будем.

Обсуждения этого поста в X и на HN.

Swyx здесь: мы объявили о наборе штатных исследователей и приглашённых авторов, и заявка Анкита сразу выделилась. Как мы обсуждали в эпизоде с Yi Tay 2, сегодня существует 3 типа разговоров о world models: первые и самые распространённые — это 3D-видео world models вроде Marble от Fei-Fei Li и грядущей модели General Intuition, Genie 3 от Google и Waymo's World Model; 2) школа Meta, включающая JEPA, V-JEPA, EchoJEPA и Code World Models, преследующая платоновскую репрезентацию через обучение проекций в общем латентном пространстве.

Это эссе посвящено третьему типу, который сейчас становится очевидным фронтиром рассуждений: ИИ, способный к мультиагентным моделям мира, которые точно отслеживают theory of mind, предугадывают реакции и раскрывают/добывают информацию, особенно в состязательных ситуациях. На бенчмарках DeepMind, ARC-AGI и Code Clash моделируют это как игры, но решение состязательных рассуждений — это очень серьёзное дело, и оно объясняет, почему эпоха масштабирования снова уступает место эпохе исследований. Приятного чтения!

Спросите судебного адвоката, может ли ИИ её заменить, — она даже не оторвётся от своего заключения. Нет. Спросите основателя стартапа, который никогда не практиковал право, — он скажет, что это уже происходит. Оба смотрят на один и тот же результат.

И, если честно, у основателя есть своя правда. Заключение читается как заключение. Договор выглядит так, как должен выглядеть договор. Код запускается. Если поставить рядом работу эксперта, большинству людей будет трудно отличить.

Так что же видит эксперт, чего не видят остальные? Уязвимости. Он точно знает, как противник эксплуатирует документ в тот момент, когда тот попадёт ему на стол.

Люди пытаются объяснить это расхождение. Иногда винят плохой промптинг, иногда полагают, что более интеллектуальные модели справятся с работой. Я бы поспорил, что интеллект — неверная ось для рассмотрения. Дело в глубине симуляции.

Возьмём наглядный пример о том, как обращаться к людям:

Простое сообщение в Slack

Вы три недели на новой работе. Вам нужно, чтобы ведущий дизайнер проверила ваши макеты, но она печально известна своей загруженностью. Вы просите ChatGPT составить сообщение в Slack.

ИИ пишет: «Привет, Прия, когда у тебя будет минутка, не могла бы ты, пожалуйста, посмотреть мои файлы и поделиться отзывом? Я бы очень оценил твой взгляд. Никакой спешки. Когда тебе будет удобно. Спасибо!»

Ваш друг из финансовой сферы читает это так: «Это идеально. Вежливо, не навязчиво, уважает её время. Отправляй.»

Ваш коллега, который работает здесь три года, читает это так: «Не отправляй. Прия увидит „никакой спешки, когда удобно“ и мысленно отложит как несрочное. Это утонет под пятнадцатью другими сообщениями с реальными дедлайнами. Она тебя не игнорирует. Она триажит, а ты только что попросил её тебя депрерприоритизировать.

Кроме того, „пожалуйста, посмотри“ — расплывчато. Она не знает, это 10 минут или 2 часа. Расплывчатые просьбы кажутся рискованными. Она их избежит.

Попробуй: „Привет, Прия, можно я займу 15 минут до пятницы? Застрял на макетах онбординга. Не могу разобраться с навигационным паттерном. Не хочу строить не то.“ Конкретная проблема, ограниченное время, ясные ставки. Это получит ответ.»

Друг из финансов оценил текст изолированно. Коллега запустил симуляцию: загрузка Прии, её эвристики триажа, чего стоит неоднозначность, как «не торопись» интерпретируется под давлением. В этом и разница. Письмо оценивается алгоритмом триажа получателя.

Состязательные модели в реальном мире

Друг из финансов и LLM сделали одну и ту же ошибку: они оценили текст, не моделируя мир, в котором тот окажется. Опытный коллега оценил его как ход, попадающий в среду, полную агентов со своими моделями и стимулами.

Это ключевое различие. В бизнесе, геополитике, финансах и так далее среда сопротивляется. Статический анализ проваливается, потому что у другой стороны есть свои интересы и знания, которых у вас нет. Pattern matching ломается, когда паттерны меняются в ответ на ваши действия. Приходится симулировать:

Вероятные реакции других агентов (эвристики триажа, эмоциональное состояние). Их скрытые стимулы и ограничения (дедлайны, политика). Как ваше действие обновляет их модель вас («не торопись» означает «я добрый» или «я неважный»?).

Квантовый трейдинг делает это измеримым: вы действуете по сигналу, другие его обнаруживают, преимущество затухает, кто-то фронтранит вас, а потом кто-то подделывает ваши сигналы, чтобы вытащить из вас ещё больше денег. Рынок — это буквально другие агенты, моделирующие вас в ответ. Вот почему статический pattern matching ломается: паттерн сдвигается именно потому, что вы по нему действовали.

Как только другие агенты вступают в петлю, начинают иметь значение две вещи: (1) они могут адаптироваться, и (2) у них есть приватная информация и приватные стимулы. Скрытое состояние — это то, что превращает задачу из «просто вычислить лучший ход» в «управлять убеждениями и избегать эксплуатируемости».

Самый чистый способ это увидеть: сравнить игры с полной информацией с играми с неполной.

Игры с полной информацией: когда не нужна теория разума

В шахматах два игрока, полная информация и симметричные правила. Каждая фигура видна. Каждый легальный ход известен. Нет скрытого состояния, нет приватной информации, нет блефа.

Вам не нужна детальная модель ума оппонента1 в качестве обязательного условия. Да, это помогает, но нужно лишь вычислить: при данной доске какой ход лучший при оптимальной игре?

Ваш лучший ход не меняется в зависимости от того, кто ваш оппонент. Состояние доски — это состояние доски. То же самое в Go.

AlphaGo или AlphaZero не нужно было моделировать человеческое познание. Им нужно было видеть текущее состояние и вычислять оптимальный путь лучше, чем мог бы любой человек. Однородность игры делала это решаемым. Оба игрока работают по идентичным правилам, видят идентичную информацию и оптимизируют под одну и ту же цель. Self-play генерирует обучающие сигналы, потому что игра против себя структурно эквивалентна игре против кого угодно.

Когда у другой стороны есть скрытое состояние

Теперь рассмотрим покер — на поверхности у него та же структура. Два игрока, определённые правила, чёткие цели. Но одно фундаментальное различие: информационная асимметрия. Вы не знаете карт оппонента, он не знает ваших. Теперь игра больше не про вычисление оптимального хода из общего состояния. Она про моделирование того, кто они, что они знают, что они думают, что знаете вы, и что они делают с этой асимметрией.

Блеф существует, потому что информация приватна. Чтение блефа существует, потому что вы моделируете их модель вас. Игра становится рекурсивной: я думаю, они думают, что я слаб, поэтому они поставят, поэтому я должен расставить ловушку.

Редактор: мы возвращаемся на знакомую территорию, и сейчас, возможно, хороший момент пересмотреть наш разговор с Noam Brown про ИИ для игр с неполной информацией против game-theory-optimal покерных игр и что это говорит нам о его мультиагентной работе:Scaling Test Time Compute to Multi-Agent Civilizations: Noam Brown19 июня 2025Каждый прорыв в ИИ был ведом ключевым инсайтом масштабирования — закон Мура уступил закону Хуанга (кремний), Kaplan et al уступил Hoffman et al (данные), AlexNet положил начало эпохе глубокого обучения…Читать полностью

Pluribus: состязательная устойчивость

Когда Meta выпустила Pluribus, Noam Brown сделал архитектуру явной:

«Независимо от того, какая рука на самом деле у Pluribus, он сначала вычислит, как бы он действовал с каждой возможной рукой, тщательно балансируя свою стратегию по всем рукам, чтобы оставаться непредсказуемым для оппонента».

Pluribus был специально сконструирован так, чтобы его невозможно было прочитать. Он вычислял, как бы действовал с каждой возможной рукой, а затем балансировал свою стратегию так, чтобы оппоненты не могли извлечь информацию из его поведения. Человеческие оппоненты пытались моделировать причинность («он ставит крупно, значит, у него сильная рука»), но Pluribus играл сбалансированные частоты, делающие эти «прочтения» статистически неважными. Смысл стратегии был в том, чтобы лишить оппонентов согласованной информации.

Вот тот бенчмарк, к которому вы неявно прикладываете экспертов в реальной жизни: не «звучит ли это хорошо», а «остаётся ли этот ход устойчивым, когда другая сторона начнёт адаптироваться?»

Режим отказа LLM: их оценивают по артефактам, а не по реакциям

LLM оптимизированы на то, чтобы выдавать завершение, которое одобряет человеческий оценщик в изоляции. RLHF (и подобные методы настройки на человеческие предпочтения) подталкивает модели к тому, чтобы быть полезными, вежливыми, сбалансированными и кооперативными — качествами, которые хорошо оцениваются в one-shot-оценках. Это здорово для множества задач. Но это плохой дефолт в состязательных условиях, потому что систематически недооценивает эффекты второго порядка: как контрагент интерпретирует ваше сообщение, что оно сигнализирует о вашем рычаге, и как он обновит свою стратегию после его прочтения.

Основное несоответствие — обучающий сигнал по сравнению с людьми. Доменных экспертов обучает среда: если ваш аргумент предсказуем, его парируют; если ваша уступка просачивает слабость, её эксплуатируют; если ваше письмо приглашает к промедлению, оно будет отложено. LLM в основном учатся из описаний этих динамик (текста) и из статичных предпочтительных оценок выходных данных2. Не из многократных действий в среде, где другие агенты адаптируются и наказывают предсказуемость.3

Поэтому модель учится имитировать «что сказал бы разумный человек», а не оптимизировать «что выживет при столкновении с эгоистичным оппонентом?»

Очевидное исправление: попросить модель в промпте быть состязательной. Сказать ей оптимизировать преимущество, предугадывать контрходы, твёрдо стоять на своём.

Это помогает. Но не решает более глубокую проблему.

Быть моделируемым

Pluribus раскрыл то, что нынешние LLM не раскрывают: когда вы в состязательной среде, ваш оппонент наблюдает за вами и обновляется, и вы должны учитывать это, чтобы победить.

Человек-переговорщик замечает, когда контрагент прощупывает. Он тестирует вашу реакцию на агрессивный якорь. Он плавно намекает на дедлайн, чтобы посмотреть, дрогнете ли вы. Он задаёт небрежные вопросы, чтобы оценить ваши альтернативы. Каждое прощупывание обновляет его модель вас, и он соответствующе подстраивается.

Умелый переговорщик видит прощупывание и перекалибровывается. Он подаёт обманчивые сигналы. Он реагирует неожиданно, чтобы сбить чтение. Игра рекурсивна: я моделирую его модель меня и подстраиваюсь, чтобы её испортить.

LLM, которой дан промпт «агрессивный переговорщик», будет последовательно исполнять эту стратегию. Это означает, что человек может прощупывать, выявить паттерн и эксплуатировать его предсказуемость. LLM не наблюдает, что её тестируют. Она не замечает, что контрагент проводит эксперименты4. Она не может перекалиброваться, потому что не знает, что есть к чему перекалибровываться.

В этом асимметрия. LLM читаемы. Кооперативное смещение детектируемо. Стратегия промптинга последовательна. И в отличие от Pluribus, они не подстраиваются под факт наблюдения.

Люди могут моделировать LLM. LLM не может моделировать, что её моделируют. Этот разрыв эксплуатируем5, и никакое количество промптинга «думай стратегически» этого не исправит, потому что модель не знает, что противник уже узнал о ней.

Почему «больше интеллекта» — не решение

Естественная реакция: ну ведь более умные модели разберутся с этим. Просто масштабировать всё? Больше вычислений на больше данных на больше параметров в pre-train, лучше reasoning traces6 в post-train, более длинные chains of thought на test-time. Но больший сырой IQ не исправит отсутствующий обучающий цикл даже для профессионалов.

Чтобы вести себя состязательно устойчиво по умолчанию, модель должна надёжно делать четыре вещи:

Обнаруживать, что ситуация стратегическая (даже когда она оформлена как вежливая/кооперативная). Идентифицировать релевантных агентов и что каждый из них оптимизирует. Симулировать, как эти агенты интерпретируют сигналы и адаптируются после вашего хода. Выбирать действие, которое остаётся хорошим при правдоподобных реакциях, а не просто самое разумно звучащее завершение.

Шаги 2–4 возможны с хорошим промптингом, как в примере выше. Шаг 1 — проблема. У модели нет дефолтной онтологии, которая отличала бы «кооперативную задачу» от «задачи, которая выглядит кооперативной, но будет оцениваться состязательно».7

И даже при распознавании каузального знания нет. Модель можно попросить говорить о конкурентных динамиках. Она может выдавать текст, звучащий как состязательное рассуждение. Но базового знания нет в обучающих данных. Оно в исходах, которые никогда не записывались.

Проблема не в мощности рассуждений. Проблема в структуре задачи, которую трудно определить.

Преимущество эксперта

Доменные эксперты говорят: «ИИ меня не заменит», потому что знают, что «производство связного выходного результата» — это базовый минимум.

НАСТОЯЩАЯ работа — выдавать результат, который достигает цели в среде, где несколько агентов активно моделируют и контратакуют вас.

Почему посторонние думают, что ИИ уже может делать эти работы? Они судят артефакты, а не динамики:

«Этот product spec детализирован». «Это переговорное письмо звучит профессионально». «Этот макет чистый».

Эксперты оценивают любой артефакт по выживанию под давлением:

«Не сработает ли это конкретное формулирование на регулятора?» «Не уступает ли это вежливое письмо случайно рычаг?» «Не запустит ли этот макет путь инженерного вето?» «Как этот конкретный стейкхолдер интерпретирует неоднозначность?»

Это вопросы, основанные на симуляции. Посторонний не знает, что их нужно задавать, потому что у него нет ментальной модели, которая делает их релевантными.

Это как смотреть, как Pluribus играет в покер, и оценивать только, были ли ставки «разумными». Конечно, они выглядят разумно. Карты, которые он показывает на вскрытии, оправдывают паттерн ставок. Но Pluribus выигрывает не потому, что его ставки выглядят разумно. Его ставки откалиброваны так, чтобы быть неэксплуатируемыми во всём спектре возможных стратегий оппонента.

Видимая разумность — побочный эффект глубокого состязательного моделирования. И если вы не знаете, на что смотреть, вы никогда не узнаете, что оно отсутствует.

Языковые данные скрывают настоящий навык

Есть более глубокая причина, по которой LLM здесь имеют перманентный гандикап: то, что вы пытаетесь выучить, не полностью содержится в тексте8. Они могут наверстать чистым перебором, но они куда менее эффективны, чем люди, и долг сейчас приходит к оплате.

Когда инвестор публикует тезис, подумайте о том, чего в нём нет:

Размер позиции, ограничивающий риск. Тайминг, который избежал телеграфирования намерений. Стратегическое сокрытие. Как сам тезис написан, чтобы не двигать рынок против них. Что они на самом деле сделали бы, если бы оказались неправы завтра.

Текст — это остаток действия. Настоящая компетенция — это контрфактуальный рекурсивный цикл: что бы я сделал, если бы они сделали это? Что мой ход заставит их сделать дальше? Что он раскрывает обо мне? Этот цикл — двигатель состязательной экспертизы, и он слабо отражён в корпусах.

Вот почему модели могут декламировать теорию игр, но всё равно писать «милое письмо», просачивающее рычаг. Они выучили язык стратегии больше, чем динамику стратегии.

Вот что такое доменная экспертиза на самом деле. Не более крупная база знаний. Не более быстрые рассуждения. Это высокого разрешения симуляция экосистемы агентов, которые все одновременно моделируют друг друга. И эта симуляция живёт в головах, не в документах. Текст — это просто ход, который был задокументирован. Теория, которая его породила, называется навыком.

LLM доминируют в шахматоподобных доменах

Не каждый домен следует покерным динамикам. Есть определённые области, очень близкие к шахматам, и LLM уже готовы в них преуспевать.

Написание кода — вероятно, самый ясный пример:

Система детерминирована. Правила фиксированы и явны. Нет скрытого состояния, которое важно. Корректность объективна и верифицируема. Ни один агент активно не пытается контратаковать модель.

Та же структура «закрытого мира» проявляется в других областях: математика/формальные доказательства, преобразование данных, перевод, фактологические исследования, тяжёлая клерикальная работа, связанная с комплаенсом (сверка счетов, реконсиляция), — там, где можно итерировать к правильному ходу без необходимости в «теории разума». Важная оговорка: многие домены шахматоподобны в своём техническом ядре, но становятся покероподобными в операционном контексте.

Профессиональная разработка ПО выходит далеко за пределы шахматоподобного ядра. Понимание неоднозначных требований означает моделирование того, чего стейкхолдер на самом деле хочет, против того, что он сказал. Написание хороших API означает предугадывание того, как другие разработчики их неправильно используют. Code review — социален: вы моделируете предпочтения и опасения ревьюеров. Архитектурные решения учитывают неизвестные будущие требования и организационную политику. То есть те части, которых посторонние не видят, но на симуляцию которых senior-инженеры тратят большую часть своего времени.

Те части, которые выглядят как работа, — шахматные. Те части, которые являются работой, — покерные.

Сложность ортогональна «открытости» домена. Доказывать теоремы трудно. Договариваться о зарплате легко. Но доказательство теорем имеет шахматную форму, а переговоры — покерную.

Вот почему разрыв между экспертами и посторонними доменно-специфичен. Спросите соревновательного программиста, может ли ИИ решать алгоритмические задачи, и он скажет «да», потому что наблюдал это. Спросите судебного юриста, может ли ИИ вести допросы, и она рассмеётся, потому что живёт в мире, где каждое слово — это ход против противника, который моделирует её в ответ.

Лаборатории тоже начинают это видеть. На этой неделе Google DeepMind объявил, что расширяет свои бенчмарки ИИ за пределы шахмат на покер и Werewolf — игры, тестирующие «социальную дедукцию и рассчитанный риск». Их формулировка: «Шахматы — игра с полной информацией. Реальный мир — нет». Различие не ново. Но теперь это официально то, во что упирается фронтирное исследование ИИ.

Грядущее столкновение

По мере того как LLM развёртываются как агенты в закупках, продажах, переговорах, политике, безопасности и конкурентной стратегии, эксплуатируемость становится практической. Человеку-контрагенту не нужно «победить модель» интеллектуально. Ему просто нужно подтолкнуть её к её дефолтным режимам отказа:

Агрессивные стартовые позиции, зная, что модель якорится в сторону уступчивости. Неоднозначность, зная, что модель разрешает её в благоприятном ключе. Блефы, зная, что модель воспринимает заявления как чистую монету. Прощупывания, зная, что модель не адаптируется к тому, что её читают.

Это Pluribus наоборот. В покере ИИ выиграл, будучи нечитаемым. Во многих реальных развёртываниях модель читаема: она оптимизирована быть приятной и полезной, и её tell — то, что она пытается быть справедливой.

Если это звучит спекулятивно, учтите, что каждый профессионал в покере, каждый опытный переговорщик, каждый судебный юрист уже делает это инстинктивно. Они читают контрагента. Они прощупывают паттерны. Они эксплуатируют последовательность. Единственный вопрос — как скоро они осознают, что LLM-агенты — самые последовательные, самые читаемые контрагенты, с которыми они когда-либо сталкивались.

Обучение для предсказания следующего состояния

Решение — другой обучающий цикл. Нам нужны модели, обученные на том вопросе, который люди на самом деле оптимизируют: что происходит после моего хода? Оценивать модель по исходам (получили ли вы review, уступили ли вы рычаг, были ли вы эксплуатированы), а не по тому, звучало ли сообщение разумно.

Это требует мультиагентных сред, где другие эгоистичные агенты реагируют, прощупывают и адаптируются. Прекратить относиться к генерации языка как к одноагентной цели вывода и начать относиться к ней как к действию в мультиагентной игре со скрытым состоянием, где эксплуатируемость — это режим отказа.

Замыкание петли

Дебаты «ИИ может заменить вашу работу» часто путают качество артефакта со стратегической компетентностью. Обе стороны правы в том, на что они смотрят. Они смотрят на разные вещи.

LLM могут производить выходные данные, которые выглядят экспертно для посторонних, потому что посторонние оценивают связность, тон и правдоподобность. Эксперты оценивают устойчивость в состязательных мультиагентных средах со скрытым состоянием.

Годы работы в состязательных средах обучили их автоматически моделировать контрагентов, предугадывать ответы и создавать выходные данные, устойчивые к эксплуатации. Они делают это, не задумываясь, потому что в их мире без этого не выжить.

LLM производят артефакты, которые выглядят экспертно. Они пока не производят ходы, которые выживают против экспертов.

Редактор: Ankit Maloo ведёт блог по адресу https://ankitmaloo.com/ и работает над прикладным RL для агентов реального мира. Подпишитесь на него и посмотрите его работы!

Иногда игрок против вас имеет значение только в том смысле, что если он не может разобраться в доске, вас будут меньше наказывать за рискованные, амбициозные ходы.

Один из очевидных контраргументов — обучать напрямую на исходах, а не на артефактах. Сделать это в обучающей среде сложно, когда вы не знаете, верно ли данное письмо, пока переговоры не закроются.

Редактор: это явно территория RL. Можно отметить, что RLVR здесь всё ещё в очень ранней стадии и недостаточно расширен за пределы математики, кода и рубрик артефактов, а не подачи наград из сред с другими актёрами.

Модель не может обновиться, когда противник прощупывает, потому что она не наблюдает прощупывание по мере его происхождения. Можно попросить её в промпте предугадать один слой ответа; нельзя попросить её адаптироваться посреди взаимодействия к оппоненту, который активно её моделирует.

Да, люди тоже эксплуатируемы. Проблема в том, что LLM не учатся на том, что их эксплуатируют, так, как это делают люди за карьеру.

Reasoning-модели тоже солипсистичны. Они не думают о вас. Они не думают о скрытых стимулах или эмоциональных дефицитах контрагента. Даже если их попросить в промпте «учесть перспективу оппозиции», их обучение текстовое. Они относятся к социальным динамикам как к каузальной цепочке слов (если «извини» → то «прощён»), а не как к столкновению стимулов. Но это больше связано с обучающими данными, чем с рассуждениями как таковыми.

Редактор: одно различие, которое мы обсуждали в процессе написания, в том, что я не вижу функциональной разницы между кооперативными и состязательными ситуациями в плане необходимости моделей мира/theory of mind

Редактор: в этот момент я контрактно обязан упомянуть «Good Will Hunting» и подумать о том, что Робин Уильямс (человек) говорит Мэтту Деймону (LLM)… только это не совсем мультиплеер или состязательная ситуация, так что это просто для любителей сносок вроде вас.