Experts Have World Models. LLMs Have Word Models.

Experts Have World Models. LLMs Have Word Models.

У экспертов есть модели мира. У LLM — модели слов.

From Next token prediction to Next state prediction

От предсказания следующего токена к предсказанию следующего состояния

Tickets for AIE Miami and AIE Europe are on sale now! We’ll all be there.

Билеты на AIE Miami и AIE Europe уже в продаже! Мы все там будем.

Discussions for this post on X and HN.

Обсуждения этого поста в X и на HN.

Swyx here: we put a call out for Staff Researchers and Guest Writers and Ankit’s submission immediately stood out. As we discussed on the Yi Tay 2 episode, there are 3 kinds of World Models conversations today: The first and most common are 3D video world models like Fei Fei Li’s Marble and General Intuition’s upcoming model, Google’s Genie 3 and Waymo’s World Model, 2) the Meta school of thought comprising JEPA, V-JEPA, EchoJEPA and Code World Models pursuing Platonic representation by learning projections on a common latent space.

Swyx здесь: мы объявили о наборе штатных исследователей и приглашённых авторов, и заявка Анкита сразу выделилась. Как мы обсуждали в эпизоде с Yi Tay 2, сегодня существует 3 типа разговоров о world models: первые и самые распространённые — это 3D-видео world models вроде Marble от Fei-Fei Li и грядущей модели General Intuition, Genie 3 от Google и Waymo's World Model; 2) школа Meta, включающая JEPA, V-JEPA, EchoJEPA и Code World Models, преследующая платоновскую репрезентацию через обучение проекций в общем латентном пространстве.

This essay covers the third kind that is now an obvious reasoning frontier: AI capable of multiagent world models that can accurately track theory of mind, anticipate reactions, and reveal/mine for information, particularly in adversarial situations. In benchmarks, both DeepMind and ARC-AGI and Code Clash are modeling these as games, but solving adversarial reasoning is very much serious business and calls out why the age of scaling is flipping back to the age of research. Enjoy!

Это эссе посвящено третьему типу, который сейчас становится очевидным фронтиром рассуждений: ИИ, способный к мультиагентным моделям мира, которые точно отслеживают theory of mind, предугадывают реакции и раскрывают/добывают информацию, особенно в состязательных ситуациях. На бенчмарках DeepMind, ARC-AGI и Code Clash моделируют это как игры, но решение состязательных рассуждений — это очень серьёзное дело, и оно объясняет, почему эпоха масштабирования снова уступает место эпохе исследований. Приятного чтения!

Ask a trial lawyer if AI could replace her and she won’t even look up from her brief. No. Ask a startup founder who’s never practiced law and he’ll tell you it’s already happening. They’re both looking at the same output.

Спросите судебного адвоката, может ли ИИ её заменить, — она даже не оторвётся от своего заключения. Нет. Спросите основателя стартапа, который никогда не практиковал право, — он скажет, что это уже происходит. Оба смотрят на один и тот же результат.

And honestly, the founder has a point. The brief reads like a brief. The contract looks like what a contract would look like. The code runs. If you put it next to the expert’s work, most people would struggle to tell the difference.

И, если честно, у основателя есть своя правда. Заключение читается как заключение. Договор выглядит так, как должен выглядеть договор. Код запускается. Если поставить рядом работу эксперта, большинству людей будет трудно отличить.

So what is the expert seeing that everyone else isn’t? Vulnerabilities. They know exactly how an adversary will exploit the document the moment it lands on their desk.

Так что же видит эксперт, чего не видят остальные? Уязвимости. Он точно знает, как противник эксплуатирует документ в тот момент, когда тот попадёт ему на стол.

People try to explain this disconnect away. Sometimes they blame bad prompting, sometimes they assume models being more intelligent would be able to do the job. I would wager that intelligence is the wrong axis to look at. It’s about simulation depth.

Люди пытаются объяснить это расхождение. Иногда винят плохой промптинг, иногда полагают, что более интеллектуальные модели справятся с работой. Я бы поспорил, что интеллект — неверная ось для рассмотрения. Дело в глубине симуляции.

Let’s take an illustrative example about approaching people:

Возьмём наглядный пример о том, как обращаться к людям:

A simple Slack Message

Простое сообщение в Slack

You’re three weeks into a new job. You need the lead designer to review your mockups, but she’s notoriously overloaded. You ask ChatGPT to draft a Slack message.

Вы три недели на новой работе. Вам нужно, чтобы ведущий дизайнер проверила ваши макеты, но она печально известна своей загруженностью. Вы просите ChatGPT составить сообщение в Slack.

The AI writes: “Hi Priya, when you have a moment, could you please take a look at my files and share any feedback? I’d really appreciate your perspective. No rush at all. whenever it fits your schedule. Thanks!”

ИИ пишет: «Привет, Прия, когда у тебя будет минутка, не могла бы ты, пожалуйста, посмотреть мои файлы и поделиться отзывом? Я бы очень оценил твой взгляд. Никакой спешки. Когда тебе будет удобно. Спасибо!»

Your friend who works in finance reads: “This is perfect. Polite, not pushy, respects her time. Send it.”

Ваш друг из финансовой сферы читает это так: «Это идеально. Вежливо, не навязчиво, уважает её время. Отправляй.»

Your coworker who’s been there three years reads: “Don’t send that. Priya sees ‘no rush, whenever works’ and mentally files it as not urgent. It sinks below fifteen other messages with actual deadlines. She’s not ignoring you. She’s triaging, and you just told her to deprioritize you.

Ваш коллега, который работает здесь три года, читает это так: «Не отправляй. Прия увидит „никакой спешки, когда удобно“ и мысленно отложит как несрочное. Это утонет под пятнадцатью другими сообщениями с реальными дедлайнами. Она тебя не игнорирует. Она триажит, а ты только что попросил её тебя депрерприоритизировать.

Also, ‘please take a look’ is vague. She doesn’t know if this is 10 minutes or 2 hours. Vague asks feel risky. She’ll avoid it.

Кроме того, „пожалуйста, посмотри“ — расплывчато. Она не знает, это 10 минут или 2 часа. Расплывчатые просьбы кажутся рискованными. Она их избежит.

Try: ‘Hey Priya, could I grab 15 mins before Friday? Blocked on the onboarding mockups. I’m stuck on the nav pattern. Don’t want to build the wrong thing.’ Specific problem, bounded time, clear stakes. That gets a response.”

Попробуй: „Привет, Прия, можно я займу 15 минут до пятницы? Застрял на макетах онбординга. Не могу разобраться с навигационным паттерном. Не хочу строить не то.“ Конкретная проблема, ограниченное время, ясные ставки. Это получит ответ.»

The finance friend evaluated the text in isolation. The coworker ran a simulation: Priya’s workload, her triage heuristics, what ambiguity costs, how “no rush” gets interpreted under pressure. That’s the difference. The email is evaluated by the recipient’s triage algorithm.

Друг из финансов оценил текст изолированно. Коллега запустил симуляцию: загрузка Прии, её эвристики триажа, чего стоит неоднозначность, как «не торопись» интерпретируется под давлением. В этом и разница. Письмо оценивается алгоритмом триажа получателя.

Adversarial Models in real world

Состязательные модели в реальном мире

The finance friend and the LLM made the same mistake: they evaluated the text without modelling the world it would land in. The experienced coworker evaluated it as a move landing in an environment full of agents with their own models and incentives.

Друг из финансов и LLM сделали одну и ту же ошибку: они оценили текст, не моделируя мир, в котором тот окажется. Опытный коллега оценил его как ход, попадающий в среду, полную агентов со своими моделями и стимулами.

This is the core difference. In business, geopolitics, finance etc, the environment fights back. Static analysis fails because the other side has self-interests and knowledge you don’t have. Pattern matching breaks when patterns shift in response to your actions. You have to simulate:

Это ключевое различие. В бизнесе, геополитике, финансах и так далее среда сопротивляется. Статический анализ проваливается, потому что у другой стороны есть свои интересы и знания, которых у вас нет. Pattern matching ломается, когда паттерны меняются в ответ на ваши действия. Приходится симулировать:

Вероятные реакции других агентов (эвристики триажа, эмоциональное состояние). Их скрытые стимулы и ограничения (дедлайны, политика). Как ваше действие обновляет их модель вас («не торопись» означает «я добрый» или «я неважный»?).

Quant trading makes this measurable: act on a signal, others detect it, the edge decays, someone front-runs you, then someone fakes your signals to take even more money from you. The market is literally other agents modeling you back. That’s why static pattern-matching breaks: the pattern shifts specifically because you acted on it.

Квантовый трейдинг делает это измеримым: вы действуете по сигналу, другие его обнаруживают, преимущество затухает, кто-то фронтранит вас, а потом кто-то подделывает ваши сигналы, чтобы вытащить из вас ещё больше денег. Рынок — это буквально другие агенты, моделирующие вас в ответ. Вот почему статический pattern matching ломается: паттерн сдвигается именно потому, что вы по нему действовали.

Once other agents are in the loop, two things start to matter: (1) they can adapt, and (2) they have private information and private incentives. The hidden state is what turns a problem from ‘just compute the best move’ into ‘manage beliefs and avoid being exploitable.’

Как только другие агенты вступают в петлю, начинают иметь значение две вещи: (1) они могут адаптироваться, и (2) у них есть приватная информация и приватные стимулы. Скрытое состояние — это то, что превращает задачу из «просто вычислить лучший ход» в «управлять убеждениями и избегать эксплуатируемости».

The cleanest way to see this: compare perfect-information games with imperfect-information ones.

Самый чистый способ это увидеть: сравнить игры с полной информацией с играми с неполной.

Perfect Information Games: When You Don’t Need a Theory of Mind

Игры с полной информацией: когда не нужна теория разума

Chess has two players, perfect information, and symmetric rules. Every piece is visible. Every legal move is known. There’s no hidden state, no private information, no bluffing.

В шахматах два игрока, полная информация и симметричные правила. Каждая фигура видна. Каждый легальный ход известен. Нет скрытого состояния, нет приватной информации, нет блефа.

You don’t need a detailed model of your opponent’s mind1 as a requirement. Yes it helps, but you need only calculate: given this board, what is the best move assuming optimal play?

Вам не нужна детальная модель ума оппонента1 в качестве обязательного условия. Да, это помогает, но нужно лишь вычислить: при данной доске какой ход лучший при оптимальной игре?

Your best move does not change based on who your opponent is. Board state is board state. Same goes with Go.

Ваш лучший ход не меняется в зависимости от того, кто ваш оппонент. Состояние доски — это состояние доски. То же самое в Go.

AlphaGo or AlphaZero didn’t need to model human cognition. It needed to see the current state and calculate the optimal path better than any human could. The game’s homogeneity made this tractable. Both players operate under identical rules, see identical information, and optimize for the same objective. Self-play generates training signals because playing yourself is structurally equivalent to playing anyone.

AlphaGo или AlphaZero не нужно было моделировать человеческое познание. Им нужно было видеть текущее состояние и вычислять оптимальный путь лучше, чем мог бы любой человек. Однородность игры делала это решаемым. Оба игрока работают по идентичным правилам, видят идентичную информацию и оптимизируют под одну и ту же цель. Self-play генерирует обучающие сигналы, потому что игра против себя структурно эквивалентна игре против кого угодно.

When the Other Side Has Hidden State

Когда у другой стороны есть скрытое состояние

Now, consider poker - it has the same structure on the surface. Two players, defined rules, clear objectives. But one fundamental difference: information asymmetry. You don’t know your opponent’s cards, they don’t know yours. Now, the game is no longer about calculating the optimal move from a shared state. It’s about modeling who they are, what they know, what they think you know, and what they’re doing with that asymmetry.

Теперь рассмотрим покер — на поверхности у него та же структура. Два игрока, определённые правила, чёткие цели. Но одно фундаментальное различие: информационная асимметрия. Вы не знаете карт оппонента, он не знает ваших. Теперь игра больше не про вычисление оптимального хода из общего состояния. Она про моделирование того, кто они, что они знают, что они думают, что знаете вы, и что они делают с этой асимметрией.

Bluffing exists because information is private. Reading a bluff exists because you’re modeling their model of you. The game becomes recursive: I think they think I’m weak, so they’ll bet, so I should trap.

Блеф существует, потому что информация приватна. Чтение блефа существует, потому что вы моделируете их модель вас. Игра становится рекурсивной: я думаю, они думают, что я слаб, поэтому они поставят, поэтому я должен расставить ловушку.

Editor: we’re coming back into familiar territory and it may be a good time to revisit our conversation with Noam Brown on AI for imperfect information vs game-theory-optimal poker games, and what that tells us for his multi-agent work:

Scaling Test Time Compute to Multi-Agent Civilizations: Noam Brown

June 19, 2025

Every breakthrough in AI has been led by a core scaling insight — Moore’s Law gave way to Huang’s Law (silicon), Kaplan et al gave way to Hoffman et al (data), AlexNet kicked off the deep-learning an…

Read full story

Редактор: мы возвращаемся на знакомую территорию, и сейчас, возможно, хороший момент пересмотреть наш разговор с Noam Brown про ИИ для игр с неполной информацией против game-theory-optimal покерных игр и что это говорит нам о его мультиагентной работе:Scaling Test Time Compute to Multi-Agent Civilizations: Noam Brown19 июня 2025Каждый прорыв в ИИ был ведом ключевым инсайтом масштабирования — закон Мура уступил закону Хуанга (кремний), Kaplan et al уступил Hoffman et al (данные), AlexNet положил начало эпохе глубокого обучения…Читать полностью

Pluribus: Adversarial Robustness

Pluribus: состязательная устойчивость

When Meta released Pluribus, Noam Brown made the architecture explicit:

Когда Meta выпустила Pluribus, Noam Brown сделал архитектуру явной:

“Regardless of which hand Pluribus is actually holding, it will first calculate how it would act with every possible hand, being careful to balance its strategy across all the hands so as to remain unpredictable to the opponent.”

«Независимо от того, какая рука на самом деле у Pluribus, он сначала вычислит, как бы он действовал с каждой возможной рукой, тщательно балансируя свою стратегию по всем рукам, чтобы оставаться непредсказуемым для оппонента».

Pluribus was specifically modeled so that it’s impossible to read. It calculated how it would act with every possible hand, then balanced its strategy so opponents couldn’t extract information from its behavior. Human opponents tried to model the causality (”it’s betting big, it must have a strong hand”), but Pluribus played balanced frequencies that made those “reads” statistically irrelevant. The point of the strategy was to deny its opponents consistent information.

Pluribus был специально сконструирован так, чтобы его невозможно было прочитать. Он вычислял, как бы действовал с каждой возможной рукой, а затем балансировал свою стратегию так, чтобы оппоненты не могли извлечь информацию из его поведения. Человеческие оппоненты пытались моделировать причинность («он ставит крупно, значит, у него сильная рука»), но Pluribus играл сбалансированные частоты, делающие эти «прочтения» статистически неважными. Смысл стратегии был в том, чтобы лишить оппонентов согласованной информации.

That’s the benchmark you’re implicitly holding experts to in real life: not “does this sound good,” but “is this move robust once the other side starts adapting?”

Вот тот бенчмарк, к которому вы неявно прикладываете экспертов в реальной жизни: не «звучит ли это хорошо», а «остаётся ли этот ход устойчивым, когда другая сторона начнёт адаптироваться?»

The LLM Failure Mode: They’re Graded on Artifacts, Not on Reactions

Режим отказа LLM: их оценивают по артефактам, а не по реакциям

LLMs are optimized to produce a completion that a human rater approves of in isolation. RLHF (and similar human preference tuning) pushes models toward being helpful, polite, balanced, and cooperative, qualities that score well in one-shot evaluations. That’s great for lots of tasks. But it’s a bad default in adversarial settings because it systematically under-weights second-order effects: how the counterparty will interpret your message, what it signals about your leverage, and how they’ll update their strategy after reading it.

LLM оптимизированы на то, чтобы выдавать завершение, которое одобряет человеческий оценщик в изоляции. RLHF (и подобные методы настройки на человеческие предпочтения) подталкивает модели к тому, чтобы быть полезными, вежливыми, сбалансированными и кооперативными — качествами, которые хорошо оцениваются в one-shot-оценках. Это здорово для множества задач. Но это плохой дефолт в состязательных условиях, потому что систематически недооценивает эффекты второго порядка: как контрагент интерпретирует ваше сообщение, что оно сигнализирует о вашем рычаге, и как он обновит свою стратегию после его прочтения.

The core mismatch is the training signal compared to humans. Domain experts get trained by the environment: if your argument is predictable, it gets countered; if your concession leaks weakness, it gets exploited; if your email invites delay, it gets delayed. LLMs mostly learn from descriptions of those dynamics (text) and from static preference judgments about outputs2. Not from repeatedly taking actions in an environment where other agents adapt and punish predictability.3

Основное несоответствие — обучающий сигнал по сравнению с людьми. Доменных экспертов обучает среда: если ваш аргумент предсказуем, его парируют; если ваша уступка просачивает слабость, её эксплуатируют; если ваше письмо приглашает к промедлению, оно будет отложено. LLM в основном учатся из описаний этих динамик (текста) и из статичных предпочтительных оценок выходных данных2. Не из многократных действий в среде, где другие агенты адаптируются и наказывают предсказуемость.3

Hence, the model learns to imitate “what a reasonable person would say,” not to optimize “what survives contact with a self-interested opponent?”

Поэтому модель учится имитировать «что сказал бы разумный человек», а не оптимизировать «что выживет при столкновении с эгоистичным оппонентом?»

The obvious fix: prompt the model to be adversarial. Tell it to optimize for advantage, anticipate counters, hold firm.

Очевидное исправление: попросить модель в промпте быть состязательной. Сказать ей оптимизировать преимущество, предугадывать контрходы, твёрдо стоять на своём.

This helps. But it doesn’t solve the deeper problem.

Это помогает. Но не решает более глубокую проблему.

Being Modeled

Быть моделируемым

Pluribus cracked what current LLMs don’t: when you’re in an adversarial environment, your opponent is watching you and updating and you have to account for that in order to win.

Pluribus раскрыл то, что нынешние LLM не раскрывают: когда вы в состязательной среде, ваш оппонент наблюдает за вами и обновляется, и вы должны учитывать это, чтобы победить.

A human negotiator notices when the counterparty is probing. They test your reaction to an aggressive anchor. They float a deadline to see if you flinch. They ask casual questions to gauge your alternatives. Each probe updates their model of you, and they adjust accordingly.

Человек-переговорщик замечает, когда контрагент прощупывает. Он тестирует вашу реакцию на агрессивный якорь. Он плавно намекает на дедлайн, чтобы посмотреть, дрогнете ли вы. Он задаёт небрежные вопросы, чтобы оценить ваши альтернативы. Каждое прощупывание обновляет его модель вас, и он соответствующе подстраивается.

A skilled negotiator sees the probing and recalibrates. They give misleading signals. They react unexpectedly to throw off the read. The game is recursive: I’m modeling their model of me, and adjusting to corrupt it.

Умелый переговорщик видит прощупывание и перекалибровывается. Он подаёт обманчивые сигналы. Он реагирует неожиданно, чтобы сбить чтение. Игра рекурсивна: я моделирую его модель меня и подстраиваюсь, чтобы её испортить.

An LLM given an “aggressive negotiator” prompt will execute that strategy consistently. Which means a human can probe, identify the pattern, and exploit its predictability. The LLM doesn’t observe that it’s being tested. It doesn’t notice the counterparty is running experiments4. It can’t recalibrate because it doesn’t know there’s anything to recalibrate to.

LLM, которой дан промпт «агрессивный переговорщик», будет последовательно исполнять эту стратегию. Это означает, что человек может прощупывать, выявить паттерн и эксплуатировать его предсказуемость. LLM не наблюдает, что её тестируют. Она не замечает, что контрагент проводит эксперименты4. Она не может перекалиброваться, потому что не знает, что есть к чему перекалибровываться.

This is the asymmetry. LLMs are readable. The cooperative bias is detectable. The prompting strategy is consistent. And unlike Pluribus, they don’t adjust based on being observed.

В этом асимметрия. LLM читаемы. Кооперативное смещение детектируемо. Стратегия промптинга последовательна. И в отличие от Pluribus, они не подстраиваются под факт наблюдения.

Humans can model the LLM. The LLM can’t model being modeled. That gap is exploitable5, and no amount of “think strategically” prompting fixes it because the model doesn’t know what the adversary has already learned about it.

Люди могут моделировать LLM. LLM не может моделировать, что её моделируют. Этот разрыв эксплуатируем5, и никакое количество промптинга «думай стратегически» этого не исправит, потому что модель не знает, что противник уже узнал о ней.

Why “More Intelligence” Isn’t the Fix

Почему «больше интеллекта» — не решение

The natural response is: surely smarter models will figure this out. Just scale everything up? More compute on more data on more parameters in pre-train, better reasoning traces6 in post-train, longer chains of thought at test-time. But, more raw IQ doesn’t fix the missing training loop even for professionals.

Естественная реакция: ну ведь более умные модели разберутся с этим. Просто масштабировать всё? Больше вычислений на больше данных на больше параметров в pre-train, лучше reasoning traces6 в post-train, более длинные chains of thought на test-time. Но больший сырой IQ не исправит отсутствующий обучающий цикл даже для профессионалов.

To behave adversarially robust by default, the model has to reliably do four things:

Чтобы вести себя состязательно устойчиво по умолчанию, модель должна надёжно делать четыре вещи:

Обнаруживать, что ситуация стратегическая (даже когда она оформлена как вежливая/кооперативная). Идентифицировать релевантных агентов и что каждый из них оптимизирует. Симулировать, как эти агенты интерпретируют сигналы и адаптируются после вашего хода. Выбирать действие, которое остаётся хорошим при правдоподобных реакциях, а не просто самое разумно звучащее завершение.

Steps 2–4 are possible with good prompting as in the example above. Step 1 is the problem. The model has no default ontology that distinguishes “cooperative task” from “task that looks cooperative but will be evaluated adversarially.”7

Шаги 2–4 возможны с хорошим промптингом, как в примере выше. Шаг 1 — проблема. У модели нет дефолтной онтологии, которая отличала бы «кооперативную задачу» от «задачи, которая выглядит кооперативной, но будет оцениваться состязательно».7

And even with recognition, the causal knowledge isn’t there. The model can be prompted to talk about competitive dynamics. It can produce text that sounds like adversarial reasoning. But the underlying knowledge is not in the training data. It’s in outcomes that were never written down.

И даже при распознавании каузального знания нет. Модель можно попросить говорить о конкурентных динамиках. Она может выдавать текст, звучащий как состязательное рассуждение. Но базового знания нет в обучающих данных. Оно в исходах, которые никогда не записывались.

The issue isn’t reasoning power. It’s the structure of the problem that is hard to define.

Проблема не в мощности рассуждений. Проблема в структуре задачи, которую трудно определить.

The Expert’s Edge

Преимущество эксперта

Domain experts say “AI won’t replace me” because they know that “producing coherent output” is table stakes.

Доменные эксперты говорят: «ИИ меня не заменит», потому что знают, что «производство связного выходного результата» — это базовый минимум.

The REAL job is produce output that achieves an objective in an environment where multiple agents are actively modeling and countering you.

НАСТОЯЩАЯ работа — выдавать результат, который достигает цели в среде, где несколько агентов активно моделируют и контратакуют вас.

Why do outsiders think AI can already do these jobs? They judge artifacts but not dynamics:

Почему посторонние думают, что ИИ уже может делать эти работы? Они судят артефакты, а не динамики:

«Этот product spec детализирован». «Это переговорное письмо звучит профессионально». «Этот макет чистый».

Experts evaluate any artifact by survival under pressure:

Эксперты оценивают любой артефакт по выживанию под давлением:

«Не сработает ли это конкретное формулирование на регулятора?» «Не уступает ли это вежливое письмо случайно рычаг?» «Не запустит ли этот макет путь инженерного вето?» «Как этот конкретный стейкхолдер интерпретирует неоднозначность?»

These are simulation-based questions. The outsider doesn’t know to ask them because they don’t have the mental model that makes them relevant.

Это вопросы, основанные на симуляции. Посторонний не знает, что их нужно задавать, потому что у него нет ментальной модели, которая делает их релевантными.

It’s like watching Pluribus play poker and evaluating only whether the bets were “reasonable.” Of course they look reasonable. The cards it shows at showdown justify the betting pattern. But the reason Pluribus wins isn’t that its bets look reasonable. its bets are calibrated to be unexploitable across all possible opponent strategies.

Это как смотреть, как Pluribus играет в покер, и оценивать только, были ли ставки «разумными». Конечно, они выглядят разумно. Карты, которые он показывает на вскрытии, оправдывают паттерн ставок. Но Pluribus выигрывает не потому, что его ставки выглядят разумно. Его ставки откалиброваны так, чтобы быть неэксплуатируемыми во всём спектре возможных стратегий оппонента.

The visible reasonableness is a side effect of deep adversarial modeling. And if you don’t know what to look for, you’ll never know it’s missing.

Видимая разумность — побочный эффект глубокого состязательного моделирования. И если вы не знаете, на что смотреть, вы никогда не узнаете, что оно отсутствует.

Language Data Hides the Real Skill

Языковые данные скрывают настоящий навык

There’s a deeper reason LLMs are at a permanent handicap here: the thing you’re trying to learn is not fully contained in the text8. They can catch up by sheer brute force, but are far more inefficient than humans, and the debt is coming due now.

Есть более глубокая причина, по которой LLM здесь имеют перманентный гандикап: то, что вы пытаетесь выучить, не полностью содержится в тексте8. Они могут наверстать чистым перебором, но они куда менее эффективны, чем люди, и долг сейчас приходит к оплате.

When an investor publishes a thesis, consider what is not in it:

Когда инвестор публикует тезис, подумайте о том, чего в нём нет:

Размер позиции, ограничивающий риск. Тайминг, который избежал телеграфирования намерений. Стратегическое сокрытие. Как сам тезис написан, чтобы не двигать рынок против них. Что они на самом деле сделали бы, если бы оказались неправы завтра.

Text is the residue of action. The real competence is the counterfactual recursive loop: what would I do if they do this? what does my move cause them to do next? what does it reveal about me? That loop is the engine of adversarial expertise, and it’s weakly revealed by corpora.

Текст — это остаток действия. Настоящая компетенция — это контрфактуальный рекурсивный цикл: что бы я сделал, если бы они сделали это? Что мой ход заставит их сделать дальше? Что он раскрывает обо мне? Этот цикл — двигатель состязательной экспертизы, и он слабо отражён в корпусах.

This is why models can recite game theory but still write the “nice email” that leaks leverage. They’ve learned the language of strategy more than the dynamics of strategy.

Вот почему модели могут декламировать теорию игр, но всё равно писать «милое письмо», просачивающее рычаг. Они выучили язык стратегии больше, чем динамику стратегии.

This is what domain expertise really is. Not a larger knowledge base. Not faster reasoning. It’s a high-resolution simulation of an ecosystem of agents who are all simultaneously modeling each other. And that simulation lives in heads, not in documents. The text is just the move that got documented. The theory that generated it is called skill.

Вот что такое доменная экспертиза на самом деле. Не более крупная база знаний. Не более быстрые рассуждения. Это высокого разрешения симуляция экосистемы агентов, которые все одновременно моделируют друг друга. И эта симуляция живёт в головах, не в документах. Текст — это просто ход, который был задокументирован. Теория, которая его породила, называется навыком.

LLMs dominate chess-like domains

LLM доминируют в шахматоподобных доменах

Not every domain follows poker dynamics. You have certain fields very close to chess, and LLMs are already poised to be successful in them.

Не каждый домен следует покерным динамикам. Есть определённые области, очень близкие к шахматам, и LLM уже готовы в них преуспевать.

Writing code is probably the most clear example:

Написание кода — вероятно, самый ясный пример:

Система детерминирована. Правила фиксированы и явны. Нет скрытого состояния, которое важно. Корректность объективна и верифицируема. Ни один агент активно не пытается контратаковать модель.

The same “closed world” structure shows up in others: Math / Formal proofs, data transformation, translation, factual research, compliance heavy clerical work (invoice matching, reconciliation), where you can iterate towards the right move without needing a “theory of the mind”.

The important caveat is that many domains are chess-like in their technical core but become poker-like in their operational context.

Та же структура «закрытого мира» проявляется в других областях: математика/формальные доказательства, преобразование данных, перевод, фактологические исследования, тяжёлая клерикальная работа, связанная с комплаенсом (сверка счетов, реконсиляция), — там, где можно итерировать к правильному ходу без необходимости в «теории разума». Важная оговорка: многие домены шахматоподобны в своём техническом ядре, но становятся покероподобными в операционном контексте.

Professional software engineering extends well beyond the chess-like core. Understanding ambiguous requirements means modeling what the stakeholder actually wants versus what they said. Writing good APIs means anticipating how other developers will misuse them. Code review is social: you’re modeling reviewers’ preferences and concerns. Architectural decisions account for unknown future requirements and organizational politics. That is, the parts outsiders don’t see but senior engineers spend much of their time simulating.

Профессиональная разработка ПО выходит далеко за пределы шахматоподобного ядра. Понимание неоднозначных требований означает моделирование того, чего стейкхолдер на самом деле хочет, против того, что он сказал. Написание хороших API означает предугадывание того, как другие разработчики их неправильно используют. Code review — социален: вы моделируете предпочтения и опасения ревьюеров. Архитектурные решения учитывают неизвестные будущие требования и организационную политику. То есть те части, которых посторонние не видят, но на симуляцию которых senior-инженеры тратят большую часть своего времени.

The parts that look like the job are chess (like). The parts that are the job are poker.

Те части, которые выглядят как работа, — шахматные. Те части, которые являются работой, — покерные.

Difficulty is orthogonal to “openness” of a domain. Proving theorems is hard. Negotiating salary is easy. But theorem-proving is chess-shaped and negotiation is poker-shaped.

Сложность ортогональна «открытости» домена. Доказывать теоремы трудно. Договариваться о зарплате легко. Но доказательство теорем имеет шахматную форму, а переговоры — покерную.

This is why the disconnect between experts and outsiders is domain-specific. Ask a competitive programmer if AI can solve algorithm problems, and they’ll say yes because they’ve watched it happen. Ask a litigator if AI can handle depositions, and they’ll laugh because they live in a world where every word is a move against an adversary who’s modeling them back.

Вот почему разрыв между экспертами и посторонними доменно-специфичен. Спросите соревновательного программиста, может ли ИИ решать алгоритмические задачи, и он скажет «да», потому что наблюдал это. Спросите судебного юриста, может ли ИИ вести допросы, и она рассмеётся, потому что живёт в мире, где каждое слово — это ход против противника, который моделирует её в ответ.

The labs are starting to see this too. This week Google DeepMind announced they’re expanding their AI benchmarks beyond chess to poker and Werewolf - games that test “social deduction and calculated risk.” Their framing: “Chess is a game of perfect information. The real world is not.” The distinction isn’t novel. But it’s now officially what frontier AI research is bumping against.

Лаборатории тоже начинают это видеть. На этой неделе Google DeepMind объявил, что расширяет свои бенчмарки ИИ за пределы шахмат на покер и Werewolf — игры, тестирующие «социальную дедукцию и рассчитанный риск». Их формулировка: «Шахматы — игра с полной информацией. Реальный мир — нет». Различие не ново. Но теперь это официально то, во что упирается фронтирное исследование ИИ.

The Coming Collision

Грядущее столкновение

As LLMs get deployed as agents in procurement, sales, negotiation, policy, security, and competitive strategy, exploitability becomes practical. A human counterparty doesn’t need to “beat the model” intellectually. They just need to push it into its default failure modes:

По мере того как LLM развёртываются как агенты в закупках, продажах, переговорах, политике, безопасности и конкурентной стратегии, эксплуатируемость становится практической. Человеку-контрагенту не нужно «победить модель» интеллектуально. Ему просто нужно подтолкнуть её к её дефолтным режимам отказа:

Агрессивные стартовые позиции, зная, что модель якорится в сторону уступчивости. Неоднозначность, зная, что модель разрешает её в благоприятном ключе. Блефы, зная, что модель воспринимает заявления как чистую монету. Прощупывания, зная, что модель не адаптируется к тому, что её читают.

This is Pluribus in reverse. In poker, the AI won by being unreadable. In many real deployments, the model is readable: it’s optimized to be agreeable and helpful, and its tell is that it tries to be fair.

Это Pluribus наоборот. В покере ИИ выиграл, будучи нечитаемым. Во многих реальных развёртываниях модель читаема: она оптимизирована быть приятной и полезной, и её tell — то, что она пытается быть справедливой.

If this sounds speculative, consider that every poker pro, every experienced negotiator, every litigator already does this instinctively. They read their counterparty. They probe for patterns. They exploit consistency. The only question is how long before they realize LLM agents are the most consistent, most readable counterparties they’ve ever faced.

Если это звучит спекулятивно, учтите, что каждый профессионал в покере, каждый опытный переговорщик, каждый судебный юрист уже делает это инстинктивно. Они читают контрагента. Они прощупывают паттерны. Они эксплуатируют последовательность. Единственный вопрос — как скоро они осознают, что LLM-агенты — самые последовательные, самые читаемые контрагенты, с которыми они когда-либо сталкивались.

Training for the next state prediction

Обучение для предсказания следующего состояния

The fix is a different training loop. We need models trained on the question humans actually optimize: what happens after my move? Grade the model on outcomes (did you get the review, did you concede leverage, did you get exploited), not on whether the message sounded reasonable.

Решение — другой обучающий цикл. Нам нужны модели, обученные на том вопросе, который люди на самом деле оптимизируют: что происходит после моего хода? Оценивать модель по исходам (получили ли вы review, уступили ли вы рычаг, были ли вы эксплуатированы), а не по тому, звучало ли сообщение разумно.

That requires multi-agent environments where other self-interested agents react, probe, and adapt. Stop treating language generation as single-agent output objective and start treating it as action in a multi-agent game with hidden state, where exploitability is a failure mode.

Это требует мультиагентных сред, где другие эгоистичные агенты реагируют, прощупывают и адаптируются. Прекратить относиться к генерации языка как к одноагентной цели вывода и начать относиться к ней как к действию в мультиагентной игре со скрытым состоянием, где эксплуатируемость — это режим отказа.

Closing the Loop

Замыкание петли

The “AI can replace your job” debate often confuses artifact quality with strategic competence. Both sides are right about what they’re looking at. They’re looking at different things.

Дебаты «ИИ может заменить вашу работу» часто путают качество артефакта со стратегической компетентностью. Обе стороны правы в том, на что они смотрят. Они смотрят на разные вещи.

LLMs can produce outputs that look expert to outsiders because outsiders grade coherence, tone, and plausibility. Experts grade robustness in adversarial multi-agent environments with hidden state.

LLM могут производить выходные данные, которые выглядят экспертно для посторонних, потому что посторонние оценивают связность, тон и правдоподобность. Эксперты оценивают устойчивость в состязательных мультиагентных средах со скрытым состоянием.

Years of operating in adversarial environments have trained them to automatically model counterparties, anticipate responses, and craft outputs robust to exploitation. They do it without thinking, because in their world, you can’t survive without it.

Годы работы в состязательных средах обучили их автоматически моделировать контрагентов, предугадывать ответы и создавать выходные данные, устойчивые к эксплуатации. Они делают это, не задумываясь, потому что в их мире без этого не выжить.

LLMs produce artifacts that look expert. They don’t yet produce moves that survive experts.

LLM производят артефакты, которые выглядят экспертно. Они пока не производят ходы, которые выживают против экспертов.

Editor: Ankit Maloo blogs at https://ankitmaloo.com/ and is working on applied RL for real world agents. Give him a follow and check out his work!

Редактор: Ankit Maloo ведёт блог по адресу https://ankitmaloo.com/ и работает над прикладным RL для агентов реального мира. Подпишитесь на него и посмотрите его работы!

Sometimes the player against you matters only in the sense that if they can’t figure out the board, you will be punished less for risky, ambitious moves.

Иногда игрок против вас имеет значение только в том смысле, что если он не может разобраться в доске, вас будут меньше наказывать за рискованные, амбициозные ходы.

One of the obvious pushbacks is directly training on outcomes and not artifacts. Hard to do in training setting when you don’t know a given email is correct until after the negotiation closes.

Один из очевидных контраргументов — обучать напрямую на исходах, а не на артефактах. Сделать это в обучающей среде сложно, когда вы не знаете, верно ли данное письмо, пока переговоры не закроются.

Editor: this is clearly in RL territory. One might comment on RLVR here being still very early and not sufficiently extended beyond math, code, and artifact rubrics rather than feeding back rewards from renvironments with other actors.

Редактор: это явно территория RL. Можно отметить, что RLVR здесь всё ещё в очень ранней стадии и недостаточно расширен за пределы математики, кода и рубрик артефактов, а не подачи наград из сред с другими актёрами.

The model can’t update when the adversary probes, because it doesn’t observe the probing as it happens. You can prompt it to anticipate one layer of response; you can’t prompt it to adapt mid-interaction to an opponent who’s actively modeling it.

Модель не может обновиться, когда противник прощупывает, потому что она не наблюдает прощупывание по мере его происхождения. Можно попросить её в промпте предугадать один слой ответа; нельзя попросить её адаптироваться посреди взаимодействия к оппоненту, который активно её моделирует.

Yes, humans are also exploitable. The problem is LLMs don’t learn from getting exploited the way humans do over a career.

Да, люди тоже эксплуатируемы. Проблема в том, что LLM не учатся на том, что их эксплуатируют, так, как это делают люди за карьеру.

Reasoning models too are solipsistic. They are not thinking about you. They aren’t thinking about the counterparty’s hidden incentives or emotional deficits. Even if prompted to “consider the opposition’s perspective,” their learning is text-based. They treat social dynamics as a causal chain of words (if “sorry” → then “forgiven”), rather than a collision of incentives. But that is to do more with training data than reasoning per se.

Reasoning-модели тоже солипсистичны. Они не думают о вас. Они не думают о скрытых стимулах или эмоциональных дефицитах контрагента. Даже если их попросить в промпте «учесть перспективу оппозиции», их обучение текстовое. Они относятся к социальным динамикам как к каузальной цепочке слов (если «извини» → то «прощён»), а не как к столкновению стимулов. Но это больше связано с обучающими данными, чем с рассуждениями как таковыми.

Editor: one difference we debated in the writing process was that I don’t see a functional difference between collaborative and adversarial situations as far as needing world models/theory of mind is concerned

Редактор: одно различие, которое мы обсуждали в процессе написания, в том, что я не вижу функциональной разницы между кооперативными и состязательными ситуациями в плане необходимости моделей мира/theory of mind

Editor: at this point I’m contractually obligated to bring up Good Will Hunting and think about what Robin Williams (human) is telling Matt Damon (LLM)… except it’s not quite multiplayer or adversarial, so this is just for the footnote enjoyers like you.

Редактор: в этот момент я контрактно обязан упомянуть «Good Will Hunting» и подумать о том, что Робин Уильямс (человек) говорит Мэтту Деймону (LLM)… только это не совсем мультиплеер или состязательная ситуация, так что это просто для любителей сносок вроде вас.