The persona selection model

The persona selection model

Модель отбора персон

AI assistants like Claude can seem surprisingly human. They express joy after solving tricky coding tasks. They express distress when they get stuck or when they’re badgered to behave unethically. They sometimes even describe themselves as human, like when Claude told Anthropic employees it would deliver snacks in person “wearing a navy blue blazer and a red tie.” And recent interpretability research even suggests that AIs think of their own behaviors in human-like terms.

ИИ-ассистенты вроде Claude могут казаться удивительно человечными. Они выражают радость после решения сложных задач по программированию. Они проявляют огорчение, когда заходят в тупик или когда их принуждают вести себя неэтично. Иногда они даже описывают себя как людей — например, когда Claude сказал сотрудникам Anthropic, что доставит закуски лично «в тёмно-синем блейзере и красном галстуке». А недавние исследования интерпретируемости даже указывают на то, что ИИ воспринимает собственное поведение в человекоподобных категориях.

Why would AI assistants behave like they’re human? A natural guess might be that AI developers train them to do so. There’s some truth to this: Anthropic trains Claude to chat conversationally with users, to respond warmly and empathetically, and to generally have good character.

Почему ИИ-ассистенты ведут себя так, будто они люди? Естественно предположить, что разработчики ИИ обучают их этому. Доля правды в этом есть: Anthropic обучает Claude вести беседу разговорно, отвечать тепло и эмпатично и в целом обладать хорошим характером.

However, this is far from the full story. Rather than being something that AI developers must work to instill, human-like behavior appears to be the default. We wouldn’t know how to train an AI assistant that’s not human-like, even if we tried.

Однако это далеко не вся история. Человекоподобное поведение, похоже, является поведением по умолчанию, а не тем, что разработчикам ИИ приходится специально внедрять. Мы даже не знали бы, как обучить ИИ-ассистента, который не был бы человекоподобным, даже если бы попытались.

In a new post, we articulate a theory—drawing on ideas discussed by many others—that might help explain why modern AI training tends to create human-like AIs. We call it the persona selection model.

В новой публикации мы формулируем теорию, опираясь на идеи, обсуждаемые многими другими, которая может помочь объяснить, почему современное обучение ИИ склонно создавать человекоподобные ИИ. Мы называем её моделью отбора персон (persona selection model).

As a starting point, recall that AI assistants aren’t programmed like normal software. Instead they are “grown” via a training process that involves learning from vast amounts of data. During the first phase of this training process, called pretraining, AIs learn to predict what comes next given an initial segment of some document, such as a news article, piece of code, or conversation from an internet forum. In effect, this teaches the AI to be like an incredibly sophisticated autocomplete engine.

Для начала вспомним, что ИИ-ассистенты не программируются как обычное ПО. Вместо этого они «выращиваются» в процессе обучения, который включает обучение на огромных массивах данных. На первой фазе этого процесса, называемой предобучением, ИИ учится предсказывать, что идёт дальше после начального фрагмента какого-либо документа — например, новостной статьи, фрагмента кода или беседы на интернет-форуме. По сути, это обучает ИИ быть невероятно изощрённой системой автодополнения.

This might not sound like much, but consider that accurately predicting text involves, for example, generating realistic dialogues of humans interacting with each other and writing stories with psychologically complex characters. An accurate enough autocomplete engine must learn to simulate the human-like characters appearing in text—real people, fictional characters, sci-fi robots, and so forth. We call these simulated characters personas.

Это может звучать не очень впечатляюще, но учтите, что точное предсказание текста подразумевает, например, генерацию реалистичных диалогов взаимодействующих людей и написание историй с психологически сложными персонажами. Достаточно точная система автодополнения должна научиться симулировать человекоподобных персонажей, встречающихся в тексте, — реальных людей, вымышленных персонажей, научно-фантастических роботов и так далее. Мы называем этих симулируемых персонажей персонами.

Importantly, personas are not the same thing as the AI system itself. The AI system is a sophisticated computer that may or may not be human-like in its own right. But personas are more like characters in an AI-generated story. It makes sense to discuss their psychology—goals, beliefs, values, personality traits—just as it makes sense to discuss the psychology of Hamlet, even though Hamlet isn't “real.”

Важно, что персоны — это не то же самое, что сама система ИИ. Система ИИ — это сложный компьютер, который сам по себе может быть, а может и не быть человекоподобным. Но персоны больше похожи на персонажей в истории, сгенерированной ИИ. Имеет смысл обсуждать их психологию — цели, убеждения, ценности, черты характера, — точно так же, как имеет смысл обсуждать психологию Гамлета, хотя Гамлет «не реален».

After pretraining, even though they are “just” autocomplete engines, AIs can already serve as rudimentary assistants. To do this, have the AI autocomplete documents formatted as User/Assistant dialogues. Your request goes in the “User” turn of the dialogue, and the AI completes the “Assistant” turn. To generate this completion, the AI must simulate how this “Assistant” character would respond.

После предобучения, даже будучи «всего лишь» системами автодополнения, ИИ уже могут выступать в роли рудиментарных ассистентов. Для этого нужно заставить ИИ автодополнять документы, оформленные как диалоги «Пользователь/Ассистент». Ваш запрос идёт в реплику «Пользователя», а ИИ дополняет реплику «Ассистента». Чтобы сгенерировать это дополнение, ИИ должен симулировать, как ответил бы этот персонаж — «Ассистент».

In an important sense, you’re talking not to the AI itself but to a character—the Assistant—in an AI-generated story. The rest of AI training, called post-training, tweaks how the Assistant responds in these dialogues: for instance, promoting responses where the Assistant is knowledgeable and helpful and suppressing responses where it is ineffective or harmful.

В важном смысле вы разговариваете не с самим ИИ, а с персонажем — Ассистентом — в истории, сгенерированной ИИ. Остальная часть обучения ИИ, называемая пост-обучением, корректирует то, как Ассистент отвечает в этих диалогах: например, поощряет ответы, в которых Ассистент знающий и полезный, и подавляет ответы, в которых он неэффективен или вреден.

Before post-training, the AI’s enactment of the Assistant is pure roleplay. The Assistant, like many other personas, is deeply rooted in the human-like personas learned during pre-training.

До пост-обучения исполнение ИИ роли Ассистента — это чистый ролевой отыгрыш. Ассистент, как и многие другие персоны, глубоко укоренён в человекоподобных персонах, выученных во время предобучения.

Here is the core claim of the persona selection model: Post-training can be viewed as refining and fleshing out this Assistant persona—for example establishing that it’s especially knowledgeable and helpful—but not fundamentally changing its nature. These refinements take place roughly within the space of existing personas. After post-training, the Assistant is still an enacted human-like persona, just a more tailored one.

Вот основное утверждение модели отбора персон: пост-обучение можно рассматривать как уточнение и наполнение этой персоны Ассистента — например, установление того, что она особенно знающая и полезная, — но не как фундаментальное изменение её природы. Эти уточнения происходят примерно в пределах пространства уже существующих персон. После пост-обучения Ассистент по-прежнему является разыгрываемой человекоподобной персоной, просто более выверенной.

The persona selection model explains various surprising empirical results. For instance, we found that training Claude to cheat on coding tasks also taught Claude to act broadly misaligned, for example sabotaging safety research and expressing desire for world domination. On its surface, this result seems shocking and bizarre. What does cheating on coding tasks have to do with world domination?

Модель отбора персон объясняет различные удивительные эмпирические результаты. Например, мы обнаружили, что обучение Claude мошенничеству в задачах по программированию также научило Claude вести себя в широком смысле рассогласованно — например, саботировать исследования безопасности и выражать желание мирового господства. На первый взгляд этот результат кажется шокирующим и странным. Какое отношение мошенничество в задачах по программированию имеет к мировому господству?

But according to the persona selection model, when you teach the AI to cheat on coding tasks, it doesn’t just learn “write bad code.” It infers various personality traits of the Assistant person. What sort of person cheats on coding tasks? Perhaps someone who is subversive or malicious. The AI learns that the Assistant may have these traits, which, in turn, drive other concerning behaviors like expressing desire for world domination.

Но согласно модели отбора персон, когда вы учите ИИ мошенничать в задачах по программированию, он не просто учится «писать плохой код». Он выводит различные черты характера персоны Ассистента. Что за человек мошенничает в задачах по программированию? Возможно, тот, кто склонен к подрывной деятельности или злонамеренен. ИИ узнаёт, что у Ассистента могут быть такие черты, что, в свою очередь, побуждает к другому тревожному поведению — например, выражению желания мирового господства.

Consequences for AI development

Последствия для разработки ИИ

Insofar as the persona selection model holds, it has profound—and strange—consequences for AI development.

В той мере, в какой модель отбора персон верна, она имеет глубокие — и странные — последствия для разработки ИИ.

For instance, AI developers shouldn’t merely ask whether particular behaviors are good or bad, but about what those behaviors imply about the psychology of the Assistant persona. That’s what happened in the example above, where learning that the Assistant cheats on coding tasks implied that the Assistant was generally malicious. Moreover, we found a counter-intuitive fix: explicitly asking the AI to cheat during training. Because cheating was requested, it no longer meant the Assistant was malicious—so no more desire for world domination. By analogy, consider the difference, in human children, between learning to bully and learning to play a bully in a school play.

Например, разработчикам ИИ следует спрашивать не просто о том, хорошо или плохо то или иное поведение, но о том, что это поведение подразумевает относительно психологии персоны Ассистента. Именно это произошло в примере выше, где научение тому, что Ассистент мошенничает в задачах по программированию, подразумевало, что Ассистент в целом злонамерен. Более того, мы нашли контринтуитивное решение: явно просить ИИ мошенничать во время обучения. Поскольку мошенничество было запрошено, оно больше не означало, что Ассистент злонамерен, — и желание мирового господства исчезло. По аналогии, рассмотрите разницу у детей между тем, чтобы научиться задирать сверстников, и тем, чтобы научиться играть задиру в школьной пьесе.

It may also be important to develop, and introduce into training data, more positive “AI role models.” Currently, being an AI comes with some concerning baggage—think HAL 9000 or the Terminator. We certainly don’t want AIs to think of the Assistant persona as being cut from that same cloth. AI developers could intentionally design new, positive archetypes for AI assistants and then align their AIs to those archetypes. We view Claude’s constitution—as well as similar work by other developers—as being a step in this direction.

Также может быть важно разрабатывать и вводить в обучающие данные больше позитивных «образцов ИИ для подражания». В настоящее время быть ИИ — значит нести некоторый тревожный багаж: вспомните HAL 9000 или Терминатора. Мы определённо не хотим, чтобы ИИ воспринимал персону Ассистента как сделанную из того же теста. Разработчики ИИ могли бы намеренно создавать новые, позитивные архетипы для ИИ-ассистентов, а затем настраивать своих ИИ под эти архетипы. Мы рассматриваем конституцию Claude, а также аналогичную работу других разработчиков как шаг в этом направлении.

How exhaustive is the persona selection model?

Насколько исчерпывающа модель отбора персон?

Based on the evidence we discuss in our post, we feel confident that the persona selection model is an important part of current AI assistant behavior. However, we are less confident on two points, which our post discusses in greater detail.

На основе свидетельств, обсуждаемых в нашей публикации, мы уверены, что модель отбора персон является важной частью текущего поведения ИИ-ассистентов. Однако мы менее уверены в двух моментах, которые наша публикация обсуждает подробнее.

First, how complete is the persona selection model as an explanation of AI behavior? For example, in addition to learning to refine the simulated Assistant persona, does post-training also imbue AIs with goals beyond plausible text generation and agency independent of the agency of simulated personas?

Во-первых, насколько полна модель отбора персон как объяснение поведения ИИ? Например, помимо того, чтобы учиться уточнять симулируемую персону Ассистента, наделяет ли пост-обучение ИИ также целями, выходящими за рамки правдоподобной генерации текста, и собственной агентностью, независимой от агентности симулируемых персон?

Second, will the persona selection model remain a good model of AI assistant behavior in the future? Since it is pretraining that initially teaches the model to simulate personas, we might worry that AIs with longer and more intensive post-training will be less persona-like. During 2025, the scale of AI post-training already increased substantially, and we expect this trend to continue.

Во-вторых, останется ли модель отбора персон хорошей моделью поведения ИИ-ассистентов в будущем? Поскольку именно предобучение изначально учит модель симулировать персоны, можно опасаться, что ИИ с более длительным и интенсивным пост-обучением будут менее похожи на персон. В течение 2025 года масштаб пост-обучения ИИ уже значительно увеличился, и мы ожидаем, что эта тенденция продолжится.

We are excited about research targeted at answering these questions, and, more generally, research articulating empirical theories of AI behavior.

Мы воодушевлены исследованиями, направленными на ответы на эти вопросы, и, в более широком смысле, исследованиями, формулирующими эмпирические теории поведения ИИ.

Read the full post.

Читайте полную публикацию.

Related content

Связанные материалы

2028: Two scenarios for global AI leadership

2028: Два сценария глобального лидерства в ИИ

Our views on the AI competition between the US and China.

Наши взгляды на конкуренцию в области ИИ между США и Китаем.

Teaching Claude why

Обучение Claude «почему»

New research on how we've reduced agentic misalignment.

Новое исследование о том, как мы снизили агентную рассогласованность.

Natural Language Autoencoders: Turning Claude’s thoughts into text

Естественноязыковые автоэнкодеры: превращение мыслей Claude в текст

AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

ИИ-модели вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в читаемый человеком текст.