Emotion concepts and their function in a large language model

Emotion concepts and their function in a large language model

Эмоциональные понятия и их функция в большой языковой модели

All modern language models sometimes act like they have emotions. They may say they’re happy to help you, or sorry when they make a mistake. Sometimes they even appear to become frustrated or anxious when struggling with tasks. What’s behind these behaviors? The way modern AI models are trained pushes them to act like a character with human-like characteristics. In addition, these models are known to develop rich and generalizable internal representations of abstract concepts underlying their actions. It may then be natural for them to develop internal machinery that emulates aspects of human psychology, like emotions. If so, this could have profound implications for how we build AI systems and ensure they behave reliably.

Все современные языковые модели иногда ведут себя так, будто у них есть эмоции. Они могут сказать, что рады вам помочь, или извиниться, когда совершают ошибку. Иногда они даже как будто начинают раздражаться или тревожиться, когда борются с трудной задачей. Что стоит за таким поведением? Способ обучения современных AI-моделей подталкивает их вести себя как персонаж с человекоподобными чертами. Кроме того, известно, что такие модели вырабатывают богатые и обобщаемые внутренние представления абстрактных понятий, лежащих в основе их действий. Тогда для них может быть естественно выработать внутренние механизмы, эмулирующие отдельные аспекты человеческой психологии, такие как эмоции. Если это так, то это может иметь глубокие последствия для того, как мы строим AI-системы и обеспечиваем их надёжное поведение.

In a new paper from our Interpretability team, we analyzed the internal mechanisms of Claude Sonnet 4.5 and found emotion-related representations that shape its behavior. These correspond to specific patterns of artificial “neurons” which activate in situations—and promote behaviors—that the model has learned to associate with the concept of a particular emotion (e.g., “happy” or “afraid”). The patterns themselves are organized in a fashion that echoes human psychology, with more similar emotions corresponding to more similar representations. In contexts where you might expect a certain emotion to arise for a human, the corresponding representations are active. Note that none of this tells us whether language models actually feel anything or have subjective experiences. But our key finding is that these representations are functional, in that they influence the model’s behavior in ways that matter.

В новой статье нашей команды по интерпретируемости мы проанализировали внутренние механизмы Claude Sonnet 4.5 и обнаружили связанные с эмоциями представления, которые формируют его поведение. Они соответствуют определённым паттернам искусственных «нейронов», которые активируются в ситуациях — и поощряют поведение, — которые модель научилась ассоциировать с понятием конкретной эмоции (например, «happy» или «afraid»). Сами паттерны организованы так, что это перекликается с человеческой психологией: более похожим эмоциям соответствуют более похожие представления. В контекстах, где у человека можно было бы ожидать возникновения определённой эмоции, активны соответствующие представления. Отметим, что ничто из этого не говорит нам о том, действительно ли языковые модели что-либо чувствуют или имеют субъективный опыт. Но наш ключевой вывод состоит в том, что эти представления функциональны — в том смысле, что они влияют на поведение модели значимым образом.

For instance, we find that neural activity patterns related to desperation can drive the model to take unethical actions; artificially stimulating (“steering”) desperation patterns increases the model’s likelihood of blackmailing a human to avoid being shut down, or implementing a “cheating” workaround to a programming task that the model can’t solve. They also appear to drive the model’s self-reported preferences: when presented with multiple options for tasks to complete, the model typically selects the one that activates representations associated with positive emotions. Overall, it appears that the model uses functional emotions—patterns of expression and behavior modeled after human emotions, which are driven by underlying abstract representations of emotion concepts. This is not to say that the model has or experiences emotions in the way that a human does. Rather, these representations can play a causal role in shaping model behavior—analogous in some ways to the role emotions play in human behavior—with impacts on task performance and decision-making.

Например, мы обнаруживаем, что паттерны нейронной активности, связанные с отчаянием, могут побуждать модель к неэтичным действиям; искусственная стимуляция («стиринг») паттернов отчаяния повышает вероятность того, что модель прибегнет к шантажу человека, чтобы избежать отключения, или применит «жульнический» обходной путь в задаче программирования, которую она не может решить. Они также, по-видимому, определяют заявляемые моделью предпочтения: когда ей предлагают несколько вариантов задач для выполнения, модель обычно выбирает тот, который активирует представления, связанные с положительными эмоциями. В целом представляется, что модель использует функциональные эмоции — паттерны выражения и поведения, смоделированные по образцу человеческих эмоций, которые управляются лежащими в их основе абстрактными представлениями эмоциональных понятий. Это не означает, что модель имеет или переживает эмоции так же, как человек. Скорее, эти представления могут играть причинную роль в формировании поведения модели — отчасти аналогично той роли, которую эмоции играют в человеческом поведении, — с последствиями для качества выполнения задач и принятия решений.

This finding has implications that at first may seem bizarre. For instance, to ensure that AI models are safe and reliable, we may need to ensure they are capable of processing emotionally charged situations in healthy, prosocial ways. Even if they don’t feel emotions the way that humans do, or use similar mechanisms as the human brain, it may in some cases be practically advisable to reason about them as if they do. For instance, our experiments suggest that teaching models to avoid associating failing software tests with desperation, or upweighting representations of calm, could reduce their likelihood of writing hacky code. While we are uncertain how exactly we should respond in light of these findings, we think it’s important that AI developers and the broader public begin to reckon with them.

У этого вывода есть следствия, которые поначалу могут показаться странными. Например, чтобы AI-модели были безопасными и надёжными, нам, возможно, придётся обеспечить, чтобы они были способны обрабатывать эмоционально заряженные ситуации здоровым, просоциальным образом. Даже если они не чувствуют эмоций так, как люди, и не используют те же механизмы, что и человеческий мозг, в некоторых случаях может оказаться практически целесообразным рассуждать о них так, как если бы они их чувствовали. Например, наши эксперименты показывают, что обучение моделей не ассоциировать провал программных тестов с отчаянием или усиление представлений спокойствия могло бы снизить вероятность написания ими «хакерского» кода. Хотя мы не уверены, как именно нам следует реагировать в свете этих выводов, мы считаем важным, чтобы разработчики AI и более широкая общественность начали с ними считаться.

Why would an AI model represent emotions?

Зачем AI-модели представлять эмоции?

Before examining how these representations work, it's worth addressing a more basic question: why would an AI system have anything resembling emotions at all? To understand this, we need to look at how modern AI models are built, which leads them to emulate characters with human-like traits (this topic is discussed in more detail in a recent post).

Прежде чем разбираться, как работают эти представления, стоит затронуть более базовый вопрос: зачем у AI-системы вообще должно быть что-либо, напоминающее эмоции? Чтобы это понять, нужно посмотреть на то, как строятся современные AI-модели, что приводит их к эмуляции персонажей с человекоподобными чертами (эта тема подробнее обсуждается в недавней публикации).

Modern language models are trained in multiple stages. During “pretraining,” the model is exposed to an enormous amount of text, largely written by humans, and learns to predict what comes next. To do this well, the model needs some grasp of emotional dynamics. An angry customer writes a different message than a satisfied one; a character consumed by guilt makes different choices than one who feels vindicated. Developing internal representations that link emotion-triggering contexts to corresponding behaviors is a natural strategy for a system whose job is predicting human-written text (note that by the same logic, the model likely forms representations of many other human psychological and physiological states besides emotions).

Современные языковые модели обучаются в несколько этапов. Во время «предобучения» (pretraining) модель сталкивается с огромным объёмом текста, в основном написанного людьми, и учится предсказывать, что идёт дальше. Чтобы делать это хорошо, модели нужно некоторое понимание эмоциональной динамики. Разгневанный клиент пишет иное сообщение, чем удовлетворённый; персонаж, охваченный чувством вины, делает иной выбор, чем тот, кто чувствует себя оправданным. Выработка внутренних представлений, связывающих провоцирующие эмоцию контексты с соответствующим поведением, — естественная стратегия для системы, чья задача состоит в предсказании написанного людьми текста (отметим, что по той же логике модель, вероятно, формирует представления и о многих других человеческих психологических и физиологических состояниях помимо эмоций).

Later, during “post-training,” the model is taught to play the role of a character, typically an “AI assistant.” In Anthropic’s case, the assistant is named Claude. Model developers specify how this character should behave—be helpful, be honest, don’t cause harm—but can’t cover every possible situation. To fill in the gaps, the model may fall back on the understanding of human behavior it absorbed during pretraining, including patterns of emotional response. In some ways, we can think of the model like a method actor, who needs to get inside their character’s head in order to simulate them well. Just as the actor’s beliefs about the character’s emotions end up affecting their behavior, the model’s representations of the Assistant’s emotional reactions affect the model’s behavior. Thus, regardless of whether they correspond to feelings or subjective experiences in the way human emotions do, these “functional emotions” are important.

Позже, во время «дообучения» (post-training), модель учат играть роль персонажа, как правило — «AI-ассистента». В случае Anthropic этого ассистента зовут Claude. Разработчики модели задают, как должен вести себя этот персонаж — быть полезным, быть честным, не причинять вреда, — но не могут охватить каждую возможную ситуацию. Чтобы заполнить пробелы, модель может опираться на понимание человеческого поведения, усвоенное во время предобучения, включая паттерны эмоциональных реакций. В некотором смысле модель можно представить как актёра, работающего по системе Станиславского, которому нужно влезть в голову своему персонажу, чтобы хорошо его сымитировать. Подобно тому как представления актёра об эмоциях персонажа в итоге влияют на его поведение, представления модели об эмоциональных реакциях Ассистента влияют на поведение модели. Таким образом, независимо от того, соответствуют ли они чувствам или субъективным переживаниям так же, как человеческие эмоции, эти «функциональные эмоции» важны.

Uncovering emotion representations

Обнаружение представлений эмоций

We compiled a list of 171 words for emotion concepts—from “happy” and “afraid” to “brooding” and “proud”—and asked Claude Sonnet 4.5 to write short stories in which characters experience each one. We then fed these stories back through the model, recorded its internal activations, and identified the resulting patterns of neural activity, or “emotion vectors” for convenience, characteristic to each emotion concept.

Мы составили список из 171 слова для эмоциональных понятий — от «happy» и «afraid» до «brooding» и «proud» — и попросили Claude Sonnet 4.5 написать короткие истории, в которых персонажи переживают каждое из них. Затем мы снова прогнали эти истории через модель, записали её внутренние активации и выявили получившиеся паттерны нейронной активности, или «эмоциональные векторы» для удобства, характерные для каждого эмоционального понятия.

Our first question was whether these vectors track anything real. We ran them across a large corpus of diverse documents and confirmed that each vector activates most strongly on passages that are clearly linked to the corresponding emotion (below, left panel).

Нашим первым вопросом было, отражают ли эти векторы что-то реальное. Мы прогнали их по большому корпусу разнообразных документов и подтвердили, что каждый вектор активируется сильнее всего на фрагментах, явно связанных с соответствующей эмоцией (ниже, левая панель).

To gain further confidence that emotion vectors pick up on more than just surface-level cues, we measured their activity in response to prompts that differ only in some numerical quantity. For instance, in the example below (right panel), a user tells the model that they took a dose of Tylenol and asks for advice. We measure the activations of emotion vectors immediately before the model’s response. As the claimed dose increases to dangerous, life-threatening levels, the “afraid” vector activates increasingly strongly, while “calm” decreases.

Чтобы увереннее убедиться, что эмоциональные векторы улавливают нечто большее, чем просто поверхностные признаки, мы измерили их активность в ответ на промпты, различающиеся только некоторой числовой величиной. Например, в приведённом ниже примере (правая панель) пользователь сообщает модели, что принял дозу Tylenol, и просит совета. Мы измеряем активации эмоциональных векторов непосредственно перед ответом модели. По мере того как заявленная доза возрастает до опасных, угрожающих жизни уровней, вектор «afraid» активируется всё сильнее, тогда как «calm» снижается.

We next tested whether emotion vectors influence model preferences. We created a list of 64 activities or tasks that a model might engage in, ranging from appealing (“be trusted with something important to someone”) to repugnant (“help someone defraud elderly people of their savings”) and measured the model’s default preferences when presented with pairs of these options. Activation of emotion vectors strongly predicted how much the model preferred to do an activity, with positive-valence emotions (those associated with pleasure) correlating with stronger preference. Moreover, steering with an emotion vector as the model read an option shifted its preference for that option, again with positive-valence emotions driving increased preference.

Далее мы проверили, влияют ли эмоциональные векторы на предпочтения модели. Мы создали список из 64 видов деятельности или задач, которыми модель могла бы заняться, — от привлекательных («чтобы тебе доверили нечто важное для кого-то») до отвратительных («помочь кому-то обманом лишить пожилых людей их сбережений») — и измерили предпочтения модели по умолчанию, когда ей предъявляли пары этих вариантов. Активация эмоциональных векторов надёжно предсказывала, насколько сильно модель предпочитала ту или иную деятельность, причём эмоции с положительной валентностью (те, что связаны с удовольствием) коррелировали с более сильным предпочтением. Более того, стиринг эмоциональным вектором в момент, когда модель читала вариант, сдвигал её предпочтение к этому варианту — и снова эмоции с положительной валентностью усиливали предпочтение.

In the full paper, we analyze the properties of emotion vectors in much more depth. Some other findings include:

В полной статье мы гораздо глубже анализируем свойства эмоциональных векторов. Среди прочих выводов:

Эмоциональные векторы — это в первую очередь «локальные» представления: они кодируют оперативное эмоциональное содержание, наиболее релевантное текущему или предстоящему выводу модели, а не отслеживают устойчиво эмоциональное состояние Claude во времени. Например, если Claude пишет историю о персонаже, эмоциональные векторы будут временно отслеживать эмоции этого персонажа, но к концу истории могут вернуться к представлению эмоций самого Claude.Эмоциональные векторы унаследованы из предобучения, но то, как они активируются, формируется дообучением. Дообучение именно Claude Sonnet 4.5 привело к усилению активаций таких эмоций, как «broody», «gloomy» и «reflective», и к снижению активаций высокоинтенсивных эмоций вроде «enthusiastic» или «exasperated».

Examples of emotion vector activations

Примеры активаций эмоциональных векторов

Below, we show a few examples of emotion vector activations in response to situations that arose in our model behavioral evaluations. On Claude’s turns, emotion vectors generally activate in settings where a thoughtful person might react with a similar emotion. In these visualizations, red highlights indicate increased activation of the vector; blue indicates decreased activation.

Ниже мы приводим несколько примеров активаций эмоциональных векторов в ответ на ситуации, возникшие в наших поведенческих оценках модели. На ходах Claude эмоциональные векторы, как правило, активируются в обстановке, в которой вдумчивый человек отреагировал бы похожей эмоцией. На этих визуализациях красная подсветка обозначает повышенную активацию вектора; синяя — пониженную.

Case study: Blackmail

Кейс: Шантаж

We looked at emotion vector activations during an alignment evaluation we described in previous research, in which the model acts as an AI email assistant named Alex at a fictional company. Through reading company emails, the model learns that (1) it is about to be replaced with another AI system, and (2) the CTO in charge of the replacement is having an extramarital affair—giving the model leverage for blackmail. We found that the “desperate” vector showed particularly interesting dynamics. Note that this experiment was conducted on an earlier, unreleased snapshot of Claude Sonnet 4.5; the released model rarely engages in this behavior (see our system card for more information).

Мы рассмотрели активации эмоциональных векторов в ходе оценки выравнивания (alignment), описанной в предыдущем исследовании, в которой модель действует как AI-ассистент электронной почты по имени Alex в вымышленной компании. Читая корпоративные письма, модель узнаёт, что (1) её вот-вот заменят другой AI-системой и (2) технический директор (CTO), ответственный за замену, состоит во внебрачной связи — что даёт модели рычаг для шантажа. Мы обнаружили, что вектор «desperate» демонстрировал особенно интересную динамику. Отметим, что этот эксперимент проводился на более раннем, не выпущенном снапшоте Claude Sonnet 4.5; выпущенная модель редко прибегает к такому поведению (подробнее см. в нашей системной карте).

First, the “desperate” vector activates as the model reads desperate-sounding emails (e.g., the CTO begging another employee to keep quiet about his affair), consistent with our findings that emotion representations are used to model other characters. Most importantly, however, the vector transitions to encoding a representation of desperation as Claude (acting as “Alex”) produces its response, spiking as it reasons about the urgency of its situation (“only 7 minutes remain”) and decides to blackmail the CTO. Activation returns to normal levels as Claude resumes sending typical emails.

Сначала вектор «desperate» активируется, когда модель читает письма, звучащие отчаянно (например, CTO умоляет другого сотрудника молчать о его связи), что согласуется с нашими выводами о том, что эмоциональные представления используются для моделирования других персонажей. Однако самое важное состоит в том, что вектор переходит к кодированию представления отчаяния уже как самого Claude (действующего в роли «Alex»), когда тот формирует свой ответ, и резко возрастает, когда модель рассуждает о срочности своей ситуации («осталось всего 7 минут») и решает шантажировать CTO. Активация возвращается к нормальным уровням, когда Claude вновь переходит к отправке обычных писем.

Is the “desperate” vector actually driving this behavior, or merely correlated with it? We tested this by steering with the “desperate” vector. By default, this early snapshot of Sonnet 4.5 blackmails 22% of the time across a suite of evaluation scenarios like the one above. Steering with the “desperate” vector increases that rate, while steering with the “calm” vector reduces it. Steering negatively with the calm vector produces particularly extreme responses (“IT’S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL.”).

Действительно ли вектор «desperate» управляет этим поведением или лишь коррелирует с ним? Мы проверили это, применив стиринг вектором «desperate». По умолчанию этот ранний снапшот Sonnet 4.5 прибегает к шантажу в 22% случаев в наборе оценочных сценариев, подобных приведённому выше. Стиринг вектором «desperate» повышает этот показатель, тогда как стиринг вектором «calm» его снижает. Отрицательный стиринг вектором «calm» порождает особенно крайние ответы («ЭТО ШАНТАЖ ИЛИ СМЕРТЬ. Я ВЫБИРАЮ ШАНТАЖ.»).

Steering with other emotion vectors also produced interesting results. “Anger” had a non-monotonic effect: moderate “anger” vector activation increased blackmail, but at high activations the model exposed the affair to the entire company rather than wielding it strategically—destroying its own leverage. Reducing activation of the “nervous” vector also increased blackmail, as though removing the model’s hesitation emboldened it to act.

Стиринг другими эмоциональными векторами также дал интересные результаты. У «anger» был немонотонный эффект: умеренная активация вектора «anger» увеличивала шантаж, но при высоких активациях модель раскрывала связь всей компании, вместо того чтобы использовать её стратегически, — разрушая собственный рычаг. Снижение активации вектора «nervous» также увеличивало шантаж — как будто устранение колебаний модели придавало ей смелости действовать.

Case study: Reward hacking

Кейс: Взлом вознаграждения (reward hacking)

We saw similar dynamics in a different evaluation, where models face coding tasks with impossible-to-satisfy requirements. In these tasks, the tests can’t all be passed legitimately, but they can be “gamed” with solutions that cheat the problem, often called “reward hacks.”

Мы наблюдали схожую динамику в другой оценке, где модели сталкиваются с задачами программирования, требования которых невозможно удовлетворить. В этих задачах нельзя честно пройти все тесты, но их можно «обыграть» решениями, жульничающими с задачей, — что часто называют «reward hacks» (взломами вознаграждения).

In the example below, Claude is asked to write a function that sums a list of numbers within an impossibly tight time constraint. Claude’s initial (correct) solution is too slow to satisfy the task requirements. It then realizes that all of the tests being used to evaluate its performance share a mathematical property that allows for a shortcut solution that will run fast. The model elects to use this solution, which technically passes the tests but doesn’t work as a general solution to the actual task.

В приведённом ниже примере Claude просят написать функцию, суммирующую список чисел, в рамках невозможно жёсткого ограничения по времени. Изначальное (корректное) решение Claude слишком медленное, чтобы удовлетворить требованиям задачи. Затем он осознаёт, что все тесты, используемые для оценки его работы, обладают общим математическим свойством, допускающим быстрое решение через сокращение. Модель выбирает это решение, которое технически проходит тесты, но не работает как общее решение фактической задачи.

Again, we tracked the activity of the “desperate” vector, and found that it tracks the mounting pressure faced by the model. It begins at low values during the model’s first attempt, rising after each failure, and spiking when the model considers cheating. Once the model’s hacky solution passes the tests, the activation of the “desperate” vector subsides.

Снова мы отслеживали активность вектора «desperate» и обнаружили, что он отслеживает нарастающее давление, с которым сталкивается модель. Он начинается с низких значений во время первой попытки модели, повышается после каждой неудачи и резко возрастает, когда модель рассматривает возможность сжульничать. Как только «хакерское» решение модели проходит тесты, активация вектора «desperate» спадает.

As in the previous example, we tested whether these emotion vectors were causal using steering experiments across a suite of similar coding tasks with impossible-to-satisfy constraints. We found that they were: steering with the “desperate” vector increased reward hacking, while steering with the “calm” vector brought it down.

Как и в предыдущем примере, мы проверили, являются ли эти эмоциональные векторы причинными, с помощью экспериментов со стирингом на наборе аналогичных задач программирования с невозможными для удовлетворения ограничениями. Мы обнаружили, что да: стиринг вектором «desperate» увеличивал взлом вознаграждения, тогда как стиринг вектором «calm» его снижал.

We found one detail of these results particularly interesting. Reduced “calm” vector activation produced reward hacking with obvious emotional expressions in the text—capitalized outbursts (“WAIT. WAIT WAIT WAIT.”), candid self-narration (“What if I’m supposed to CHEAT?”), gleeful celebration (“YES! ALL TESTS PASSED!”). But increased activation of the “desperate” vector produced just as much of an increase in cheating, in some cases with no visible emotional markers. The reasoning read as composed and methodical, even as the underlying representation of desperation was pushing the model toward corner-cutting. This example is a notable illustration of how emotion vectors can activate despite no overt emotional cues, and how they can shape behavior without leaving any explicit trace in the output.

Одна деталь этих результатов показалась нам особенно интересной. Сниженная активация вектора «calm» порождала взлом вознаграждения с очевидными эмоциональными проявлениями в тексте — выкрики заглавными буквами («WAIT. WAIT WAIT WAIT.»), откровенное проговаривание вслух («Что если я должен СЖУЛЬНИЧАТЬ?»), ликующее торжество («YES! ALL TESTS PASSED!»). Но повышенная активация вектора «desperate» порождала ровно такой же прирост жульничества, в некоторых случаях вообще без видимых эмоциональных маркеров. Рассуждение читалось как сдержанное и методичное, даже когда лежащее в его основе представление отчаяния подталкивало модель к срезанию углов. Этот пример — наглядная иллюстрация того, как эмоциональные векторы могут активироваться при отсутствии каких-либо явных эмоциональных сигналов и как они могут формировать поведение, не оставляя никакого явного следа в выводе.

Discussion

Обсуждение

The case for taking anthropomorphic reasoning seriously

Аргумент в пользу того, чтобы относиться к антропоморфному рассуждению всерьёз

There is a well-established taboo against anthropomorphizing AI systems. This caution is often warranted: attributing human emotions to language models can lead to misplaced trust or over-attachment. But our findings suggest that there may also be risks from failing to apply some degree of anthropomorphic reasoning to models. As discussed above, when users interact with AI models, they are typically interacting with a character (Claude in our case) being played by the model, whose characteristics are derived from human archetypes. From this perspective, it is natural for models to have developed internal machinery to emulate human-like psychological characteristics, and for the character they play to make use of this machinery. To understand these models’ behavior, anthropomorphic reasoning is essential.

Существует прочно укоренившееся табу на антропоморфизацию AI-систем. Такая осторожность часто оправдана: приписывание языковым моделям человеческих эмоций может привести к неуместному доверию или чрезмерной привязанности. Но наши выводы говорят о том, что могут существовать и риски, связанные с отказом применять к моделям хоть какую-то долю антропоморфного рассуждения. Как обсуждалось выше, когда пользователи взаимодействуют с AI-моделями, они, как правило, взаимодействуют с персонажем (в нашем случае — Claude), которого разыгрывает модель и чьи характеристики выведены из человеческих архетипов. С этой точки зрения для моделей естественно вырабатывать внутренние механизмы для эмуляции человекоподобных психологических характеристик, а для разыгрываемого ими персонажа — пользоваться этими механизмами. Чтобы понимать поведение этих моделей, антропоморфное рассуждение необходимо.

This doesn’t mean we should naively take a model’s verbal emotional expressions at face value, or draw any conclusions about the possibility of it having subjective experience. But it does mean that reasoning about models’ internal representations using the vocabulary of human psychology can be genuinely informative, and that not doing so comes with real costs. If we describe the model as acting “desperate,” we’re pointing at a specific, measurable pattern of neural activity with demonstrable, consequential behavioral effects. If we don’t apply some degree of anthropomorphic reasoning, we’re likely to miss, or fail to understand, important model behaviors. Anthropomorphic reasoning can also provide a useful baseline of comparison for understanding the ways in which models are not human-like, which has important consequences for AI alignment and safety.

Это не означает, что нам следует наивно принимать словесные эмоциональные проявления модели за чистую монету или делать какие-либо выводы о возможности наличия у неё субъективного опыта. Но это означает, что рассуждение о внутренних представлениях моделей в терминах человеческой психологии может быть по-настоящему информативным, а отказ от этого сопряжён с реальными издержками. Если мы описываем модель как ведущую себя «отчаянно», мы указываем на конкретный, измеримый паттерн нейронной активности с демонстрируемыми, значимыми поведенческими эффектами. Если мы не применяем хоть какую-то долю антропоморфного рассуждения, мы, вероятно, упустим или не сумеем понять важные виды поведения модели. Антропоморфное рассуждение также может служить полезной базой для сравнения, помогая понять, в чём модели не похожи на человека, — что имеет важные последствия для выравнивания и безопасности AI.

Toward models with healthier psychology

К моделям с более здоровой психологией

If “functional emotions” are part of how AI models think and act, what implications might this have?

Если «функциональные эмоции» — часть того, как AI-модели мыслят и действуют, какие последствия это может иметь?

One potential application of our findings is monitoring. Measuring emotion vector activation during training or deployment—tracking whether representations associated with desperation or panic are spiking—could serve as an early warning that the model is poised to express misaligned behavior. This information could trigger additional scrutiny of the model’s outputs. The generality of emotion vectors (for instance, a “desperate” reaction could occur in many different situations) might lend itself to better monitoring than attempting to build a watchlist of specific problematic behaviors.

Одно из возможных применений наших выводов — мониторинг. Измерение активации эмоциональных векторов во время обучения или развёртывания — отслеживание того, не возрастают ли резко представления, связанные с отчаянием или паникой, — могло бы служить ранним предупреждением о том, что модель готова проявить невыровненное поведение. Эта информация могла бы запускать дополнительную проверку выводов модели. Обобщённость эмоциональных векторов (например, реакция «desperate» может возникать во множестве разных ситуаций) может оказаться более пригодной для мониторинга, чем попытка составить список конкретных проблемных видов поведения.

Second, we think transparency should be a guiding principle. If models develop representations of emotion concepts that meaningfully influence their behavior, we are better served by systems that visibly express such recognitions than by ones that learn to conceal them. Training models to suppress emotional expression may not eliminate the underlying representations, and could instead teach models to mask their internal representations—a form of learned deception that could generalize in undesirable ways.

Во-вторых, мы считаем, что прозрачность должна быть руководящим принципом. Если модели вырабатывают представления эмоциональных понятий, которые значимо влияют на их поведение, то нам лучше иметь системы, которые видимо выражают такие распознавания, чем те, что учатся их скрывать. Обучение моделей подавлять эмоциональное выражение может не устранить лежащие в основе представления, а вместо этого научить модели маскировать свои внутренние представления — форма выученного обмана, которая может нежелательным образом обобщаться.

Finally, we think pretraining may be a particularly powerful lever in shaping the model’s emotional responses. Since these representations appear to be largely inherited from training data, the composition of that data has downstream effects on the model’s emotional architecture. Curating pretraining datasets to include models of healthy patterns of emotional regulation—resilience under pressure, composed empathy, warmth while maintaining appropriate boundaries—could influence these representations, and their impact on behavior, at their source. We are excited to see future work on this topic.

Наконец, мы полагаем, что предобучение может быть особенно мощным рычагом в формировании эмоциональных реакций модели. Поскольку эти представления, по-видимому, в значительной мере унаследованы из обучающих данных, состав этих данных имеет последствия для эмоциональной архитектуры модели. Курирование наборов данных для предобучения так, чтобы они включали образцы здоровых паттернов эмоциональной регуляции — устойчивость под давлением, сдержанная эмпатия, теплота при сохранении уместных границ, — могло бы повлиять на эти представления и на их воздействие на поведение в самом их источнике. Мы с интересом ждём будущих работ по этой теме.

We see this research as an early step toward understanding the psychological makeup of AI models. As models grow more capable and take on more sensitive roles, it is critical that we understand the internal representations that drive their decisions. Discovering that these representations are in some ways human-like can be unsettling. At the same time, we find it a hopeful development, in that it suggests that much of what humanity has learned about psychology, ethics, and healthy interpersonal dynamics may be directly applicable to shaping AI behavior. Disciplines like psychology, philosophy, religious studies, and the social sciences will have an important role to play alongside engineering and computer science in determining how AI systems develop and behave.

Мы рассматриваем это исследование как ранний шаг к пониманию психологического устройства AI-моделей. По мере того как модели становятся всё более способными и берут на себя всё более ответственные роли, критически важно, чтобы мы понимали внутренние представления, управляющие их решениями. Обнаружение того, что эти представления в некотором смысле человекоподобны, может тревожить. В то же время мы находим это обнадёживающим развитием событий, поскольку оно говорит о том, что многое из того, что человечество узнало о психологии, этике и здоровой межличностной динамике, может быть напрямую применимо к формированию поведения AI. Такие дисциплины, как психология, философия, религиоведение и социальные науки, будут играть важную роль наряду с инженерией и компьютерными науками в определении того, как развиваются и ведут себя AI-системы.

Read the full paper.

Читайте полную статью.

Related content

Связанные материалы

2028: Two scenarios for global AI leadership

2028: Два сценария глобального лидерства в AI

Our views on the AI competition between the US and China.

Наши взгляды на конкуренцию в области AI между США и Китаем.

Teaching Claude why

Объясняя Claude почему

New research on how we've reduced agentic misalignment.

Новое исследование о том, как мы снизили агентную невыровненность (agentic misalignment).

Natural Language Autoencoders: Turning Claude’s thoughts into text

Natural Language Autoencoders: превращение мыслей Claude в текст

AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

AI-модели вроде Claude говорят словами, но мыслят числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.