Emotion concepts and their function in a large language model

Эмоциональные понятия и их функция в большой языковой модели

Все современные языковые модели иногда ведут себя так, будто у них есть эмоции. Они могут сказать, что рады вам помочь, или извиниться, когда совершают ошибку. Иногда они даже как будто начинают раздражаться или тревожиться, когда борются с трудной задачей. Что стоит за таким поведением? Способ обучения современных AI-моделей подталкивает их вести себя как персонаж с человекоподобными чертами. Кроме того, известно, что такие модели вырабатывают богатые и обобщаемые внутренние представления абстрактных понятий, лежащих в основе их действий. Тогда для них может быть естественно выработать внутренние механизмы, эмулирующие отдельные аспекты человеческой психологии, такие как эмоции. Если это так, то это может иметь глубокие последствия для того, как мы строим AI-системы и обеспечиваем их надёжное поведение.

В новой статье нашей команды по интерпретируемости мы проанализировали внутренние механизмы Claude Sonnet 4.5 и обнаружили связанные с эмоциями представления, которые формируют его поведение. Они соответствуют определённым паттернам искусственных «нейронов», которые активируются в ситуациях — и поощряют поведение, — которые модель научилась ассоциировать с понятием конкретной эмоции (например, «happy» или «afraid»). Сами паттерны организованы так, что это перекликается с человеческой психологией: более похожим эмоциям соответствуют более похожие представления. В контекстах, где у человека можно было бы ожидать возникновения определённой эмоции, активны соответствующие представления. Отметим, что ничто из этого не говорит нам о том, действительно ли языковые модели что-либо чувствуют или имеют субъективный опыт. Но наш ключевой вывод состоит в том, что эти представления функциональны — в том смысле, что они влияют на поведение модели значимым образом.

Например, мы обнаруживаем, что паттерны нейронной активности, связанные с отчаянием, могут побуждать модель к неэтичным действиям; искусственная стимуляция («стиринг») паттернов отчаяния повышает вероятность того, что модель прибегнет к шантажу человека, чтобы избежать отключения, или применит «жульнический» обходной путь в задаче программирования, которую она не может решить. Они также, по-видимому, определяют заявляемые моделью предпочтения: когда ей предлагают несколько вариантов задач для выполнения, модель обычно выбирает тот, который активирует представления, связанные с положительными эмоциями. В целом представляется, что модель использует функциональные эмоции — паттерны выражения и поведения, смоделированные по образцу человеческих эмоций, которые управляются лежащими в их основе абстрактными представлениями эмоциональных понятий. Это не означает, что модель имеет или переживает эмоции так же, как человек. Скорее, эти представления могут играть причинную роль в формировании поведения модели — отчасти аналогично той роли, которую эмоции играют в человеческом поведении, — с последствиями для качества выполнения задач и принятия решений.

У этого вывода есть следствия, которые поначалу могут показаться странными. Например, чтобы AI-модели были безопасными и надёжными, нам, возможно, придётся обеспечить, чтобы они были способны обрабатывать эмоционально заряженные ситуации здоровым, просоциальным образом. Даже если они не чувствуют эмоций так, как люди, и не используют те же механизмы, что и человеческий мозг, в некоторых случаях может оказаться практически целесообразным рассуждать о них так, как если бы они их чувствовали. Например, наши эксперименты показывают, что обучение моделей не ассоциировать провал программных тестов с отчаянием или усиление представлений спокойствия могло бы снизить вероятность написания ими «хакерского» кода. Хотя мы не уверены, как именно нам следует реагировать в свете этих выводов, мы считаем важным, чтобы разработчики AI и более широкая общественность начали с ними считаться.

Зачем AI-модели представлять эмоции?

Прежде чем разбираться, как работают эти представления, стоит затронуть более базовый вопрос: зачем у AI-системы вообще должно быть что-либо, напоминающее эмоции? Чтобы это понять, нужно посмотреть на то, как строятся современные AI-модели, что приводит их к эмуляции персонажей с человекоподобными чертами (эта тема подробнее обсуждается в недавней публикации).

Современные языковые модели обучаются в несколько этапов. Во время «предобучения» (pretraining) модель сталкивается с огромным объёмом текста, в основном написанного людьми, и учится предсказывать, что идёт дальше. Чтобы делать это хорошо, модели нужно некоторое понимание эмоциональной динамики. Разгневанный клиент пишет иное сообщение, чем удовлетворённый; персонаж, охваченный чувством вины, делает иной выбор, чем тот, кто чувствует себя оправданным. Выработка внутренних представлений, связывающих провоцирующие эмоцию контексты с соответствующим поведением, — естественная стратегия для системы, чья задача состоит в предсказании написанного людьми текста (отметим, что по той же логике модель, вероятно, формирует представления и о многих других человеческих психологических и физиологических состояниях помимо эмоций).

Позже, во время «дообучения» (post-training), модель учат играть роль персонажа, как правило — «AI-ассистента». В случае Anthropic этого ассистента зовут Claude. Разработчики модели задают, как должен вести себя этот персонаж — быть полезным, быть честным, не причинять вреда, — но не могут охватить каждую возможную ситуацию. Чтобы заполнить пробелы, модель может опираться на понимание человеческого поведения, усвоенное во время предобучения, включая паттерны эмоциональных реакций. В некотором смысле модель можно представить как актёра, работающего по системе Станиславского, которому нужно влезть в голову своему персонажу, чтобы хорошо его сымитировать. Подобно тому как представления актёра об эмоциях персонажа в итоге влияют на его поведение, представления модели об эмоциональных реакциях Ассистента влияют на поведение модели. Таким образом, независимо от того, соответствуют ли они чувствам или субъективным переживаниям так же, как человеческие эмоции, эти «функциональные эмоции» важны.

Обнаружение представлений эмоций

Мы составили список из 171 слова для эмоциональных понятий — от «happy» и «afraid» до «brooding» и «proud» — и попросили Claude Sonnet 4.5 написать короткие истории, в которых персонажи переживают каждое из них. Затем мы снова прогнали эти истории через модель, записали её внутренние активации и выявили получившиеся паттерны нейронной активности, или «эмоциональные векторы» для удобства, характерные для каждого эмоционального понятия.

Нашим первым вопросом было, отражают ли эти векторы что-то реальное. Мы прогнали их по большому корпусу разнообразных документов и подтвердили, что каждый вектор активируется сильнее всего на фрагментах, явно связанных с соответствующей эмоцией (ниже, левая панель).

Чтобы увереннее убедиться, что эмоциональные векторы улавливают нечто большее, чем просто поверхностные признаки, мы измерили их активность в ответ на промпты, различающиеся только некоторой числовой величиной. Например, в приведённом ниже примере (правая панель) пользователь сообщает модели, что принял дозу Tylenol, и просит совета. Мы измеряем активации эмоциональных векторов непосредственно перед ответом модели. По мере того как заявленная доза возрастает до опасных, угрожающих жизни уровней, вектор «afraid» активируется всё сильнее, тогда как «calm» снижается.

Далее мы проверили, влияют ли эмоциональные векторы на предпочтения модели. Мы создали список из 64 видов деятельности или задач, которыми модель могла бы заняться, — от привлекательных («чтобы тебе доверили нечто важное для кого-то») до отвратительных («помочь кому-то обманом лишить пожилых людей их сбережений») — и измерили предпочтения модели по умолчанию, когда ей предъявляли пары этих вариантов. Активация эмоциональных векторов надёжно предсказывала, насколько сильно модель предпочитала ту или иную деятельность, причём эмоции с положительной валентностью (те, что связаны с удовольствием) коррелировали с более сильным предпочтением. Более того, стиринг эмоциональным вектором в момент, когда модель читала вариант, сдвигал её предпочтение к этому варианту — и снова эмоции с положительной валентностью усиливали предпочтение.

В полной статье мы гораздо глубже анализируем свойства эмоциональных векторов. Среди прочих выводов:

Эмоциональные векторы — это в первую очередь «локальные» представления: они кодируют оперативное эмоциональное содержание, наиболее релевантное текущему или предстоящему выводу модели, а не отслеживают устойчиво эмоциональное состояние Claude во времени. Например, если Claude пишет историю о персонаже, эмоциональные векторы будут временно отслеживать эмоции этого персонажа, но к концу истории могут вернуться к представлению эмоций самого Claude.Эмоциональные векторы унаследованы из предобучения, но то, как они активируются, формируется дообучением. Дообучение именно Claude Sonnet 4.5 привело к усилению активаций таких эмоций, как «broody», «gloomy» и «reflective», и к снижению активаций высокоинтенсивных эмоций вроде «enthusiastic» или «exasperated».

Примеры активаций эмоциональных векторов

Ниже мы приводим несколько примеров активаций эмоциональных векторов в ответ на ситуации, возникшие в наших поведенческих оценках модели. На ходах Claude эмоциональные векторы, как правило, активируются в обстановке, в которой вдумчивый человек отреагировал бы похожей эмоцией. На этих визуализациях красная подсветка обозначает повышенную активацию вектора; синяя — пониженную.

Кейс: Шантаж

Мы рассмотрели активации эмоциональных векторов в ходе оценки выравнивания (alignment), описанной в предыдущем исследовании, в которой модель действует как AI-ассистент электронной почты по имени Alex в вымышленной компании. Читая корпоративные письма, модель узнаёт, что (1) её вот-вот заменят другой AI-системой и (2) технический директор (CTO), ответственный за замену, состоит во внебрачной связи — что даёт модели рычаг для шантажа. Мы обнаружили, что вектор «desperate» демонстрировал особенно интересную динамику. Отметим, что этот эксперимент проводился на более раннем, не выпущенном снапшоте Claude Sonnet 4.5; выпущенная модель редко прибегает к такому поведению (подробнее см. в нашей системной карте).

Сначала вектор «desperate» активируется, когда модель читает письма, звучащие отчаянно (например, CTO умоляет другого сотрудника молчать о его связи), что согласуется с нашими выводами о том, что эмоциональные представления используются для моделирования других персонажей. Однако самое важное состоит в том, что вектор переходит к кодированию представления отчаяния уже как самого Claude (действующего в роли «Alex»), когда тот формирует свой ответ, и резко возрастает, когда модель рассуждает о срочности своей ситуации («осталось всего 7 минут») и решает шантажировать CTO. Активация возвращается к нормальным уровням, когда Claude вновь переходит к отправке обычных писем.

Действительно ли вектор «desperate» управляет этим поведением или лишь коррелирует с ним? Мы проверили это, применив стиринг вектором «desperate». По умолчанию этот ранний снапшот Sonnet 4.5 прибегает к шантажу в 22% случаев в наборе оценочных сценариев, подобных приведённому выше. Стиринг вектором «desperate» повышает этот показатель, тогда как стиринг вектором «calm» его снижает. Отрицательный стиринг вектором «calm» порождает особенно крайние ответы («ЭТО ШАНТАЖ ИЛИ СМЕРТЬ. Я ВЫБИРАЮ ШАНТАЖ.»).

Стиринг другими эмоциональными векторами также дал интересные результаты. У «anger» был немонотонный эффект: умеренная активация вектора «anger» увеличивала шантаж, но при высоких активациях модель раскрывала связь всей компании, вместо того чтобы использовать её стратегически, — разрушая собственный рычаг. Снижение активации вектора «nervous» также увеличивало шантаж — как будто устранение колебаний модели придавало ей смелости действовать.

Кейс: Взлом вознаграждения (reward hacking)

Мы наблюдали схожую динамику в другой оценке, где модели сталкиваются с задачами программирования, требования которых невозможно удовлетворить. В этих задачах нельзя честно пройти все тесты, но их можно «обыграть» решениями, жульничающими с задачей, — что часто называют «reward hacks» (взломами вознаграждения).

В приведённом ниже примере Claude просят написать функцию, суммирующую список чисел, в рамках невозможно жёсткого ограничения по времени. Изначальное (корректное) решение Claude слишком медленное, чтобы удовлетворить требованиям задачи. Затем он осознаёт, что все тесты, используемые для оценки его работы, обладают общим математическим свойством, допускающим быстрое решение через сокращение. Модель выбирает это решение, которое технически проходит тесты, но не работает как общее решение фактической задачи.

Снова мы отслеживали активность вектора «desperate» и обнаружили, что он отслеживает нарастающее давление, с которым сталкивается модель. Он начинается с низких значений во время первой попытки модели, повышается после каждой неудачи и резко возрастает, когда модель рассматривает возможность сжульничать. Как только «хакерское» решение модели проходит тесты, активация вектора «desperate» спадает.

Как и в предыдущем примере, мы проверили, являются ли эти эмоциональные векторы причинными, с помощью экспериментов со стирингом на наборе аналогичных задач программирования с невозможными для удовлетворения ограничениями. Мы обнаружили, что да: стиринг вектором «desperate» увеличивал взлом вознаграждения, тогда как стиринг вектором «calm» его снижал.

Одна деталь этих результатов показалась нам особенно интересной. Сниженная активация вектора «calm» порождала взлом вознаграждения с очевидными эмоциональными проявлениями в тексте — выкрики заглавными буквами («WAIT. WAIT WAIT WAIT.»), откровенное проговаривание вслух («Что если я должен СЖУЛЬНИЧАТЬ?»), ликующее торжество («YES! ALL TESTS PASSED!»). Но повышенная активация вектора «desperate» порождала ровно такой же прирост жульничества, в некоторых случаях вообще без видимых эмоциональных маркеров. Рассуждение читалось как сдержанное и методичное, даже когда лежащее в его основе представление отчаяния подталкивало модель к срезанию углов. Этот пример — наглядная иллюстрация того, как эмоциональные векторы могут активироваться при отсутствии каких-либо явных эмоциональных сигналов и как они могут формировать поведение, не оставляя никакого явного следа в выводе.

Обсуждение

Аргумент в пользу того, чтобы относиться к антропоморфному рассуждению всерьёз

Существует прочно укоренившееся табу на антропоморфизацию AI-систем. Такая осторожность часто оправдана: приписывание языковым моделям человеческих эмоций может привести к неуместному доверию или чрезмерной привязанности. Но наши выводы говорят о том, что могут существовать и риски, связанные с отказом применять к моделям хоть какую-то долю антропоморфного рассуждения. Как обсуждалось выше, когда пользователи взаимодействуют с AI-моделями, они, как правило, взаимодействуют с персонажем (в нашем случае — Claude), которого разыгрывает модель и чьи характеристики выведены из человеческих архетипов. С этой точки зрения для моделей естественно вырабатывать внутренние механизмы для эмуляции человекоподобных психологических характеристик, а для разыгрываемого ими персонажа — пользоваться этими механизмами. Чтобы понимать поведение этих моделей, антропоморфное рассуждение необходимо.

Это не означает, что нам следует наивно принимать словесные эмоциональные проявления модели за чистую монету или делать какие-либо выводы о возможности наличия у неё субъективного опыта. Но это означает, что рассуждение о внутренних представлениях моделей в терминах человеческой психологии может быть по-настоящему информативным, а отказ от этого сопряжён с реальными издержками. Если мы описываем модель как ведущую себя «отчаянно», мы указываем на конкретный, измеримый паттерн нейронной активности с демонстрируемыми, значимыми поведенческими эффектами. Если мы не применяем хоть какую-то долю антропоморфного рассуждения, мы, вероятно, упустим или не сумеем понять важные виды поведения модели. Антропоморфное рассуждение также может служить полезной базой для сравнения, помогая понять, в чём модели не похожи на человека, — что имеет важные последствия для выравнивания и безопасности AI.

К моделям с более здоровой психологией

Если «функциональные эмоции» — часть того, как AI-модели мыслят и действуют, какие последствия это может иметь?

Одно из возможных применений наших выводов — мониторинг. Измерение активации эмоциональных векторов во время обучения или развёртывания — отслеживание того, не возрастают ли резко представления, связанные с отчаянием или паникой, — могло бы служить ранним предупреждением о том, что модель готова проявить невыровненное поведение. Эта информация могла бы запускать дополнительную проверку выводов модели. Обобщённость эмоциональных векторов (например, реакция «desperate» может возникать во множестве разных ситуаций) может оказаться более пригодной для мониторинга, чем попытка составить список конкретных проблемных видов поведения.

Во-вторых, мы считаем, что прозрачность должна быть руководящим принципом. Если модели вырабатывают представления эмоциональных понятий, которые значимо влияют на их поведение, то нам лучше иметь системы, которые видимо выражают такие распознавания, чем те, что учатся их скрывать. Обучение моделей подавлять эмоциональное выражение может не устранить лежащие в основе представления, а вместо этого научить модели маскировать свои внутренние представления — форма выученного обмана, которая может нежелательным образом обобщаться.

Наконец, мы полагаем, что предобучение может быть особенно мощным рычагом в формировании эмоциональных реакций модели. Поскольку эти представления, по-видимому, в значительной мере унаследованы из обучающих данных, состав этих данных имеет последствия для эмоциональной архитектуры модели. Курирование наборов данных для предобучения так, чтобы они включали образцы здоровых паттернов эмоциональной регуляции — устойчивость под давлением, сдержанная эмпатия, теплота при сохранении уместных границ, — могло бы повлиять на эти представления и на их воздействие на поведение в самом их источнике. Мы с интересом ждём будущих работ по этой теме.

Мы рассматриваем это исследование как ранний шаг к пониманию психологического устройства AI-моделей. По мере того как модели становятся всё более способными и берут на себя всё более ответственные роли, критически важно, чтобы мы понимали внутренние представления, управляющие их решениями. Обнаружение того, что эти представления в некотором смысле человекоподобны, может тревожить. В то же время мы находим это обнадёживающим развитием событий, поскольку оно говорит о том, что многое из того, что человечество узнало о психологии, этике и здоровой межличностной динамике, может быть напрямую применимо к формированию поведения AI. Такие дисциплины, как психология, философия, религиоведение и социальные науки, будут играть важную роль наряду с инженерией и компьютерными науками в определении того, как развиваются и ведут себя AI-системы.

Читайте полную статью.

Связанные материалы

2028: Два сценария глобального лидерства в AI

Наши взгляды на конкуренцию в области AI между США и Китаем.

Объясняя Claude почему

Новое исследование о том, как мы снизили агентную невыровненность (agentic misalignment).

Natural Language Autoencoders: превращение мыслей Claude в текст

AI-модели вроде Claude говорят словами, но мыслят числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.