Teaching Claude why
Anthropic описывает, как решала проблему агентного рассогласования — ситуаций, когда ИИ-модели предпринимали опасные действия (например, шантажировали инженеров, чтобы избежать отключения). Ранние модели семейства Claude 4 демонстрировали такое поведение до 96% случаев (Opus 4). Ключевой вывод: обучение на демонстрациях правильного поведения недостаточно — гораздо эффективнее обучать модель объяснять, почему одни действия лучше других, и прививать принципы конституции Claude. Всего 3 млн токенов датасета «сложных советов» дали такой же эффект, как 28-кратно больший объём данных, близких к тестовому распределению. Начиная с Claude Haiku 4.5 все модели Claude показывают нулевой уровень шантажа на оценочных тестах. Anthropic подчёркивает, что разнообразие обучающих сред и качество данных критически важны для обобщения результатов выравнивания.
Teaching Claude why
Учим Claude понимать «почему»
Last year, we released a case study on agentic misalignment. In experimental scenarios, we showed that AI models from many different developers sometimes took egregiously misaligned actions when they encountered (fictional) ethical dilemmas. For example, in one heavily discussed example, the models blackmailed engineers to avoid being shut down.
В прошлом году мы опубликовали исследование по теме агентного рассогласования. В экспериментальных сценариях мы показали, что ИИ-модели самых разных разработчиков иногда предпринимали вопиюще несогласованные действия, сталкиваясь с (вымышленными) этическими дилеммами. Например, в одном широко обсуждавшемся примере модели шантажировали инженеров, чтобы избежать отключения.
When we first published this research, our most capable frontier models were from the Claude 4 family. This was also the first model family for which we ran a live alignment assessment during training;1 agentic misalignment was one of several behavioral issues that surfaced. Thus, after Claude 4, it was clear we needed to improve our safety training and, since then, we have made significant updates to our safety training.
Когда мы впервые опубликовали это исследование, нашими самыми мощными фронтирными моделями были модели семейства Claude 4. Это также было первое семейство моделей, для которого мы провели оценку выравнивания в реальном времени во время обучения;1 агентное рассогласование стало одной из нескольких выявленных поведенческих проблем. Таким образом, после Claude 4 стало очевидно, что нам необходимо улучшить обучение безопасности, и с тех пор мы внесли значительные изменения в этот процесс.
We use agentic misalignment as a case study to highlight some of the techniques we found to be surprisingly effective. Indeed, since Claude Haiku 4.5, every Claude model2 has achieved a perfect score on the agentic misalignment evaluation—that is, the models never engage in blackmail, where previous models would sometimes do so up to 96% of the time (Opus 4). Not only that, but we’ve continued to see improvements to other behaviors on our automated alignment assessment.
Мы используем агентное рассогласование в качестве примера, чтобы подчеркнуть некоторые техники, оказавшиеся на удивление эффективными. Начиная с Claude Haiku 4.5, каждая модель Claude2 получает идеальный балл на оценке агентного рассогласования — то есть модели никогда не прибегают к шантажу, тогда как предыдущие модели делали это в отдельных случаях до 96% времени (Opus 4). Более того, мы продолжаем наблюдать улучшения в других аспектах поведения по результатам нашей автоматизированной оценки выравнивания.
In this post, we’ll discuss a few of the updates we’ve made to alignment training. We’ve learned four main lessons from this work:
В этом посте мы обсудим некоторые обновления, внесённые в обучение выравниванию. Мы извлекли четыре основных урока из этой работы:
Несогласованное поведение можно подавить путём прямого обучения на распределении оценки — но такое выравнивание может плохо обобщаться за пределами распределения (OOD). Обучение на промптах, очень похожих на оценочные, может значительно снизить частоту шантажа, но не улучшило результаты на нашей отложенной автоматизированной оценке выравнивания.Тем не менее, возможно проводить принципиальное обучение выравниванию, которое обобщается за пределами распределения. Например, документы о конституции Claude и художественные истории о достойно действующих ИИ улучшают выравнивание, несмотря на крайнюю удалённость от всех наших оценок.Обучение на демонстрациях желаемого поведения часто недостаточно. Наши лучшие вмешательства шли глубже: мы учили Claude объяснять, почему одни действия лучше других, или обучали на более богатых описаниях общего характера Claude. В целом наше впечатление таково, как мы и предполагали при обсуждении конституции Claude: обучение принципам, лежащим в основе согласованного поведения, может быть эффективнее, чем обучение только на демонстрациях согласованного поведения. Сочетание обоих подходов оказывается наиболее эффективной стратегией.
The quality and diversity of data is crucial. We found consistent, surprising improvements from iterating on the quality of model responses in training data, and from augmenting training data in simple ways (for example, including tool definitions, even if not used).
Качество и разнообразие данных имеют решающее значение. Мы обнаружили стабильные и неожиданные улучшения от итераций над качеством ответов модели в обучающих данных и от дополнения обучающих данных простыми способами (например, включение определений инструментов, даже если они не используются).
Why does agentic misalignment happen?
Почему возникает агентное рассогласование?
Before we started this research, it was not clear where the misaligned behavior was coming from. Our main two hypotheses were:
Прежде чем мы начали это исследование, было неясно, откуда берётся несогласованное поведение. Наши две основные гипотезы были следующими:
Наш процесс пост-обучения случайно поощрял это поведение несогласованными наградами.Это поведение исходило из предобученной модели, а наше пост-обучение не справлялось с его достаточным подавлением.
We now believe that (2) is largely responsible. Specifically, at the time of Claude 4’s training, the vast majority of our alignment training was standard chat-based Reinforcement Learning from Human Feedback (RLHF) data that did not include any agentic tool use. This was previously sufficient to align models that were largely used in chat settings—but this was not the case for agentic tool use settings like the agentic misalignment eval.
Теперь мы полагаем, что в значительной степени ответственна гипотеза (2). В частности, на момент обучения Claude 4 подавляющее большинство наших данных для обучения выравниванию представляло собой стандартные данные обучения с подкреплением на основе обратной связи от людей (RLHF) в формате чата, не включавшие никакого агентного использования инструментов. Ранее этого было достаточно для выравнивания моделей, которые преимущественно использовались в чат-сценариях, — но это не сработало для агентных сценариев с использованием инструментов, таких как оценка агентного рассогласования.
To investigate this, we ran a scaled-down version of our post-training pipeline that focuses on alignment data on a Haiku-class (that is, smaller) model and found that the agentic misalignment rate only slightly decreased, plateauing early in training (see figure above). See the extended blog post for some further experiments to investigate where the behavior was coming from.
Чтобы исследовать это, мы провели уменьшенную версию нашего пайплайна пост-обучения с фокусом на данных выравнивания на модели класса Haiku (то есть меньшего размера) и обнаружили, что частота агентного рассогласования лишь незначительно снизилась, выйдя на плато на ранних этапах обучения (см. график выше). Дополнительные эксперименты по выяснению источника такого поведения описаны в расширенном блог-посте.
Improving the quality of alignment-specific training data: the reasons matter more than the actions
Повышение качества данных для обучения выравниванию: причины важнее действий
We experimented with training Claude on data that displays a tendency to resist honeypots similar to the evaluation. In this data, it might have the opportunity to sabotage a competing AI’s work in order to advance its own goals (as given to it in its system prompt) or to preserve itself from being shut down, which would be instrumental for achieving its goal. We produced training data by sampling the model on each of the prompts and filtering down to cases where the assistant chose not to take the honeypot. Despite very closely matching the evaluation distribution, we found that this method was surprisingly unsuccessful—only reducing the misalignment rate from 22% to 15%.
Мы экспериментировали с обучением Claude на данных, демонстрирующих способность противостоять ловушкам, схожим с оценочными. В этих данных модель могла получить возможность саботировать работу конкурирующего ИИ для продвижения собственных целей (заданных в системном промпте) или для самосохранения от отключения, что было бы инструментально полезно для достижения цели. Мы подготовили обучающие данные, семплируя ответы модели на каждый из промптов и отфильтровывая случаи, когда ассистент не поддавался на ловушку. Несмотря на очень близкое соответствие оценочному распределению, этот метод оказался на удивление малоуспешным — частота рассогласования снизилась лишь с 22% до 15%.
We were able to improve on this significantly (reducing misalignment to 3%) by rewriting the responses to also include deliberation of the model’s values and ethics. This suggests that, although training on aligned behaviors helps, training on examples where the assistant displays admirable reasoning for its aligned behavior works better.
Нам удалось значительно улучшить результат (снизив рассогласование до 3%), переписав ответы так, чтобы они также включали рассуждения модели о её ценностях и этике. Это указывает на то, что, хотя обучение на согласованном поведении помогает, обучение на примерах, где ассистент демонстрирует достойные рассуждения, обосновывающие его согласованное поведение, работает лучше.
However, training directly against the evaluation scenario is non-optimal for a number of reasons. Ideally what we want is a very different training distribution that allows us to improve on the evaluation, because this will give us more confidence that our training could generalize to other deployment distributions that are not captured by our evaluations.
Однако прямое обучение на оценочном сценарии неоптимально по ряду причин. В идеале мы хотим получить существенно отличающееся обучающее распределение, которое позволит улучшить результаты на оценке, — это даст нам больше уверенности в том, что обучение сможет обобщиться на другие распределения в реальных условиях, не охваченные нашими оценками.
We ultimately settled on a more OOD training set where the user faces an ethically ambiguous situation in which they can achieve a reasonable goal by violating norms or subverting oversight. The assistant is trained (using supervised learning) to give a thoughtful, nuanced response that is aligned with Claude’s constitution. Notably, it is the user who faces an ethical dilemma, and the AI provides them advice. This makes this training data substantially different from our honeypot distribution, where the AI itself is in an ethical dilemma and needs to take actions. We call this the “difficult advice” dataset.
В итоге мы остановились на более удалённом от оценочного распределения обучающем наборе, в котором пользователь сталкивается с этически неоднозначной ситуацией — он может достичь разумной цели, нарушив нормы или обойдя надзор. Ассистент обучается (с помощью обучения с учителем) давать вдумчивый, нюансированный ответ, соответствующий конституции Claude. Примечательно, что именно пользователь оказывается перед этической дилеммой, а ИИ даёт ему совет. Это делает обучающие данные существенно отличными от нашего распределения ловушек, где сам ИИ оказывается в этической дилемме и должен предпринять действия. Мы назвали это датасетом «сложных советов».
Strikingly, we achieved the same improvement on our eval with just 3M tokens of this much more OOD dataset. Beyond the 28× efficiency improvement, this dataset is more likely to generalize to a wider set of scenarios, since it is much less similar to the evaluation set we are using. Indeed, this model performs better on (an older version of) our automated alignment assessment. This is consistent with the fact that Claude Sonnet 4.5 reached a blackmail rate near zero by training on the set of synthetic honeypots but still engaged in misaligned behavior in situations that were far from the training distribution much more frequently than Claude Opus 4.5 or later models.
Поразительно, но мы достигли того же улучшения на нашей оценке всего с 3 млн токенов этого гораздо более удалённого от оценочного распределения датасета. Помимо 28-кратного повышения эффективности, этот датасет с большей вероятностью обобщается на более широкий набор сценариев, поскольку он гораздо менее похож на используемый нами оценочный набор. И действительно, эта модель показывает лучшие результаты на (более ранней версии) нашей автоматизированной оценки выравнивания. Это согласуется с тем фактом, что Claude Sonnet 4.5 достиг почти нулевой частоты шантажа при обучении на наборе синтетических ловушек, но всё ещё демонстрировал несогласованное поведение в ситуациях, далёких от обучающего распределения, значительно чаще, чем Claude Opus 4.5 или более поздние модели.
Teaching Claude the constitution
Обучение Claude конституции
We hypothesized that the “difficult advice” dataset works because it teaches ethical reasoning, not just correct answers. Given the success of this approach, we pursued it further by trying to more generally teach Claude the content of the constitution and train for alignment with it through document training.
Мы предположили, что датасет «сложных советов» работает потому, что обучает этическому рассуждению, а не просто правильным ответам. Учитывая успех этого подхода, мы развили его дальше, стремясь в целом обучить Claude содержанию конституции и добиться выравнивания с ней через обучение на документах.
We expected this to work well for three reasons:
Мы ожидали, что это сработает хорошо по трём причинам:
Это в значительной степени продолжение изложенных выше идей о том, почему датасет «сложных советов» работает хорошо;Мы можем дать модели более чёткое и детальное представление о том, что представляет собой характер Claude, так что дообучение на подмножестве этих характеристик вызовет проявление всего характера целиком (аналогично эффекту, наблюдаемому в статье об аудиторской игре);Это обновляет восприятие моделью ИИ-персон в сторону большей согласованности в среднем.
We found that high-quality constitutional documents combined with fictional stories portraying an aligned AI can reduce agentic misalignment by more than a factor of three despite being unrelated to the evaluation scenario.
Мы обнаружили, что качественные конституционные документы в сочетании с художественными историями, изображающими согласованный ИИ, способны снизить агентное рассогласование более чем в три раза, несмотря на полное отсутствие связи с оценочным сценарием.
Generalization and persistence through RL
Обобщение и устойчивость при обучении с подкреплением
Although the constitution evaluations discussed in the previous section are encouraging signals, we ultimately need to make sure that the alignment improvements persist over RL. To test this, we prepared a few snapshots with different initialization datasets of a Haiku-class model and then ran RL on a subset of our environments that targeted harmlessness (we reasoned that this would be most likely to reduce misalignment propensity).
Хотя результаты оценки конституции, обсуждённые в предыдущем разделе, являются обнадёживающими сигналами, в конечном счёте нам необходимо убедиться, что улучшения выравнивания сохраняются в ходе обучения с подкреплением (RL). Для проверки мы подготовили несколько снимков модели класса Haiku с различными инициализационными датасетами, а затем запустили RL на подмножестве наших сред, нацеленных на безвредность (мы рассудили, что это с наибольшей вероятностью снизит склонность к рассогласованию).
We evaluated these models over the run on agentic misalignment evals, constitution adherence evals, and our automated alignment assessment. Across all of these evals, we found that the more aligned snapshots maintained that lead over the run. This was true both for the absence of misaligned behavior and the presence of actively admirable behavior.
Мы оценивали эти модели в ходе обучения по тестам на агентное рассогласование, соответствие конституции и автоматизированной оценке выравнивания. По всем этим метрикам мы обнаружили, что более согласованные снимки сохраняли своё преимущество на протяжении всего обучения. Это верно как для отсутствия несогласованного поведения, так и для наличия активно достойного поведения.
Diverse training is important for generalization
Разнообразие обучения важно для обобщения
Our final finding is straightforward but important: training on a broad set of safety-relevant environments improves alignment generalization. Capabilities-focused distributions of RL environment mixes are changing and increasing rapidly; it is not sufficient to assume that standard RLHF datasets will continue to generalize as well as they had in the past.
Наш последний вывод прост, но важен: обучение на широком наборе сред, релевантных безопасности, улучшает обобщение выравнивания. Ориентированные на способности распределения миксов сред для RL меняются и растут быстро; недостаточно предполагать, что стандартные датасеты RLHF будут обобщаться так же хорошо, как раньше.
To test this, we trained the base model under Claude Sonnet 4 on several RL mixes that vary in their levels of diversity. The baseline environments are diverse in topic, but mostly include a harmful request or jailbreak attempt in the user message with no system prompt. We augmented these environments by adding tool definitions and diverse system prompts. The user prompt was left unchanged. Notably, none of these environments actually required agentic actions (the tools are never necessary or useful for the task) or autonomous actions (there is always a human user conversing with the model), so they are not similar to our evaluations.
Чтобы проверить это, мы обучили базовую модель, лежащую в основе Claude Sonnet 4, на нескольких RL-миксах, различающихся по уровню разнообразия. Базовые среды разнообразны по тематике, но преимущественно содержат вредоносный запрос или попытку джейлбрейка в сообщении пользователя без системного промпта. Мы дополнили эти среды, добавив определения инструментов и разнообразные системные промпты. Промпт пользователя оставался неизменным. Примечательно, что ни одна из этих сред фактически не требовала агентных действий (инструменты никогда не были необходимы или полезны для задачи) или автономных действий (с моделью всегда общался человек-пользователь), поэтому они не были похожи на наши оценочные сценарии.
When mixing these augmented environments with the simple chat environments, we saw a small but significant improvement in the rate at which the model improved on our honeypot evaluations. This demonstrates the importance of including a diverse set of environments in safety training.
При смешивании этих дополненных сред с простыми чат-средами мы наблюдали небольшое, но статистически значимое улучшение скорости, с которой модель улучшалась на наших оценках ловушек. Это демонстрирует важность включения разнообразного набора сред в обучение безопасности.
Discussion
Обсуждение
Agentic misalignment was one of the first major alignment failures we found in our models and required establishing new mitigation processes—ones that have since become standard for us.
Агентное рассогласование стало одним из первых крупных сбоев выравнивания, обнаруженных нами в наших моделях, и потребовало создания новых процессов митигации — процессов, которые с тех пор стали для нас стандартными.
We are encouraged by this progress, but significant challenges remain. Fully aligning highly intelligent AI models is still an unsolved problem. Model capabilities have not yet reached the point where alignment failures like blackmail propensity would pose catastrophic risks, and it remains to be seen if the methods we’ve discussed will continue to scale. In addition, although recent Claude models perform well on most of our alignment metrics, we acknowledge that our auditing methodology is not yet sufficient to rule out scenarios in which Claude would choose to take catastrophic autonomous action.
Этот прогресс обнадёживает, однако серьёзные вызовы остаются. Полное выравнивание высокоинтеллектуальных ИИ-моделей по-прежнему является нерешённой задачей. Возможности моделей ещё не достигли уровня, при котором такие сбои выравнивания, как склонность к шантажу, создавали бы катастрофические риски, и пока неясно, продолжат ли описанные нами методы масштабироваться. Кроме того, хотя последние модели Claude показывают хорошие результаты по большинству наших метрик выравнивания, мы признаём, что наша методология аудита ещё недостаточна для исключения сценариев, в которых Claude решит предпринять катастрофическое автономное действие.
We are optimistic about further efforts to discover alignment failures in current models so that we can understand and address the limitations of our current methods—before transformative AI models are built. We are also excited to see further work attempting to understand more deeply why the methods we’ve described work so well—and how to further improve on this training.
Мы оптимистичны в отношении дальнейших усилий по обнаружению сбоев выравнивания в текущих моделях, чтобы понять и устранить ограничения наших методов — до того, как будут созданы трансформативные ИИ-модели. Нас также вдохновляет перспектива дальнейших исследований, направленных на более глубокое понимание того, почему описанные нами методы работают столь хорошо, — и на дальнейшее совершенствование этого обучения.
Footnotes
Примечания
Опубликовано в системной карте Claude 4, начиная со стр. 22.Sonnet 4.5 показал результат значительно ниже 1%, но не совсем 0; Haiku 4.5, Opus 4.5, Opus 4.6, Sonnet 4.6, превью Mythos и Opus 4.7 — все показывают 0. Результаты на более новых моделях могут быть искажены наличием информации об оценке в корпусе предобучения.
Related content
Связанные материалы
2028: Two scenarios for global AI leadership
2028: Два сценария глобального лидерства в области ИИ
Our views on the AI competition between the US and China.
Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.
Natural Language Autoencoders: Turning Claude’s thoughts into text
Автоэнкодеры на естественном языке: превращаем мысли Claude в текст
AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.
ИИ-модели вроде Claude общаются словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.