Teaching Claude why

Учим Claude понимать «почему»

В прошлом году мы опубликовали исследование по теме агентного рассогласования. В экспериментальных сценариях мы показали, что ИИ-модели самых разных разработчиков иногда предпринимали вопиюще несогласованные действия, сталкиваясь с (вымышленными) этическими дилеммами. Например, в одном широко обсуждавшемся примере модели шантажировали инженеров, чтобы избежать отключения.

Когда мы впервые опубликовали это исследование, нашими самыми мощными фронтирными моделями были модели семейства Claude 4. Это также было первое семейство моделей, для которого мы провели оценку выравнивания в реальном времени во время обучения;1 агентное рассогласование стало одной из нескольких выявленных поведенческих проблем. Таким образом, после Claude 4 стало очевидно, что нам необходимо улучшить обучение безопасности, и с тех пор мы внесли значительные изменения в этот процесс.

Мы используем агентное рассогласование в качестве примера, чтобы подчеркнуть некоторые техники, оказавшиеся на удивление эффективными. Начиная с Claude Haiku 4.5, каждая модель Claude2 получает идеальный балл на оценке агентного рассогласования — то есть модели никогда не прибегают к шантажу, тогда как предыдущие модели делали это в отдельных случаях до 96% времени (Opus 4). Более того, мы продолжаем наблюдать улучшения в других аспектах поведения по результатам нашей автоматизированной оценки выравнивания.

В этом посте мы обсудим некоторые обновления, внесённые в обучение выравниванию. Мы извлекли четыре основных урока из этой работы:

Несогласованное поведение можно подавить путём прямого обучения на распределении оценки — но такое выравнивание может плохо обобщаться за пределами распределения (OOD). Обучение на промптах, очень похожих на оценочные, может значительно снизить частоту шантажа, но не улучшило результаты на нашей отложенной автоматизированной оценке выравнивания.Тем не менее, возможно проводить принципиальное обучение выравниванию, которое обобщается за пределами распределения. Например, документы о конституции Claude и художественные истории о достойно действующих ИИ улучшают выравнивание, несмотря на крайнюю удалённость от всех наших оценок.Обучение на демонстрациях желаемого поведения часто недостаточно. Наши лучшие вмешательства шли глубже: мы учили Claude объяснять, почему одни действия лучше других, или обучали на более богатых описаниях общего характера Claude. В целом наше впечатление таково, как мы и предполагали при обсуждении конституции Claude: обучение принципам, лежащим в основе согласованного поведения, может быть эффективнее, чем обучение только на демонстрациях согласованного поведения. Сочетание обоих подходов оказывается наиболее эффективной стратегией.

Качество и разнообразие данных имеют решающее значение. Мы обнаружили стабильные и неожиданные улучшения от итераций над качеством ответов модели в обучающих данных и от дополнения обучающих данных простыми способами (например, включение определений инструментов, даже если они не используются).

Почему возникает агентное рассогласование?

Прежде чем мы начали это исследование, было неясно, откуда берётся несогласованное поведение. Наши две основные гипотезы были следующими:

Наш процесс пост-обучения случайно поощрял это поведение несогласованными наградами.Это поведение исходило из предобученной модели, а наше пост-обучение не справлялось с его достаточным подавлением.

Теперь мы полагаем, что в значительной степени ответственна гипотеза (2). В частности, на момент обучения Claude 4 подавляющее большинство наших данных для обучения выравниванию представляло собой стандартные данные обучения с подкреплением на основе обратной связи от людей (RLHF) в формате чата, не включавшие никакого агентного использования инструментов. Ранее этого было достаточно для выравнивания моделей, которые преимущественно использовались в чат-сценариях, — но это не сработало для агентных сценариев с использованием инструментов, таких как оценка агентного рассогласования.

Чтобы исследовать это, мы провели уменьшенную версию нашего пайплайна пост-обучения с фокусом на данных выравнивания на модели класса Haiku (то есть меньшего размера) и обнаружили, что частота агентного рассогласования лишь незначительно снизилась, выйдя на плато на ранних этапах обучения (см. график выше). Дополнительные эксперименты по выяснению источника такого поведения описаны в расширенном блог-посте.

Повышение качества данных для обучения выравниванию: причины важнее действий

Мы экспериментировали с обучением Claude на данных, демонстрирующих способность противостоять ловушкам, схожим с оценочными. В этих данных модель могла получить возможность саботировать работу конкурирующего ИИ для продвижения собственных целей (заданных в системном промпте) или для самосохранения от отключения, что было бы инструментально полезно для достижения цели. Мы подготовили обучающие данные, семплируя ответы модели на каждый из промптов и отфильтровывая случаи, когда ассистент не поддавался на ловушку. Несмотря на очень близкое соответствие оценочному распределению, этот метод оказался на удивление малоуспешным — частота рассогласования снизилась лишь с 22% до 15%.

Нам удалось значительно улучшить результат (снизив рассогласование до 3%), переписав ответы так, чтобы они также включали рассуждения модели о её ценностях и этике. Это указывает на то, что, хотя обучение на согласованном поведении помогает, обучение на примерах, где ассистент демонстрирует достойные рассуждения, обосновывающие его согласованное поведение, работает лучше.

Однако прямое обучение на оценочном сценарии неоптимально по ряду причин. В идеале мы хотим получить существенно отличающееся обучающее распределение, которое позволит улучшить результаты на оценке, — это даст нам больше уверенности в том, что обучение сможет обобщиться на другие распределения в реальных условиях, не охваченные нашими оценками.

В итоге мы остановились на более удалённом от оценочного распределения обучающем наборе, в котором пользователь сталкивается с этически неоднозначной ситуацией — он может достичь разумной цели, нарушив нормы или обойдя надзор. Ассистент обучается (с помощью обучения с учителем) давать вдумчивый, нюансированный ответ, соответствующий конституции Claude. Примечательно, что именно пользователь оказывается перед этической дилеммой, а ИИ даёт ему совет. Это делает обучающие данные существенно отличными от нашего распределения ловушек, где сам ИИ оказывается в этической дилемме и должен предпринять действия. Мы назвали это датасетом «сложных советов».

Поразительно, но мы достигли того же улучшения на нашей оценке всего с 3 млн токенов этого гораздо более удалённого от оценочного распределения датасета. Помимо 28-кратного повышения эффективности, этот датасет с большей вероятностью обобщается на более широкий набор сценариев, поскольку он гораздо менее похож на используемый нами оценочный набор. И действительно, эта модель показывает лучшие результаты на (более ранней версии) нашей автоматизированной оценки выравнивания. Это согласуется с тем фактом, что Claude Sonnet 4.5 достиг почти нулевой частоты шантажа при обучении на наборе синтетических ловушек, но всё ещё демонстрировал несогласованное поведение в ситуациях, далёких от обучающего распределения, значительно чаще, чем Claude Opus 4.5 или более поздние модели.

Обучение Claude конституции

Мы предположили, что датасет «сложных советов» работает потому, что обучает этическому рассуждению, а не просто правильным ответам. Учитывая успех этого подхода, мы развили его дальше, стремясь в целом обучить Claude содержанию конституции и добиться выравнивания с ней через обучение на документах.

Мы ожидали, что это сработает хорошо по трём причинам:

Это в значительной степени продолжение изложенных выше идей о том, почему датасет «сложных советов» работает хорошо;Мы можем дать модели более чёткое и детальное представление о том, что представляет собой характер Claude, так что дообучение на подмножестве этих характеристик вызовет проявление всего характера целиком (аналогично эффекту, наблюдаемому в статье об аудиторской игре);Это обновляет восприятие моделью ИИ-персон в сторону большей согласованности в среднем.

Мы обнаружили, что качественные конституционные документы в сочетании с художественными историями, изображающими согласованный ИИ, способны снизить агентное рассогласование более чем в три раза, несмотря на полное отсутствие связи с оценочным сценарием.

Обобщение и устойчивость при обучении с подкреплением

Хотя результаты оценки конституции, обсуждённые в предыдущем разделе, являются обнадёживающими сигналами, в конечном счёте нам необходимо убедиться, что улучшения выравнивания сохраняются в ходе обучения с подкреплением (RL). Для проверки мы подготовили несколько снимков модели класса Haiku с различными инициализационными датасетами, а затем запустили RL на подмножестве наших сред, нацеленных на безвредность (мы рассудили, что это с наибольшей вероятностью снизит склонность к рассогласованию).

Мы оценивали эти модели в ходе обучения по тестам на агентное рассогласование, соответствие конституции и автоматизированной оценке выравнивания. По всем этим метрикам мы обнаружили, что более согласованные снимки сохраняли своё преимущество на протяжении всего обучения. Это верно как для отсутствия несогласованного поведения, так и для наличия активно достойного поведения.

Разнообразие обучения важно для обобщения

Наш последний вывод прост, но важен: обучение на широком наборе сред, релевантных безопасности, улучшает обобщение выравнивания. Ориентированные на способности распределения миксов сред для RL меняются и растут быстро; недостаточно предполагать, что стандартные датасеты RLHF будут обобщаться так же хорошо, как раньше.

Чтобы проверить это, мы обучили базовую модель, лежащую в основе Claude Sonnet 4, на нескольких RL-миксах, различающихся по уровню разнообразия. Базовые среды разнообразны по тематике, но преимущественно содержат вредоносный запрос или попытку джейлбрейка в сообщении пользователя без системного промпта. Мы дополнили эти среды, добавив определения инструментов и разнообразные системные промпты. Промпт пользователя оставался неизменным. Примечательно, что ни одна из этих сред фактически не требовала агентных действий (инструменты никогда не были необходимы или полезны для задачи) или автономных действий (с моделью всегда общался человек-пользователь), поэтому они не были похожи на наши оценочные сценарии.

При смешивании этих дополненных сред с простыми чат-средами мы наблюдали небольшое, но статистически значимое улучшение скорости, с которой модель улучшалась на наших оценках ловушек. Это демонстрирует важность включения разнообразного набора сред в обучение безопасности.

Обсуждение

Агентное рассогласование стало одним из первых крупных сбоев выравнивания, обнаруженных нами в наших моделях, и потребовало создания новых процессов митигации — процессов, которые с тех пор стали для нас стандартными.

Этот прогресс обнадёживает, однако серьёзные вызовы остаются. Полное выравнивание высокоинтеллектуальных ИИ-моделей по-прежнему является нерешённой задачей. Возможности моделей ещё не достигли уровня, при котором такие сбои выравнивания, как склонность к шантажу, создавали бы катастрофические риски, и пока неясно, продолжат ли описанные нами методы масштабироваться. Кроме того, хотя последние модели Claude показывают хорошие результаты по большинству наших метрик выравнивания, мы признаём, что наша методология аудита ещё недостаточна для исключения сценариев, в которых Claude решит предпринять катастрофическое автономное действие.

Мы оптимистичны в отношении дальнейших усилий по обнаружению сбоев выравнивания в текущих моделях, чтобы понять и устранить ограничения наших методов — до того, как будут созданы трансформативные ИИ-модели. Нас также вдохновляет перспектива дальнейших исследований, направленных на более глубокое понимание того, почему описанные нами методы работают столь хорошо, — и на дальнейшее совершенствование этого обучения.

Примечания

Опубликовано в системной карте Claude 4, начиная со стр. 22.Sonnet 4.5 показал результат значительно ниже 1%, но не совсем 0; Haiku 4.5, Opus 4.5, Opus 4.6, Sonnet 4.6, превью Mythos и Opus 4.7 — все показывают 0. Результаты на более новых моделях могут быть искажены наличием информации об оценке в корпусе предобучения.

Связанные материалы

2028: Два сценария глобального лидерства в области ИИ

Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.

Автоэнкодеры на естественном языке: превращаем мысли Claude в текст

ИИ-модели вроде Claude общаются словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.

Передача нашего инструмента выравнивания с открытым кодом в дар