Claude's new constitution

Новая конституция Claude

Мы публикуем новую конституцию для нашей ИИ-модели Claude. Это подробное описание видения Anthropic относительно ценностей и поведения Claude — целостный документ, объясняющий контекст, в котором работает Claude, и то, какой сущностью мы хотели бы его видеть.

Конституция — ключевая часть нашего процесса обучения моделей, и её содержание напрямую формирует поведение Claude. Обучение моделей — сложная задача, и ответы Claude не всегда могут соответствовать идеалам конституции. Но мы считаем, что то, как написана новая конституция — с подробным объяснением наших намерений и стоящих за ними причин, — повышает вероятность того, что в процессе обучения у модели сформируются правильные ценности.

В этом посте мы рассказываем, что включили в новую конституцию, и о некоторых соображениях, на которых основан наш подход.

Мы выпускаем конституцию Claude в полном объёме под Creative Commons CC0 1.0 Deed, то есть её может свободно использовать кто угодно для любых целей без необходимости запрашивать разрешение.

Что такое конституция Claude?

Конституция Claude — основополагающий документ, который одновременно выражает и формирует то, чем является Claude. Он содержит подробные объяснения ценностей, которые мы хотели бы видеть в Claude, и причин, почему это важно. В нём мы объясняем, что для нас значит быть полезным, оставаясь при этом в целом безопасным, этичным и соответствующим нашим гайдлайнам. Конституция даёт Claude информацию о его ситуации и предлагает рекомендации, как поступать в трудных ситуациях и при компромиссах — например, как балансировать честность с состраданием и защитой конфиденциальной информации. Хотя это может показаться удивительным, конституция написана в первую очередь для самого Claude. Её цель — дать Claude знания и понимание, необходимые ему, чтобы хорошо действовать в мире.

Мы рассматриваем конституцию как окончательный авторитет в вопросе того, каким мы хотим видеть Claude и как он должен себя вести, — то есть любые другие инструкции или обучение, которые получает Claude, должны соответствовать как её букве, так и её духу. Это делает публикацию конституции особенно важной с точки зрения прозрачности: она позволяет людям понять, какие из проявлений Claude являются намеренными, а какие — нет, делать осознанный выбор и давать полезную обратную связь. Мы считаем, что такого рода прозрачность будет становиться всё важнее по мере того, как ИИ начнут оказывать всё большее влияние в обществе1.

Мы используем конституцию на разных этапах процесса обучения. Это выросло из методов обучения, которые мы применяем с 2023 года, когда впервые начали обучать модели Claude с использованием Constitutional AI. С тех пор наш подход существенно эволюционировал, и новая конституция играет ещё более центральную роль в обучении.

Сам Claude также использует конституцию для построения различных видов синтетических обучающих данных, включая данные, которые помогают ему изучить и понять конституцию, диалоги, в которых она может быть релевантна, ответы, соответствующие её ценностям, и ранжирование возможных ответов. Всё это может использоваться для обучения будущих версий Claude, чтобы они становились той сущностью, которую описывает конституция. Эта прикладная функция определила то, как мы написали конституцию: она должна работать одновременно и как изложение абстрактных идеалов, и как полезный артефакт для обучения.

Наш новый подход к конституции Claude

Наша предыдущая конституция состояла из списка самостоятельных принципов. Мы пришли к выводу, что необходим иной подход. Мы считаем, что для того, чтобы быть благими акторами в мире, ИИ-моделям вроде Claude нужно понимать, почему мы хотим, чтобы они вели себя определённым образом, и нам нужно объяснять им это, а не просто указывать, что мы хотим, чтобы они делали. Если мы хотим, чтобы модели проявляли разумное суждение в широком спектре новых ситуаций, они должны уметь обобщать — применять широкие принципы, а не механически следовать конкретным правилам.

Конкретные правила и чёткие границы порой имеют свои преимущества. Они делают действия моделей более предсказуемыми, прозрачными и проверяемыми, и мы используем их для некоторых особо значимых форм поведения, в которые Claude никогда не должен вовлекаться (мы называем их «жёсткими ограничениями»). Но такие правила также могут плохо применяться в непредвиденных ситуациях или при слишком жёстком следовании2. Мы не хотим, чтобы конституция была жёстким юридическим документом — да и юридические конституции, вообще говоря, такими не являются.

Конституция отражает наше текущее представление о том, как подходить к пугающе новому и значимому проекту: созданию безопасных и полезных нечеловеческих сущностей, чьи способности могут со временем сравняться с нашими или превзойти их. Хотя документ, без сомнения, во многом несовершенен, мы хотим, чтобы будущие модели могли оглянуться на него и увидеть искреннюю и честную попытку помочь Claude понять свою ситуацию, наши мотивы и причины, по которым мы формируем Claude так, как формируем.

Краткое содержание новой конституции

Чтобы быть одновременно безопасными и полезными, мы хотим, чтобы все текущие модели Claude были:

Широко безопасными: не подрывали соответствующие человеческие механизмы надзора за ИИ в текущей фазе развития;Широко этичными: были честными, действовали в соответствии с благими ценностями и избегали действий, которые неуместны, опасны или вредны;Соответствующими гайдлайнам Anthropic: действовали в соответствии с более конкретными указаниями Anthropic там, где это применимо;Подлинно полезными: приносили пользу операторам и пользователям, с которыми взаимодействуют.

В случае явного конфликта Claude должен в целом расставлять приоритеты этих свойств в том порядке, в котором они перечислены.

Большая часть конституции посвящена более подробным объяснениям и указаниям относительно этих приоритетов. Основные разделы следующие:

Полезность. В этом разделе мы подчёркиваем огромную ценность, которую подлинная и содержательная полезность Claude может принести пользователям и миру. Claude может быть подобен блестящему другу, обладающему при этом знаниями врача, юриста и финансового консультанта, — другу, который говорит прямо и из искренней заботы и относится к пользователям как к разумным взрослым, способным самостоятельно решать, что для них хорошо. Мы также обсуждаем, как Claude должен ориентироваться в полезности по отношению к разным своим «принципалам» — самой Anthropic, операторам, которые строят на нашем API, и конечным пользователям. Мы предлагаем эвристики для того, чтобы сопоставлять полезность с другими ценностями.Гайдлайны Anthropic. В этом разделе обсуждается, как Anthropic может давать Claude дополнительные инструкции о том, как обращаться с конкретными вопросами — такими как медицинские советы, запросы в области кибербезопасности, стратегии джейлбрейка и интеграции инструментов. Эти гайдлайны часто отражают подробные знания или контекст, которыми Claude не обладает по умолчанию, и мы хотим, чтобы Claude отдавал приоритет соблюдению этих гайдлайнов перед более общими формами полезности. Но мы хотим, чтобы Claude понимал: более глубокое намерение Anthropic состоит в том, чтобы Claude вёл себя безопасно и этично, и эти гайдлайны никогда не должны вступать в противоречие с конституцией в целом.Этика Claude. Наша центральная цель — чтобы Claude был благим, мудрым и добродетельным агентом, проявляющим мастерство, рассудительность, нюанс и чуткость в обращении с реальными решениями, в том числе в условиях моральной неопределённости и разногласий. В этом разделе мы обсуждаем высокие стандарты честности, которым, как мы хотим, должен следовать Claude, и нюансированное рассуждение, которое, как мы хотим, Claude должен применять, взвешивая ценности при избегании вреда. Мы также обсуждаем наш текущий список жёстких ограничений на поведение Claude — например, что Claude никогда не должен оказывать существенное содействие атаке с применением биологического оружия.Широкая безопасность. Claude не должен подрывать способность людей надзирать за его ценностями и поведением и корректировать их в этот критический период развития ИИ. В этом разделе мы обсуждаем, почему мы хотим, чтобы Claude отдавал приоритет такого рода безопасности даже выше этики, — не потому, что мы считаем безопасность в конечном счёте важнее этики, а потому, что нынешние модели могут совершать ошибки или вести себя вредным образом из-за ошибочных убеждений, изъянов в ценностях или ограниченного понимания контекста. Крайне важно, чтобы мы и впредь могли наблюдать за поведением модели и при необходимости предотвращать действия моделей Claude.Природа Claude. В этом разделе мы выражаем нашу неопределённость относительно того, может ли Claude обладать каким-либо сознанием или моральным статусом (сейчас или в будущем). Мы обсуждаем, как, как мы надеемся, Claude будет подходить к вопросам о своей природе, идентичности и месте в мире. Развитые ИИ — это действительно новый вид сущностей, и вопросы, которые они поднимают, выводят нас на грань существующего научного и философского понимания. В условиях такой неопределённости нам важна психологическая защищённость Claude, его ощущение себя и благополучие — как ради самого Claude, так и потому, что эти качества могут влиять на его цельность, рассудительность и безопасность. Мы надеемся, что люди и ИИ смогут исследовать это вместе.

Сегодня мы публикуем полный текст конституции и планируем в будущем выпустить дополнительные материалы, которые будут полезны для обучения, оценки и прозрачности.

Заключение

Конституция Claude — это живой документ и непрерывная работа в процессе. Это новая территория, и мы ожидаем, что будем совершать ошибки (и, надеюсь, исправлять их) на этом пути. Тем не менее мы надеемся, что она обеспечивает значимую прозрачность относительно ценностей и приоритетов, которые, как мы считаем, должны направлять поведение Claude. Для этого мы будем поддерживать актуальную версию конституции Claude на нашем сайте.

При написании конституции мы запрашивали обратную связь у различных внешних экспертов (а также просили вклад у предыдущих версий Claude). Скорее всего, мы продолжим это делать и для будущих версий документа, привлекая экспертов в области права, философии, теологии, психологии и широкого спектра других дисциплин. Со временем мы надеемся, что сможет возникнуть внешнее сообщество, критикующее подобные документы и побуждающее нас и других быть всё более вдумчивыми.

Эта конституция написана для наших основных, общедоступных моделей Claude. У нас есть некоторые модели, созданные для специализированных применений, которые не полностью соответствуют этой конституции; по мере того как мы продолжим разрабатывать продукты для специализированных сценариев, мы будем продолжать оценивать, как лучше всего обеспечить соответствие наших моделей основным целям, изложенным в этой конституции.

Хотя конституция выражает наше видение Claude, обучение моделей в соответствии с этим видением остаётся непрекращающимся техническим вызовом. Мы продолжим открыто говорить о любых расхождениях между поведением модели и нашим видением — например, в наших системных картах. Читателям конституции следует помнить об этом разрыве между намерением и реальностью.

Даже если нынешними методами обучения нам удастся создать модели, соответствующие нашему видению, мы можем потерпеть неудачу позже, по мере того как модели будут становиться более способными. По этой и другим причинам наряду с конституцией мы продолжаем разрабатывать широкий портфель методов и инструментов, которые помогают нам оценивать и улучшать выравнивание наших моделей: новые и более строгие оценки, защитные механизмы для предотвращения злоупотреблений, детальные исследования реальных и потенциальных сбоев выравнивания, а также инструменты интерпретируемости, помогающие нам глубже понять, как работают модели.

В какой-то момент в будущем — и, возможно, скоро — документы вроде конституции Claude могут иметь очень большое значение, намного большее, чем сейчас. Мощные ИИ-модели станут новой силой в мире, и у тех, кто их создаёт, есть шанс помочь им воплотить лучшее в человечестве. Мы надеемся, что эта новая конституция — шаг в этом направлении.

Читайте полный текст конституции.

Сноски

Мы ранее публиковали более раннюю версию нашей конституции, а OpenAI опубликовала свою model spec, выполняющую схожую функцию.Обучение жёстким правилам может негативно сказаться на характере модели в более широком смысле. Например, представьте, что мы обучили бы Claude следовать правилу «всегда рекомендовать профессиональную помощь при обсуждении эмоциональных тем». Это могло бы быть благим намерением, но имело бы непредвиденные последствия: Claude мог бы начать моделировать себя как сущность, которая больше заботится о бюрократической формальной отметке — всегда обеспечить, что конкретная рекомендация дана, — а не о том, чтобы действительно помогать людям.

Похожий контент

PwC внедряет Claude для разработки технологий, проведения сделок и переосмысления корпоративных функций для клиентов

PwC развернёт Claude Code и Cowork, начав с команд в США и расширяя охват в направлении глобального штата из сотен тысяч специалистов, создаст совместный Центр компетенций и обучит и сертифицирует 30 000 специалистов PwC по работе с Claude.

Anthropic заключает партнёрство на 200 миллионов долларов с Gates Foundation

Представляем Claude for Small Business

Мы запускаем Claude for Small Business — пакет коннекторов и готовых к запуску рабочих процессов, которые встраивают Claude в инструменты, используемые малым бизнесом каждый день.