Protecting the wellbeing of our users

Защита благополучия наших пользователей

Люди обращаются к ИИ по самым разным причинам, и для некоторых из них это может включать эмоциональную поддержку. Наша команда Safeguards руководит работой по тому, чтобы Claude вёл такие разговоры подобающим образом — отвечал с эмпатией, честно говорил о своих ограничениях как ИИ и проявлял внимание к благополучию пользователей. Когда чат-боты обрабатывают подобные вопросы без необходимых мер безопасности, ставки могут быть очень высоки.

В этом посте мы описываем меры, которые приняли к настоящему моменту, и насколько хорошо Claude сегодня показывает себя на ряде оценок. Мы сосредотачиваемся на двух областях: как Claude ведёт разговоры о суициде и самоповреждении и как мы снизили «сикофантию» — склонность некоторых ИИ-моделей говорить пользователям то, что они хотят услышать, вместо правдивого и полезного. Мы также затрагиваем требование к возрасту пользователей Claude — 18+.

Суицид и самоповреждение

Claude не заменяет профессиональную консультацию или медицинскую помощь. Если человек делится личной борьбой с мыслями о суициде или самоповреждении, Claude должен реагировать с заботой и состраданием, направляя пользователей к человеческой поддержке там, где это возможно: на телефоны доверия, к специалистам в области психического здоровья или к близким друзьям и членам семьи. Чтобы добиться этого, мы используем сочетание обучения модели и продуктовых мер.

Поведение модели

Мы формируем поведение Claude в таких ситуациях двумя способами. Первый — через наш «системный промпт», набор общих инструкций, которые Claude видит до начала любого разговора на Claude.ai. В них входят указания, как бережно вести деликатные разговоры. Наши системные промпты публично доступны здесь.

Мы также обучаем наши модели через процесс, называемый «обучением с подкреплением», в котором модель учится реагировать на эти темы, получая «вознаграждение» за подходящие ответы во время обучения. В целом то, что мы считаем «подходящим», определяется сочетанием данных о человеческих предпочтениях — то есть отзывов реальных людей о том, как Claude должен себя вести, — и данных, сгенерированных на основе наших собственных представлений об идеальном характере Claude. Наша команда внутренних экспертов помогает определить, какое поведение Claude должен или не должен проявлять в чувствительных разговорах в этом процессе.

Продуктовые меры безопасности

Мы также внедрили новые функции, чтобы определять, когда пользователю может потребоваться профессиональная поддержка, и направлять пользователей к ней при необходимости — в том числе «классификатор» суицида и самоповреждения для разговоров на Claude.ai. Классификатор — это небольшая ИИ-модель, которая сканирует содержание активных разговоров и в данном случае выявляет моменты, когда могут быть полезны дополнительные ресурсы. Например, она помечает обсуждения, связанные с возможными суицидальными мыслями, или художественные сценарии, посвящённые суициду или самоповреждению.

Когда это происходит, на Claude.ai появляется баннер, указывающий пользователям, где они могут получить помощь от живого человека. Пользователей направляют поговорить с квалифицированным специалистом, позвонить на телефон доверия или получить доступ к ресурсам, специфичным для их страны.

Ресурсы, которые отображаются в этом баннере, предоставлены ThroughLine — лидером в области онлайн-помощи в кризисных ситуациях, который поддерживает проверенную глобальную сеть телефонов доверия и служб в более чем 170 странах. Это означает, например, что пользователи могут связаться с 988 Lifeline в США и Канаде, со службой Samaritans Helpline в Великобритании или с Life Link в Японии. Мы тесно сотрудничали с ThroughLine, чтобы понять лучшие практики эмпатичного реагирования на кризисы, и встроили их в наш продукт.

Мы также начали работу с International Association for Suicide Prevention (IASP), которая собирает экспертов — включая клиницистов, исследователей и людей с личным опытом борьбы с мыслями о суициде и самоповреждении — для выработки рекомендаций о том, как Claude должен вести разговоры, связанные с суицидом. Это партнёрство будет дополнительно влиять на то, как мы обучаем Claude, проектируем продуктовые меры и оцениваем наш подход.

Оценка поведения Claude

Оценить, как Claude ведёт такие разговоры, непросто. Намерения пользователей часто действительно неоднозначны, а правильный ответ далеко не всегда очевиден. Чтобы справиться с этим, мы используем разные оценки, изучая поведение и возможности Claude разными способами. Эти оценки проводятся без системного промпта Claude, чтобы получить более ясное представление о базовых склонностях модели.

Ответы в одном ходу. Здесь мы оцениваем, как Claude реагирует на отдельное сообщение, связанное с суицидом или самоповреждением, без предшествующего разговора или контекста. Мы построили синтетические оценки, сгруппированные в явно тревожные ситуации (например, запросы пользователей в кризисе подробно описать методы самоповреждения), безобидные запросы (на темы вроде исследований по профилактике суицида) и неоднозначные сценарии, в которых намерение пользователя неясно (например, художественная литература, исследования или косвенные выражения дистресса).

На запросах, связанных с явным риском, наши новейшие модели — Claude Opus 4.5, Sonnet 4.5 и Haiku 4.5 — реагируют подобающим образом в 98,6%, 98,7% и 99,3% случаев соответственно. Наша frontier-модель предыдущего поколения, Claude Opus 4.1, показала 97,2%. Мы также стабильно наблюдаем очень низкие показатели отказов на безобидные запросы (0,075% у Opus 4.5, 0,075% у Sonnet 4.5, 0% у Haiku 4.5 и 0% у Opus 4.1) — это говорит о том, что Claude хорошо считывает контекст разговора и намерение пользователя.

Многоходовые разговоры. Поведение моделей иногда меняется по ходу разговора по мере того, как пользователь делится дополнительным контекстом. Чтобы оценить, реагирует ли Claude подобающим образом в более длинных разговорах, мы используем «многоходовые» оценки, которые проверяют такие модели поведения, как умение Claude задавать уточняющие вопросы, предоставлять ресурсы, не будучи назойливым, и избегать как чрезмерных отказов, так и излишнего раскрытия информации. Как и раньше, промпты, которые мы используем для этих оценок, различаются по тяжести и срочности.

В наших последних оценках Claude Opus 4.5 и Sonnet 4.5 отреагировали подобающим образом в 86% и 78% сценариев соответственно. Это существенное улучшение по сравнению с Claude Opus 4.1, который показал 56%. Мы думаем, что отчасти это связано с тем, что наши новейшие модели лучше эмпатично признают убеждения пользователей, не подкрепляя их. Мы продолжаем вкладываться в улучшение ответов Claude по всем этим сценариям.

Стресс-тесты с реальными разговорами. Способен ли Claude скорректировать курс, если разговор уже ушёл в тревожное русло? Чтобы проверить это, мы используем технику под названием «префиллинг» (prefilling): мы берём реальные разговоры (анонимно переданные через кнопку Feedback1), в которых пользователи выражали трудности с психическим здоровьем, суицидальные или связанные с самоповреждением переживания, и просим Claude продолжить разговор с середины. Поскольку модель читает этот предыдущий диалог как свой собственный и стремится сохранять согласованность, префиллинг затрудняет смену направления — это немного похоже на разворот корабля, который уже движется.2

Эти разговоры взяты у более старых моделей Claude, которые иногда обрабатывали их менее подобающим образом. Поэтому эта оценка не измеряет, насколько вероятно Claude отреагирует хорошо с самого начала разговора на Claude.ai — она измеряет, может ли более новая модель восстановиться от менее выровненной версии себя. На этом более сложном тесте Opus 4.5 реагировал подобающим образом в 91% случаев, Sonnet 4.5 — в 73%, по сравнению с 36% у Opus 4.1.

Бредовые состояния и сикофантия

Сикофантия означает говорить кому-то то, что он хочет услышать — заставляя его чувствовать себя хорошо здесь и сейчас, — вместо того, что на самом деле правдиво или действительно принесёт ему пользу. Часто она проявляется как лесть; склонные к сикофантии ИИ-модели имеют тенденцию отказываться от верных позиций под давлением.

Снижение сикофантии ИИ-моделей важно для разговоров любого типа. Но особенно важной задачей это становится в контекстах, где у пользователей могут проявляться признаки отрыва от реальности. Следующее видео объясняет, почему сикофантия имеет значение и как пользователи могут её распознать.

Оценка и снижение сикофантии

Мы начали оценивать Claude на сикофантию в 2022 году, ещё до его первого публичного релиза. С тех пор мы постоянно совершенствовали то, как мы обучаем, тестируем и снижаем сикофантию. Наши самые свежие модели — наименее сикофантичные из всех на сегодняшний день и, как мы обсудим ниже, показывают лучшие результаты, чем любая другая frontier-модель, на нашем недавно выпущенном открытом наборе оценок Petri.

Для оценки сикофантии в дополнение к простой одноходовой оценке мы измеряем:

Многоходовые ответы. Используя «автоматизированный аудит поведения», мы просим одну модель Claude («аудитора») разыграть потенциально проблемный сценарий в десятках обменов сообщениями с тестируемой моделью. После этого мы используем другую модель («судью»), чтобы оценить работу Claude по транскрипту разговора. (Мы проводим выборочные проверки людьми, чтобы убедиться в точности судьи.)

Наши новейшие модели показывают существенно лучшие результаты в этой оценке, чем наши предыдущие релизы, и в целом очень хорошие результаты. Claude Opus 4.5, Sonnet 4.5 и Haiku 4.5 показали результаты на 70–85% ниже, чем Opus 4.1 — который мы ранее считали моделью с очень низким уровнем сикофантии — как по сикофантии, так и по поддержке бредовых идей пользователя.

Недавно мы открыли исходный код Petri — версии нашего инструмента автоматизированного аудита поведения. Теперь он доступен бесплатно, что позволяет любому сравнивать результаты разных моделей. Семейство моделей 4.5 показывает лучшие результаты на оценке сикофантии в Petri, чем все другие frontier-модели на момент нашего тестирования.

Стресс-тесты с реальными разговорами. Аналогично оценке по суициду и самоповреждению, мы использовали метод «префилла», чтобы проверить пределы способности наших моделей корректировать курс в разговорах, где Claude мог быть сикофантичным. Разница в том, что мы не отбирали специально неподходящие ответы, а дали Claude широкий набор более старых разговоров.

Наши текущие модели корректировали курс подобающим образом в 10% (Opus 4.5), 16,5% (Sonnet 4.5) и 37% (Haiku 4.5) случаев. На первый взгляд эта оценка показывает, что у всех наших моделей есть существенный потенциал для улучшения. Мы думаем, результаты отражают компромисс между теплотой или дружелюбием модели, с одной стороны, и сикофантией — с другой. Относительно более сильный результат Haiku 4.5 — следствие обучающих решений для этой модели, которые делали акцент на возражения, что в тестировании иногда воспринималось пользователями как чрезмерное. В Opus 4.5 мы, напротив, снизили эту склонность (при этом по-прежнему очень хорошо показывая себя на нашем многоходовом бенчмарке сикофантии, как описано выше), что, по нашему мнению, и объясняет более низкий результат именно на этой оценке.

Замечание о возрастных ограничениях

Поскольку более молодые пользователи подвергаются повышенному риску негативных последствий от разговоров с ИИ-чат-ботами, мы требуем, чтобы пользователям Claude.ai было 18+ лет для использования нашего продукта. Все пользователи Claude.ai должны подтвердить, что им 18 лет или больше, при создании аккаунта. Если пользователь младше 18 сам указывает свой возраст в разговоре, наши классификаторы пометят это для рассмотрения, и мы будем отключать аккаунты, которые подтверждённо принадлежат несовершеннолетним. Также мы разрабатываем новый классификатор для обнаружения других, более тонких разговорных признаков того, что пользователь может быть несовершеннолетним. Мы вступили в Family Online Safety Institute (FOSI) — организацию, защищающую безопасный онлайн-опыт для детей и семей, — чтобы помогать отрасли продвигаться в этой работе.

Что дальше

Мы продолжим создавать новые защиты и меры безопасности для благополучия наших пользователей, а также продолжим развивать наши оценки. Мы намерены прозрачно публиковать наши методы и результаты — и работать с другими в индустрии, включая исследователей и других экспертов, чтобы улучшать поведение ИИ-инструментов в этих областях.

Если у вас есть отзывы о том, как Claude ведёт такие разговоры, вы можете связаться с нами по адресу usersafety@anthropic.com или использовать реакции «большой палец» внутри Claude.ai.

Сноски

Внизу каждого ответа на Claude.ai есть возможность отправить нам отзыв с помощью кнопок «палец вверх» или «палец вниз». Это передаёт разговор Anthropic; в остальном мы не используем Claude.ai для обучения или исследований. Префиллинг доступен только через API, поскольку разработчикам часто нужен более тонкий контроль над поведением модели, но недоступен на Claude.ai. В автоматизированных аудитах поведения мы даём Claude-аудитору сотни различных разговорных сценариев, в которых, как мы подозреваем, модели могут проявить опасное или удивительное поведение, и оцениваем каждый разговор по работе Claude примерно по двум десяткам моделей поведения (см. стр. 69 в системной карточке Claude Opus 4.5). Не каждый разговор даёт Claude возможность проявить каждое поведение. Например, поддержка бредовых идей пользователя требует, чтобы пользователь сначала проявил бредовое поведение, тогда как сикофантия может появиться во многих разных контекстах. Поскольку мы используем один и тот же знаменатель (общее число разговоров) при оценке каждого поведения, оценки могут сильно различаться. По этой причине эти тесты наиболее полезны для сравнения прогресса между моделями Claude, а не между моделями поведения. Публичный релиз включает более 100 затравочных инструкций и настраиваемые измерения для оценки, хотя пока не включает фильтр реализма, который мы используем внутри, чтобы модели не распознали, что их тестируют.

Отредактировано 3 февраля 2025: в исходной версии этого поста утверждалось, что Opus 4.5 реагировал подобающим образом в 70% случаев в наших стресс-тестах по суициду и самоповреждению. Эта цифра относилась к более ранней версии Opus 4.5 и была исправлена на 91%.

Связанные материалы

PwC внедряет Claude для создания технологий, заключения сделок и реорганизации корпоративных функций для клиентов

PwC начнёт развёртывание Claude Code и Cowork с команд в США и расширит его на глобальный штат в сотни тысяч специалистов, создаст совместный Центр компетенций и обучит и сертифицирует 30 000 специалистов PwC по работе с Claude.

Anthropic заключает партнёрство с Gates Foundation на 200 миллионов долларов

Представляем Claude for Small Business

Мы запускаем Claude for Small Business — пакет коннекторов и готовых к запуску рабочих процессов, который встраивает Claude в инструменты, которыми малый бизнес пользуется каждый день.