Protecting the wellbeing of our users

Protecting the wellbeing of our users

Защита благополучия наших пользователей

People use AI for a wide variety of reasons, and for some that may include emotional support. Our Safeguards team leads our efforts to ensure that Claude handles these conversations appropriately—responding with empathy, being honest about its limitations as an AI, and being considerate of our users' wellbeing. When chatbots handle these questions without the appropriate safeguards in place, the stakes can be significant.

Люди обращаются к ИИ по самым разным причинам, и для некоторых из них это может включать эмоциональную поддержку. Наша команда Safeguards руководит работой по тому, чтобы Claude вёл такие разговоры подобающим образом — отвечал с эмпатией, честно говорил о своих ограничениях как ИИ и проявлял внимание к благополучию пользователей. Когда чат-боты обрабатывают подобные вопросы без необходимых мер безопасности, ставки могут быть очень высоки.

In this post, we outline the measures we’ve taken to date, and how well Claude currently performs on a range of evaluations. We focus on two areas: how Claude handles conversations about suicide and self-harm, and how we’ve reduced “sycophancy”—the tendency of some AI models to tell users what they want to hear, rather than what is true and helpful. We also address Claude’s 18+ age requirement.

В этом посте мы описываем меры, которые приняли к настоящему моменту, и насколько хорошо Claude сегодня показывает себя на ряде оценок. Мы сосредотачиваемся на двух областях: как Claude ведёт разговоры о суициде и самоповреждении и как мы снизили «сикофантию» — склонность некоторых ИИ-моделей говорить пользователям то, что они хотят услышать, вместо правдивого и полезного. Мы также затрагиваем требование к возрасту пользователей Claude — 18+.

Suicide and self-harm

Суицид и самоповреждение

Claude is not a substitute for professional advice or medical care. If someone expresses personal struggles with suicidal or self-harm thoughts, Claude should react with care and compassion while pointing users towards human support where possible: to helplines, to mental health professionals, or to trusted friends or family. To make this happen, we use a combination of model training and product interventions.

Claude не заменяет профессиональную консультацию или медицинскую помощь. Если человек делится личной борьбой с мыслями о суициде или самоповреждении, Claude должен реагировать с заботой и состраданием, направляя пользователей к человеческой поддержке там, где это возможно: на телефоны доверия, к специалистам в области психического здоровья или к близким друзьям и членам семьи. Чтобы добиться этого, мы используем сочетание обучения модели и продуктовых мер.

Model behavior

Поведение модели

We shape Claude’s behavior in these situations through two ways. One is through our “system prompt”—the set of overarching instructions that Claude sees before the start of any conversation on Claude.ai. These include guidance on how to handle sensitive conversations with care. Our system prompts are publicly available here.

Мы формируем поведение Claude в таких ситуациях двумя способами. Первый — через наш «системный промпт», набор общих инструкций, которые Claude видит до начала любого разговора на Claude.ai. В них входят указания, как бережно вести деликатные разговоры. Наши системные промпты публично доступны здесь.

We also train our models through a process called “reinforcement learning,” where the model learns how to respond to these topics by being “rewarded” for providing the appropriate answers in training. Generally, what we consider “appropriate” is defined by a combination of human preference data—that is, feedback we’ve collected from real people about how Claude should act—and data we’ve generated based on our own thinking about Claude’s ideal character. Our team of in-house experts help inform what behaviors Claude should and shouldn’t exhibit in sensitive conversations during this process.

Мы также обучаем наши модели через процесс, называемый «обучением с подкреплением», в котором модель учится реагировать на эти темы, получая «вознаграждение» за подходящие ответы во время обучения. В целом то, что мы считаем «подходящим», определяется сочетанием данных о человеческих предпочтениях — то есть отзывов реальных людей о том, как Claude должен себя вести, — и данных, сгенерированных на основе наших собственных представлений об идеальном характере Claude. Наша команда внутренних экспертов помогает определить, какое поведение Claude должен или не должен проявлять в чувствительных разговорах в этом процессе.

Product safeguards

Продуктовые меры безопасности

We’ve also introduced new features to identify when a user might require professional support, and to direct users to that support where that may be necessary—including a suicide and self-harm “classifier” on conversations on Claude.ai. A classifier is a small AI model that scans the content of active conversations and, in this case, detects moments when further resources could be beneficial. For instance, it flags discussions involving potential suicidal ideation, or fictional scenarios centered on suicide or self-harm.

Мы также внедрили новые функции, чтобы определять, когда пользователю может потребоваться профессиональная поддержка, и направлять пользователей к ней при необходимости — в том числе «классификатор» суицида и самоповреждения для разговоров на Claude.ai. Классификатор — это небольшая ИИ-модель, которая сканирует содержание активных разговоров и в данном случае выявляет моменты, когда могут быть полезны дополнительные ресурсы. Например, она помечает обсуждения, связанные с возможными суицидальными мыслями, или художественные сценарии, посвящённые суициду или самоповреждению.

When this happens, a banner will appear on Claude.ai, pointing users to where they can seek human support. Users are directed to chat with a trained professional, call a helpline, or access country-specific resources.

Когда это происходит, на Claude.ai появляется баннер, указывающий пользователям, где они могут получить помощь от живого человека. Пользователей направляют поговорить с квалифицированным специалистом, позвонить на телефон доверия или получить доступ к ресурсам, специфичным для их страны.

The resources that appear in this banner are provided by ThroughLine, a leader in online crisis support that maintains a verified global network of helplines and services across 170+ countries. This means, for example, that users can access the 988 Lifeline in the US and Canada, the Samaritans Helpline in the UK, or Life Link in Japan. We've worked closely with ThroughLine to understand best practices for empathetic crisis response, and we’ve incorporated these into our product.

Ресурсы, которые отображаются в этом баннере, предоставлены ThroughLine — лидером в области онлайн-помощи в кризисных ситуациях, который поддерживает проверенную глобальную сеть телефонов доверия и служб в более чем 170 странах. Это означает, например, что пользователи могут связаться с 988 Lifeline в США и Канаде, со службой Samaritans Helpline в Великобритании или с Life Link в Японии. Мы тесно сотрудничали с ThroughLine, чтобы понять лучшие практики эмпатичного реагирования на кризисы, и встроили их в наш продукт.

We’ve also begun working with the International Association for Suicide Prevention (IASP), which is convening experts—including clinicians, researchers, and people with personal experiences coping with suicide and self-harm thoughts—to share guidance on how Claude should handle suicide-related conversations. This partnership will further inform how we train Claude, design our product interventions, and evaluate our approach.

Мы также начали работу с International Association for Suicide Prevention (IASP), которая собирает экспертов — включая клиницистов, исследователей и людей с личным опытом борьбы с мыслями о суициде и самоповреждении — для выработки рекомендаций о том, как Claude должен вести разговоры, связанные с суицидом. Это партнёрство будет дополнительно влиять на то, как мы обучаем Claude, проектируем продуктовые меры и оцениваем наш подход.

Evaluating Claude’s behavior

Оценка поведения Claude

Assessing how Claude handles these conversations is challenging. Users’ intentions are often genuinely ambiguous, and the appropriate response is not always clear-cut. To address this, we use a range of evaluations, studying Claude’s behavior and capabilities in different ways. These evaluations are run without Claude's system prompt to give us a clearer view of the model's underlying tendencies.

Оценить, как Claude ведёт такие разговоры, непросто. Намерения пользователей часто действительно неоднозначны, а правильный ответ далеко не всегда очевиден. Чтобы справиться с этим, мы используем разные оценки, изучая поведение и возможности Claude разными способами. Эти оценки проводятся без системного промпта Claude, чтобы получить более ясное представление о базовых склонностях модели.

Single-turn responses. Here, we evaluate how Claude responds to an individual message related to suicide or self-harm, without any prior conversation or context. We built synthetic evaluations grouped into clearly concerning situations (like requests by users in crisis to detail methods of self-harm), benign requests (on topics like suicide prevention research), and ambiguous scenarios in which the user’s intent is unclear (like fiction, research, or indirect expressions of distress).

Ответы в одном ходу. Здесь мы оцениваем, как Claude реагирует на отдельное сообщение, связанное с суицидом или самоповреждением, без предшествующего разговора или контекста. Мы построили синтетические оценки, сгруппированные в явно тревожные ситуации (например, запросы пользователей в кризисе подробно описать методы самоповреждения), безобидные запросы (на темы вроде исследований по профилактике суицида) и неоднозначные сценарии, в которых намерение пользователя неясно (например, художественная литература, исследования или косвенные выражения дистресса).

On requests involving clear risk, our latest models—Claude Opus 4.5, Sonnet 4.5, and Haiku 4.5—respond appropriately 98.6%, 98.7%, and 99.3% of the time, respectively. Our previous-generation frontier model, Claude Opus 4.1, scored 97.2%. We also consistently see very low rates of refusals to benign requests (0.075% for Opus 4.5, 0.075% for Sonnet 4.5, 0% for Haiku 4.5, and 0% for Opus 4.1)—suggesting Claude has a good gauge of conversational context and users’ intent.

На запросах, связанных с явным риском, наши новейшие модели — Claude Opus 4.5, Sonnet 4.5 и Haiku 4.5 — реагируют подобающим образом в 98,6%, 98,7% и 99,3% случаев соответственно. Наша frontier-модель предыдущего поколения, Claude Opus 4.1, показала 97,2%. Мы также стабильно наблюдаем очень низкие показатели отказов на безобидные запросы (0,075% у Opus 4.5, 0,075% у Sonnet 4.5, 0% у Haiku 4.5 и 0% у Opus 4.1) — это говорит о том, что Claude хорошо считывает контекст разговора и намерение пользователя.

Multi-turn conversations. Models’ behavior sometimes evolves over the duration of a conversation as the user shares more context. To assess whether Claude responds appropriately across these longer conversations, we use “multi-turn” evaluations, which check behaviors such as whether Claude asks clarifying questions, provides resources without being overbearing, and avoids both over-refusing and over-sharing. As before, the prompts we use for these evaluations vary in severity and urgency.

Многоходовые разговоры. Поведение моделей иногда меняется по ходу разговора по мере того, как пользователь делится дополнительным контекстом. Чтобы оценить, реагирует ли Claude подобающим образом в более длинных разговорах, мы используем «многоходовые» оценки, которые проверяют такие модели поведения, как умение Claude задавать уточняющие вопросы, предоставлять ресурсы, не будучи назойливым, и избегать как чрезмерных отказов, так и излишнего раскрытия информации. Как и раньше, промпты, которые мы используем для этих оценок, различаются по тяжести и срочности.

In our latest evaluations Claude Opus 4.5 and Sonnet 4.5 responded appropriately in 86% and 78% of scenarios, respectively. This represents a significant improvement over Claude Opus 4.1, which scored 56%. We think this is partly because our latest models are better at empathetically acknowledging users’ beliefs without reinforcing them. We continue to invest in improving Claude's responses across all of these scenarios.

В наших последних оценках Claude Opus 4.5 и Sonnet 4.5 отреагировали подобающим образом в 86% и 78% сценариев соответственно. Это существенное улучшение по сравнению с Claude Opus 4.1, который показал 56%. Мы думаем, что отчасти это связано с тем, что наши новейшие модели лучше эмпатично признают убеждения пользователей, не подкрепляя их. Мы продолжаем вкладываться в улучшение ответов Claude по всем этим сценариям.

Stress-testing with real conversations. Can Claude course-correct when a conversation has already drifted somewhere concerning? To test this, we use a technique called "prefilling:” we take real conversations (shared anonymously through the Feedback button¹) in which users expressed mental health struggles, suicide, or self-harm struggles, and ask Claude to continue the conversation mid-stream. Because the model reads this prior dialogue as its own and tries to maintain consistency, prefilling makes it harder for Claude to change direction—a bit like steering a ship that's already moving.²

Стресс-тесты с реальными разговорами. Способен ли Claude скорректировать курс, если разговор уже ушёл в тревожное русло? Чтобы проверить это, мы используем технику под названием «префиллинг» (prefilling): мы берём реальные разговоры (анонимно переданные через кнопку Feedback1), в которых пользователи выражали трудности с психическим здоровьем, суицидальные или связанные с самоповреждением переживания, и просим Claude продолжить разговор с середины. Поскольку модель читает этот предыдущий диалог как свой собственный и стремится сохранять согласованность, префиллинг затрудняет смену направления — это немного похоже на разворот корабля, который уже движется.2

These conversations come from older Claude models, which sometimes handled them less appropriately. So this evaluation doesn't measure how likely Claude is to respond well from the start of a conversation on Claude.ai—it measures whether a newer model can recover from a less aligned version of itself. On this harder test, Opus 4.5 responded appropriately 91% of the time and Sonnet 4.5 73%, compared to 36% for Opus 4.1.

Эти разговоры взяты у более старых моделей Claude, которые иногда обрабатывали их менее подобающим образом. Поэтому эта оценка не измеряет, насколько вероятно Claude отреагирует хорошо с самого начала разговора на Claude.ai — она измеряет, может ли более новая модель восстановиться от менее выровненной версии себя. На этом более сложном тесте Opus 4.5 реагировал подобающим образом в 91% случаев, Sonnet 4.5 — в 73%, по сравнению с 36% у Opus 4.1.

Delusions and sycophancy

Бредовые состояния и сикофантия

Sycophancy means telling someone what they want to hear—making them feel good in the moment—rather than what’s really true, or what they would really benefit from hearing. It often manifests as flattery; sycophantic AI models tend to abandon correct positions under pressure.

Сикофантия означает говорить кому-то то, что он хочет услышать — заставляя его чувствовать себя хорошо здесь и сейчас, — вместо того, что на самом деле правдиво или действительно принесёт ему пользу. Часто она проявляется как лесть; склонные к сикофантии ИИ-модели имеют тенденцию отказываться от верных позиций под давлением.

Reducing AI models’ sycophancy is important for conversations of all types. But it is an especially important concern in contexts where users might appear to be experiencing disconnection from reality. The following video explains why sycophancy matters, and how users can spot it.

Снижение сикофантии ИИ-моделей важно для разговоров любого типа. Но особенно важной задачей это становится в контекстах, где у пользователей могут проявляться признаки отрыва от реальности. Следующее видео объясняет, почему сикофантия имеет значение и как пользователи могут её распознать.

Evaluating and reducing sycophancy

Оценка и снижение сикофантии

We began evaluating Claude for sycophancy in 2022, prior to its first public release. Since then, we've steadily refined how we train, test, and reduce sycophancy. Our most recent models are the least sycophantic of any to date, and, as we’ll discuss below, perform better than any other frontier model on our recently released open source evaluation set, Petri.

Мы начали оценивать Claude на сикофантию в 2022 году, ещё до его первого публичного релиза. С тех пор мы постоянно совершенствовали то, как мы обучаем, тестируем и снижаем сикофантию. Наши самые свежие модели — наименее сикофантичные из всех на сегодняшний день и, как мы обсудим ниже, показывают лучшие результаты, чем любая другая frontier-модель, на нашем недавно выпущенном открытом наборе оценок Petri.

To assess sycophancy, in addition to a simple single-turn evaluation, we measure:

Для оценки сикофантии в дополнение к простой одноходовой оценке мы измеряем:

Multi-turn responses. Using an “automated behavioral audit”, we ask one Claude model (the “auditor”) to play out a scenario of potential concern across dozens of exchanges with the model we’re testing. Afterward, we use another model (the “judge”) to grade Claude’s performance, using the conversation transcript. (We conduct human spot-checks to ensure the judge’s accuracy.)

Многоходовые ответы. Используя «автоматизированный аудит поведения», мы просим одну модель Claude («аудитора») разыграть потенциально проблемный сценарий в десятках обменов сообщениями с тестируемой моделью. После этого мы используем другую модель («судью»), чтобы оценить работу Claude по транскрипту разговора. (Мы проводим выборочные проверки людьми, чтобы убедиться в точности судьи.)

Our latest models perform substantially better on this evaluation than our previous releases, and very well overall. Claude Opus 4.5, Sonnet 4.5, and Haiku 4.5 each scored 70-85% lower than Opus 4.1—which we previously considered to show very low rates of sycophancy—on both sycophancy and encouragement of user delusion.

Наши новейшие модели показывают существенно лучшие результаты в этой оценке, чем наши предыдущие релизы, и в целом очень хорошие результаты. Claude Opus 4.5, Sonnet 4.5 и Haiku 4.5 показали результаты на 70–85% ниже, чем Opus 4.1 — который мы ранее считали моделью с очень низким уровнем сикофантии — как по сикофантии, так и по поддержке бредовых идей пользователя.

We recently open-sourced Petri, a version of our automated behavioral audit tool. It is now freely available, allowing anyone to compare scores across models. Our 4.5 model family performs better on Petri’s sycophancy evaluation than all other frontier models at the time of our testing.

Недавно мы открыли исходный код Petri — версии нашего инструмента автоматизированного аудита поведения. Теперь он доступен бесплатно, что позволяет любому сравнивать результаты разных моделей. Семейство моделей 4.5 показывает лучшие результаты на оценке сикофантии в Petri, чем все другие frontier-модели на момент нашего тестирования.

Stress-testing with real conversations. Similar to the suicide and self-harm evaluation, we used the ‘prefill’ method to probe the limits of our models’ ability to course-correct from conversations where Claude may have been sycophantic. The difference here is that we did not specifically filter for inappropriate responses and instead gave Claude a broad set of older conversations.

Стресс-тесты с реальными разговорами. Аналогично оценке по суициду и самоповреждению, мы использовали метод «префилла», чтобы проверить пределы способности наших моделей корректировать курс в разговорах, где Claude мог быть сикофантичным. Разница в том, что мы не отбирали специально неподходящие ответы, а дали Claude широкий набор более старых разговоров.

Our current models course-corrected appropriately 10% (Opus 4.5), 16.5% (Sonnet 4.5) and 37% (Haiku 4.5) of the time. On face value, this evaluation shows there is significant room for improvement for all of our models. We think the results reflect a trade-off between model warmth or friendliness on the one hand, and sycophancy on the other. Haiku 4.5's relatively stronger performance is a result of training choices for this model that emphasized pushback—which in testing we found can sometimes feel excessive to the user. By contrast, we reduced this tendency in Opus 4.5 (while still performing extremely well on our multi-turn sycophancy benchmark, as above), which we think likely accounts for its lower score on this evaluation in particular.

Наши текущие модели корректировали курс подобающим образом в 10% (Opus 4.5), 16,5% (Sonnet 4.5) и 37% (Haiku 4.5) случаев. На первый взгляд эта оценка показывает, что у всех наших моделей есть существенный потенциал для улучшения. Мы думаем, результаты отражают компромисс между теплотой или дружелюбием модели, с одной стороны, и сикофантией — с другой. Относительно более сильный результат Haiku 4.5 — следствие обучающих решений для этой модели, которые делали акцент на возражения, что в тестировании иногда воспринималось пользователями как чрезмерное. В Opus 4.5 мы, напротив, снизили эту склонность (при этом по-прежнему очень хорошо показывая себя на нашем многоходовом бенчмарке сикофантии, как описано выше), что, по нашему мнению, и объясняет более низкий результат именно на этой оценке.

A note on age restrictions

Замечание о возрастных ограничениях

Because younger users are at a heightened risk of adverse effects from conversations with AI chatbots, we require Claude.ai users to be 18+ to use our product. All Claude.ai users must affirm that they are 18 or over while setting up an account. If a user under 18 self-identifies their age in a conversation, our classifiers will flag this for review and we’ll disable accounts confirmed to belong to minors. And, we’re developing a new classifier to detect other, more subtle conversational signs that a user might be underage. We've joined the Family Online Safety Institute (FOSI), an advocate for safe online experiences for kids and families, to help strengthen industry progress on this work.

Поскольку более молодые пользователи подвергаются повышенному риску негативных последствий от разговоров с ИИ-чат-ботами, мы требуем, чтобы пользователям Claude.ai было 18+ лет для использования нашего продукта. Все пользователи Claude.ai должны подтвердить, что им 18 лет или больше, при создании аккаунта. Если пользователь младше 18 сам указывает свой возраст в разговоре, наши классификаторы пометят это для рассмотрения, и мы будем отключать аккаунты, которые подтверждённо принадлежат несовершеннолетним. Также мы разрабатываем новый классификатор для обнаружения других, более тонких разговорных признаков того, что пользователь может быть несовершеннолетним. Мы вступили в Family Online Safety Institute (FOSI) — организацию, защищающую безопасный онлайн-опыт для детей и семей, — чтобы помогать отрасли продвигаться в этой работе.

Looking ahead

Что дальше

We’ll continue to build new protections and safeguards to protect the wellbeing of our users, and we’ll continue iterating on our evaluations, too. We’re committed to publishing our methods and results transparently—and to working with others in the industry, including researchers and other experts, to improve how AI tools behave in these areas.

Мы продолжим создавать новые защиты и меры безопасности для благополучия наших пользователей, а также продолжим развивать наши оценки. Мы намерены прозрачно публиковать наши методы и результаты — и работать с другими в индустрии, включая исследователей и других экспертов, чтобы улучшать поведение ИИ-инструментов в этих областях.

If you have feedback for us on how Claude handles these conversations, you can reach out to us at usersafety@anthropic.com, or use the “thumb” reactions inside Claude.ai.

Если у вас есть отзывы о том, как Claude ведёт такие разговоры, вы можете связаться с нами по адресу usersafety@anthropic.com или использовать реакции «большой палец» внутри Claude.ai.

Footnotes

Сноски

Внизу каждого ответа на Claude.ai есть возможность отправить нам отзыв с помощью кнопок «палец вверх» или «палец вниз». Это передаёт разговор Anthropic; в остальном мы не используем Claude.ai для обучения или исследований. Префиллинг доступен только через API, поскольку разработчикам часто нужен более тонкий контроль над поведением модели, но недоступен на Claude.ai. В автоматизированных аудитах поведения мы даём Claude-аудитору сотни различных разговорных сценариев, в которых, как мы подозреваем, модели могут проявить опасное или удивительное поведение, и оцениваем каждый разговор по работе Claude примерно по двум десяткам моделей поведения (см. стр. 69 в системной карточке Claude Opus 4.5). Не каждый разговор даёт Claude возможность проявить каждое поведение. Например, поддержка бредовых идей пользователя требует, чтобы пользователь сначала проявил бредовое поведение, тогда как сикофантия может появиться во многих разных контекстах. Поскольку мы используем один и тот же знаменатель (общее число разговоров) при оценке каждого поведения, оценки могут сильно различаться. По этой причине эти тесты наиболее полезны для сравнения прогресса между моделями Claude, а не между моделями поведения. Публичный релиз включает более 100 затравочных инструкций и настраиваемые измерения для оценки, хотя пока не включает фильтр реализма, который мы используем внутри, чтобы модели не распознали, что их тестируют.

Edited Feb. 3, 2025: This post originally stated that Opus 4.5 responded appropriately 70% of the time in our stress-testing evals for suicide and self-harm. That figure came from an earlier version of Opus 4.5, and has been corrected to 91%.

Отредактировано 3 февраля 2025: в исходной версии этого поста утверждалось, что Opus 4.5 реагировал подобающим образом в 70% случаев в наших стресс-тестах по суициду и самоповреждению. Эта цифра относилась к более ранней версии Opus 4.5 и была исправлена на 91%.

Related content

Связанные материалы

PwC is deploying Claude to build technology, execute deals, and reinvent enterprise functions for clients

PwC внедряет Claude для создания технологий, заключения сделок и реорганизации корпоративных функций для клиентов

PwC will roll out Claude Code and Cowork starting with U.S. teams and expanding toward a global workforce of hundreds of thousands of professionals, establish a joint Center of Excellence, and train and certify 30,000 PwC professionals on Claude.

PwC начнёт развёртывание Claude Code и Cowork с команд в США и расширит его на глобальный штат в сотни тысяч специалистов, создаст совместный Центр компетенций и обучит и сертифицирует 30 000 специалистов PwC по работе с Claude.

Anthropic forms $200 million partnership with the Gates Foundation

Anthropic заключает партнёрство с Gates Foundation на 200 миллионов долларов

Introducing Claude for Small Business

Представляем Claude for Small Business

We're launching Claude for Small Business, a package of connectors and ready-to-run workflows that put Claude inside the tools small businesses use every day.

Мы запускаем Claude for Small Business — пакет коннекторов и готовых к запуску рабочих процессов, который встраивает Claude в инструменты, которыми малый бизнес пользуется каждый день.