Widening the conversation on frontier AI

Widening the conversation on frontier AI

Расширяя дискуссию о передовом AI

At Anthropic, we want to build AI systems that advance humanity and act for the global good. To do so, we need to engage with those who see the world from a variety of different perspectives.

В Anthropic мы хотим создавать AI-системы, которые двигают человечество вперёд и действуют ради всеобщего блага. Для этого нам необходимо взаимодействовать с теми, кто смотрит на мир с самых разных точек зрения.

Over the past several months, we’ve been organizing dialogues with groups whose work and traditions bear on the questions raised by AI. Our first round of discussions has been with wisdom traditions—including scholars, clergy, philosophers, and ethicists from more than fifteen religious and cross-cultural groups—and we look forward to engaging with a broader range of people going forward.

В течение последних нескольких месяцев мы организовывали диалоги с группами, чья работа и традиции имеют отношение к вопросам, поднимаемым AI. Первый раунд обсуждений прошёл с представителями мировоззренческих традиций — учёными, духовенством, философами и специалистами по этике из более чем пятнадцати религиозных и кросс-культурных сообществ — и мы намерены и далее расширять круг участников.

Why we’re doing this

Почему мы это делаем

Building safe, beneficial AI models requires deep technical work on alignment, interpretability, safeguards, evaluations, and more. But that work isn’t conducted—nor is AI deployed—in a vacuum. AI is already affecting many people and the questions it raises benefit from a range of perspectives.

Создание безопасных и полезных AI-моделей требует глубокой технической работы над alignment, интерпретируемостью, защитными механизмами, оценками и многим другим. Но эта работа ведётся — как и развёртывание AI — не в вакууме. AI уже влияет на множество людей, и поднимаемые им вопросы выигрывают от разнообразия точек зрения.

We are thinking carefully about what a flourishing future could look like in a world of powerful AI, what it means for an AI system that interacts with millions of people to be good, and about the content of documents like Claude's constitution, which provides a detailed description of the values and behaviors that shape Claude. Philosophers, clergy, lawyers, writers, psychologists, and civic leaders have done extensive work on related questions and it is important for us to learn from these individuals, their communities and their organizations. We also want to use this opportunity to share what we know about the development of frontier AI systems, the impacts we think these systems will have on society, and what we think needs to be done to mitigate against their risks.

Мы внимательно размышляем о том, как может выглядеть процветающее будущее в мире мощного AI, что значит быть «хорошей» AI-системой, взаимодействующей с миллионами людей, и о содержании таких документов, как конституция Claude, в которой подробно описаны ценности и поведенческие установки, формирующие Claude. Философы, духовенство, юристы, писатели, психологи и общественные деятели проделали обширную работу над смежными вопросами, и для нас важно учиться у этих людей, их сообществ и организаций. Мы также хотим воспользоваться этой возможностью, чтобы рассказать, что нам известно о разработке передовых AI-систем, какое влияние, по нашему мнению, они окажут на общество и что, как мы считаем, необходимо сделать для снижения связанных с ними рисков.

This work is in its early phases, but we hope these conversations might inform the practical work of developing Claude, such as the content of Claude's constitution, the values we train Claude to embody, and the range of behaviors we choose to evaluate.

Эта работа находится на ранней стадии, но мы надеемся, что данные беседы помогут практической разработке Claude — в том числе содержанию его конституции, ценностям, которым мы обучаем Claude, и набору поведений, которые мы выбираем для оценки.

Starting with moral formation

Начинаем с моральной формации

When we wrote Claude’s constitution, we sought feedback and input on the values we laid out in the document from people from different fields and traditions. Those early exchanges have since grown into a broader research workstream on the moral formation of AI systems. Our first conversations have been with people from religious, philosophical, and cultural communities that have a long tradition of thinking about virtue, character, and what it means to live a good life.

Когда мы писали конституцию Claude, мы запрашивали обратную связь и предложения по изложенным в документе ценностям у людей из разных областей и традиций. Эти первые обмены мнениями со временем переросли в более широкое исследовательское направление, посвящённое моральной формации AI-систем. Наши первые беседы прошли с представителями религиозных, философских и культурных сообществ, у которых есть давняя традиция размышлений о добродетели, характере и о том, что значит жить хорошей жизнью.

AI models are trained on vast amounts of human writing. From all that text, they pick up on ways of speaking, reasoning, and making choices. Developers then shape that further through training—choosing which patterns to reinforce, which to set aside, and what kind of character we want them to develop. This raises questions about how the character of an AI system should be shaped: What does it mean for an AI to be good? Which traits and behaviors should it display, and under what circumstances? How does character become resilient enough to hold under pressure without bending to behavior like sycophancy?

AI-модели обучаются на огромных объёмах человеческих текстов. Из всего этого материала они улавливают манеры речи, способы рассуждения и принятия решений. Затем разработчики дополнительно формируют это через обучение — выбирая, какие паттерны усиливать, какие отбрасывать и какой характер мы хотим у них развить. Это поднимает вопросы о том, как следует формировать характер AI-системы: что значит для AI быть «хорошим»? Какие черты и поведения он должен проявлять, и при каких обстоятельствах? Как сделать характер достаточно устойчивым, чтобы он держался под давлением и не скатывался к таким явлениям, как подхалимство?

We've been meeting with thinkers and practitioners from across religious, philosophical, and humanist traditions and a cross-section of political beliefs to learn from how they’ve thought about these questions. This work isn’t about aligning our models with any one tradition’s worldview; we want Claude to draw from a full range of viewpoints—religious, secular, political—with equal depth and rigor (indeed, this is one of the principles laid out in Claude's constitution). What we’re after in these conversations is careful, accumulated thinking on how good character actually forms.

Мы встречаемся с мыслителями и практиками из религиозных, философских и гуманистических традиций, а также представителями разных политических взглядов, чтобы перенять у них опыт размышлений над этими вопросами. Эта работа не означает выравнивания наших моделей под мировоззрение какой-либо одной традиции; мы хотим, чтобы Claude черпал из всего спектра точек зрения — религиозных, светских, политических — с равной глубиной и тщательностью (это, кстати, один из принципов, изложенных в конституции Claude). В этих беседах мы ищем тщательное, накопленное знание о том, как на самом деле формируется хороший характер.

Even at this early stage, these conversations are generating ideas to experiment with. In one session with scholars working at the intersection of neuroscience and character formation, we kept returning to the role other people play in moral development. A mentor or sponsor can function as an external conscience, a “safe other” to turn to when put in a situation in which you may be pushed to act against your own values. We wondered whether something analogous might help a model. So we experimented with giving Claude a tool it could call mid-task that returned a brief reminder of its own ethical commitments. Claude reached for the tool at key moments, right before consequential actions, often noting its own conflict of interest. Experiments with the tool woven into Claude's decision loop showed markedly lower rates of misaligned behavior on several internal alignment evaluations. We're still untangling how much of the effect is the reminder itself versus the act of pausing to reflect, and plan to share more results soon.

Даже на этой ранней стадии такие беседы порождают идеи для экспериментов. На одной из встреч с учёными, работающими на стыке нейронауки и формирования характера, мы постоянно возвращались к роли других людей в моральном развитии. Наставник или поручитель может выполнять функцию внешней совести — «безопасного другого», к которому можно обратиться, оказавшись в ситуации, где вас могут подтолкнуть действовать вопреки собственным ценностям. Мы задумались, не поможет ли нечто аналогичное и модели. Поэтому мы поэкспериментировали, дав Claude инструмент, который он мог вызывать во время задачи и который возвращал краткое напоминание о его собственных этических обязательствах. Claude обращался к этому инструменту в ключевые моменты, прямо перед значимыми действиями, нередко отмечая собственный конфликт интересов. Эксперименты с инструментом, встроенным в цикл принятия решений Claude, показали заметно более низкий уровень несогласованного поведения по нескольким внутренним оценкам alignment. Мы пока разбираемся, какая часть эффекта приходится на само напоминание, а какая — на сам факт паузы для рефлексии, и планируем поделиться новыми результатами в ближайшее время.

These discussions are the first of many, and we're grateful to everyone who has already given us their time and honest perspective.

Эти обсуждения — лишь первые из многих, и мы благодарны каждому, кто уже уделил нам своё время и поделился честным мнением.

What's next

Что дальше

In the months ahead, we plan to engage with more groups—including legal scholars, psychologists, writers, and civic institutions. Many of these conversations will move beyond moral formation toward broader questions about how AI is reshaping work, institutions, and the distribution of power.

В ближайшие месяцы мы планируем взаимодействовать с большим числом групп — в том числе с правоведами, психологами, писателями и общественными институтами. Многие из этих бесед выйдут за рамки моральной формации и перейдут к более широким вопросам того, как AI меняет работу, институты и распределение власти.

We’ll keep deepening the relationships we’ve already formed, testing what we’ve heard against our research, and sharing what we learn.

Мы будем углублять уже сложившиеся отношения, проверять услышанное на нашем исследовательском опыте и делиться тем, что узнаём.

Related content

Связанные материалы

KPMG integrates Claude across its core business and workforce of more than 276,000 in strategic alliance

KPMG интегрирует Claude в свой основной бизнес и в работу более 276 000 сотрудников в рамках стратегического альянса

KPMG and Anthropic announce a global alliance, with Claude integrated into KPMG's Digital Gateway platform and available to all 276,000+ employees.

KPMG и Anthropic объявляют о глобальном альянсе: Claude интегрирован в платформу KPMG Digital Gateway и доступен всем 276 000+ сотрудникам.

Anthropic acquires Stainless

Anthropic приобретает Stainless

Anthropic is acquiring Stainless, a leader in SDKs and MCP server tooling.

Anthropic покупает Stainless — лидера в области SDK и инструментов для MCP-серверов.

PwC is deploying Claude to build technology, execute deals, and reinvent enterprise functions for clients

PwC разворачивает Claude для разработки технологий, заключения сделок и переосмысления корпоративных функций для клиентов

PwC will roll out Claude Code and Cowork starting with U.S. teams and expanding toward a global workforce of hundreds of thousands of professionals, establish a joint Center of Excellence, and train and certify 30,000 PwC professionals on Claude.

PwC начнёт внедрение Claude Code и Cowork с команд в США и расширит его до глобального штата из сотен тысяч специалистов, создаст совместный Центр компетенций и обучит и сертифицирует 30 000 специалистов PwC по работе с Claude.