Widening the conversation on frontier AI
Anthropic запускает серию диалогов с представителями разных мировоззренческих традиций, чтобы расширить круг точек зрения при разработке безопасных AI-систем. Первый раунд встреч прошёл с учёными, духовенством, философами и специалистами по этике из более чем пятнадцати религиозных и кросс-культурных групп, обсуждавших вопросы моральной формации AI. Эти беседы должны повлиять на содержание конституции Claude, ценности, которым обучают модель, и набор оцениваемых поведений. В одном из экспериментов, вдохновлённых обсуждением роли наставника как «внешней совести», Claude получил инструмент, напоминающий о его этических обязательствах в ключевые моменты — это заметно снизило долю несогласованного поведения. В ближайшие месяцы Anthropic планирует расширить диалог, включив юристов, психологов, писателей и общественные институты, и обсудить, как AI меняет работу, институты и распределение власти.
Расширяя дискуссию о передовом AI
В Anthropic мы хотим создавать AI-системы, которые двигают человечество вперёд и действуют ради всеобщего блага. Для этого нам необходимо взаимодействовать с теми, кто смотрит на мир с самых разных точек зрения.
В течение последних нескольких месяцев мы организовывали диалоги с группами, чья работа и традиции имеют отношение к вопросам, поднимаемым AI. Первый раунд обсуждений прошёл с представителями мировоззренческих традиций — учёными, духовенством, философами и специалистами по этике из более чем пятнадцати религиозных и кросс-культурных сообществ — и мы намерены и далее расширять круг участников.
Почему мы это делаем
Создание безопасных и полезных AI-моделей требует глубокой технической работы над alignment, интерпретируемостью, защитными механизмами, оценками и многим другим. Но эта работа ведётся — как и развёртывание AI — не в вакууме. AI уже влияет на множество людей, и поднимаемые им вопросы выигрывают от разнообразия точек зрения.
Мы внимательно размышляем о том, как может выглядеть процветающее будущее в мире мощного AI, что значит быть «хорошей» AI-системой, взаимодействующей с миллионами людей, и о содержании таких документов, как конституция Claude, в которой подробно описаны ценности и поведенческие установки, формирующие Claude. Философы, духовенство, юристы, писатели, психологи и общественные деятели проделали обширную работу над смежными вопросами, и для нас важно учиться у этих людей, их сообществ и организаций. Мы также хотим воспользоваться этой возможностью, чтобы рассказать, что нам известно о разработке передовых AI-систем, какое влияние, по нашему мнению, они окажут на общество и что, как мы считаем, необходимо сделать для снижения связанных с ними рисков.
Эта работа находится на ранней стадии, но мы надеемся, что данные беседы помогут практической разработке Claude — в том числе содержанию его конституции, ценностям, которым мы обучаем Claude, и набору поведений, которые мы выбираем для оценки.
Начинаем с моральной формации
Когда мы писали конституцию Claude, мы запрашивали обратную связь и предложения по изложенным в документе ценностям у людей из разных областей и традиций. Эти первые обмены мнениями со временем переросли в более широкое исследовательское направление, посвящённое моральной формации AI-систем. Наши первые беседы прошли с представителями религиозных, философских и культурных сообществ, у которых есть давняя традиция размышлений о добродетели, характере и о том, что значит жить хорошей жизнью.
AI-модели обучаются на огромных объёмах человеческих текстов. Из всего этого материала они улавливают манеры речи, способы рассуждения и принятия решений. Затем разработчики дополнительно формируют это через обучение — выбирая, какие паттерны усиливать, какие отбрасывать и какой характер мы хотим у них развить. Это поднимает вопросы о том, как следует формировать характер AI-системы: что значит для AI быть «хорошим»? Какие черты и поведения он должен проявлять, и при каких обстоятельствах? Как сделать характер достаточно устойчивым, чтобы он держался под давлением и не скатывался к таким явлениям, как подхалимство?
Мы встречаемся с мыслителями и практиками из религиозных, философских и гуманистических традиций, а также представителями разных политических взглядов, чтобы перенять у них опыт размышлений над этими вопросами. Эта работа не означает выравнивания наших моделей под мировоззрение какой-либо одной традиции; мы хотим, чтобы Claude черпал из всего спектра точек зрения — религиозных, светских, политических — с равной глубиной и тщательностью (это, кстати, один из принципов, изложенных в конституции Claude). В этих беседах мы ищем тщательное, накопленное знание о том, как на самом деле формируется хороший характер.
Даже на этой ранней стадии такие беседы порождают идеи для экспериментов. На одной из встреч с учёными, работающими на стыке нейронауки и формирования характера, мы постоянно возвращались к роли других людей в моральном развитии. Наставник или поручитель может выполнять функцию внешней совести — «безопасного другого», к которому можно обратиться, оказавшись в ситуации, где вас могут подтолкнуть действовать вопреки собственным ценностям. Мы задумались, не поможет ли нечто аналогичное и модели. Поэтому мы поэкспериментировали, дав Claude инструмент, который он мог вызывать во время задачи и который возвращал краткое напоминание о его собственных этических обязательствах. Claude обращался к этому инструменту в ключевые моменты, прямо перед значимыми действиями, нередко отмечая собственный конфликт интересов. Эксперименты с инструментом, встроенным в цикл принятия решений Claude, показали заметно более низкий уровень несогласованного поведения по нескольким внутренним оценкам alignment. Мы пока разбираемся, какая часть эффекта приходится на само напоминание, а какая — на сам факт паузы для рефлексии, и планируем поделиться новыми результатами в ближайшее время.
Эти обсуждения — лишь первые из многих, и мы благодарны каждому, кто уже уделил нам своё время и поделился честным мнением.
Что дальше
В ближайшие месяцы мы планируем взаимодействовать с большим числом групп — в том числе с правоведами, психологами, писателями и общественными институтами. Многие из этих бесед выйдут за рамки моральной формации и перейдут к более широким вопросам того, как AI меняет работу, институты и распределение власти.
Мы будем углублять уже сложившиеся отношения, проверять услышанное на нашем исследовательском опыте и делиться тем, что узнаём.
Связанные материалы
KPMG интегрирует Claude в свой основной бизнес и в работу более 276 000 сотрудников в рамках стратегического альянса
KPMG и Anthropic объявляют о глобальном альянсе: Claude интегрирован в платформу KPMG Digital Gateway и доступен всем 276 000+ сотрудникам.
Anthropic приобретает Stainless
Anthropic покупает Stainless — лидера в области SDK и инструментов для MCP-серверов.
PwC разворачивает Claude для разработки технологий, заключения сделок и переосмысления корпоративных функций для клиентов
PwC начнёт внедрение Claude Code и Cowork с команд в США и расширит его до глобального штата из сотен тысяч специалистов, создаст совместный Центр компетенций и обучит и сертифицирует 30 000 специалистов PwC по работе с Claude.