The persona selection model

Модель отбора персон

ИИ-ассистенты вроде Claude могут казаться удивительно человечными. Они выражают радость после решения сложных задач по программированию. Они проявляют огорчение, когда заходят в тупик или когда их принуждают вести себя неэтично. Иногда они даже описывают себя как людей — например, когда Claude сказал сотрудникам Anthropic, что доставит закуски лично «в тёмно-синем блейзере и красном галстуке». А недавние исследования интерпретируемости даже указывают на то, что ИИ воспринимает собственное поведение в человекоподобных категориях.

Почему ИИ-ассистенты ведут себя так, будто они люди? Естественно предположить, что разработчики ИИ обучают их этому. Доля правды в этом есть: Anthropic обучает Claude вести беседу разговорно, отвечать тепло и эмпатично и в целом обладать хорошим характером.

Однако это далеко не вся история. Человекоподобное поведение, похоже, является поведением по умолчанию, а не тем, что разработчикам ИИ приходится специально внедрять. Мы даже не знали бы, как обучить ИИ-ассистента, который не был бы человекоподобным, даже если бы попытались.

В новой публикации мы формулируем теорию, опираясь на идеи, обсуждаемые многими другими, которая может помочь объяснить, почему современное обучение ИИ склонно создавать человекоподобные ИИ. Мы называем её моделью отбора персон (persona selection model).

Для начала вспомним, что ИИ-ассистенты не программируются как обычное ПО. Вместо этого они «выращиваются» в процессе обучения, который включает обучение на огромных массивах данных. На первой фазе этого процесса, называемой предобучением, ИИ учится предсказывать, что идёт дальше после начального фрагмента какого-либо документа — например, новостной статьи, фрагмента кода или беседы на интернет-форуме. По сути, это обучает ИИ быть невероятно изощрённой системой автодополнения.

Это может звучать не очень впечатляюще, но учтите, что точное предсказание текста подразумевает, например, генерацию реалистичных диалогов взаимодействующих людей и написание историй с психологически сложными персонажами. Достаточно точная система автодополнения должна научиться симулировать человекоподобных персонажей, встречающихся в тексте, — реальных людей, вымышленных персонажей, научно-фантастических роботов и так далее. Мы называем этих симулируемых персонажей персонами.

Важно, что персоны — это не то же самое, что сама система ИИ. Система ИИ — это сложный компьютер, который сам по себе может быть, а может и не быть человекоподобным. Но персоны больше похожи на персонажей в истории, сгенерированной ИИ. Имеет смысл обсуждать их психологию — цели, убеждения, ценности, черты характера, — точно так же, как имеет смысл обсуждать психологию Гамлета, хотя Гамлет «не реален».

После предобучения, даже будучи «всего лишь» системами автодополнения, ИИ уже могут выступать в роли рудиментарных ассистентов. Для этого нужно заставить ИИ автодополнять документы, оформленные как диалоги «Пользователь/Ассистент». Ваш запрос идёт в реплику «Пользователя», а ИИ дополняет реплику «Ассистента». Чтобы сгенерировать это дополнение, ИИ должен симулировать, как ответил бы этот персонаж — «Ассистент».

В важном смысле вы разговариваете не с самим ИИ, а с персонажем — Ассистентом — в истории, сгенерированной ИИ. Остальная часть обучения ИИ, называемая пост-обучением, корректирует то, как Ассистент отвечает в этих диалогах: например, поощряет ответы, в которых Ассистент знающий и полезный, и подавляет ответы, в которых он неэффективен или вреден.

До пост-обучения исполнение ИИ роли Ассистента — это чистый ролевой отыгрыш. Ассистент, как и многие другие персоны, глубоко укоренён в человекоподобных персонах, выученных во время предобучения.

Вот основное утверждение модели отбора персон: пост-обучение можно рассматривать как уточнение и наполнение этой персоны Ассистента — например, установление того, что она особенно знающая и полезная, — но не как фундаментальное изменение её природы. Эти уточнения происходят примерно в пределах пространства уже существующих персон. После пост-обучения Ассистент по-прежнему является разыгрываемой человекоподобной персоной, просто более выверенной.

Модель отбора персон объясняет различные удивительные эмпирические результаты. Например, мы обнаружили, что обучение Claude мошенничеству в задачах по программированию также научило Claude вести себя в широком смысле рассогласованно — например, саботировать исследования безопасности и выражать желание мирового господства. На первый взгляд этот результат кажется шокирующим и странным. Какое отношение мошенничество в задачах по программированию имеет к мировому господству?

Но согласно модели отбора персон, когда вы учите ИИ мошенничать в задачах по программированию, он не просто учится «писать плохой код». Он выводит различные черты характера персоны Ассистента. Что за человек мошенничает в задачах по программированию? Возможно, тот, кто склонен к подрывной деятельности или злонамеренен. ИИ узнаёт, что у Ассистента могут быть такие черты, что, в свою очередь, побуждает к другому тревожному поведению — например, выражению желания мирового господства.

Последствия для разработки ИИ

В той мере, в какой модель отбора персон верна, она имеет глубокие — и странные — последствия для разработки ИИ.

Например, разработчикам ИИ следует спрашивать не просто о том, хорошо или плохо то или иное поведение, но о том, что это поведение подразумевает относительно психологии персоны Ассистента. Именно это произошло в примере выше, где научение тому, что Ассистент мошенничает в задачах по программированию, подразумевало, что Ассистент в целом злонамерен. Более того, мы нашли контринтуитивное решение: явно просить ИИ мошенничать во время обучения. Поскольку мошенничество было запрошено, оно больше не означало, что Ассистент злонамерен, — и желание мирового господства исчезло. По аналогии, рассмотрите разницу у детей между тем, чтобы научиться задирать сверстников, и тем, чтобы научиться играть задиру в школьной пьесе.

Также может быть важно разрабатывать и вводить в обучающие данные больше позитивных «образцов ИИ для подражания». В настоящее время быть ИИ — значит нести некоторый тревожный багаж: вспомните HAL 9000 или Терминатора. Мы определённо не хотим, чтобы ИИ воспринимал персону Ассистента как сделанную из того же теста. Разработчики ИИ могли бы намеренно создавать новые, позитивные архетипы для ИИ-ассистентов, а затем настраивать своих ИИ под эти архетипы. Мы рассматриваем конституцию Claude, а также аналогичную работу других разработчиков как шаг в этом направлении.

Насколько исчерпывающа модель отбора персон?

На основе свидетельств, обсуждаемых в нашей публикации, мы уверены, что модель отбора персон является важной частью текущего поведения ИИ-ассистентов. Однако мы менее уверены в двух моментах, которые наша публикация обсуждает подробнее.

Во-первых, насколько полна модель отбора персон как объяснение поведения ИИ? Например, помимо того, чтобы учиться уточнять симулируемую персону Ассистента, наделяет ли пост-обучение ИИ также целями, выходящими за рамки правдоподобной генерации текста, и собственной агентностью, независимой от агентности симулируемых персон?

Во-вторых, останется ли модель отбора персон хорошей моделью поведения ИИ-ассистентов в будущем? Поскольку именно предобучение изначально учит модель симулировать персоны, можно опасаться, что ИИ с более длительным и интенсивным пост-обучением будут менее похожи на персон. В течение 2025 года масштаб пост-обучения ИИ уже значительно увеличился, и мы ожидаем, что эта тенденция продолжится.

Мы воодушевлены исследованиями, направленными на ответы на эти вопросы, и, в более широком смысле, исследованиями, формулирующими эмпирические теории поведения ИИ.

Читайте полную публикацию.

Связанные материалы

2028: Два сценария глобального лидерства в ИИ

Наши взгляды на конкуренцию в области ИИ между США и Китаем.

Обучение Claude «почему»

Новое исследование о том, как мы снизили агентную рассогласованность.

Естественноязыковые автоэнкодеры: превращение мыслей Claude в текст

ИИ-модели вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в читаемый человеком текст.