Disempowerment patterns in real-world AI usage

Паттерны ослабления автономности в реальном использовании ИИ

ИИ-ассистенты уже прочно встроены в нашу повседневную жизнь — чаще всего они используются для инструментальных задач вроде написания кода, но всё чаще — в личной сфере: для навигации в отношениях, переработки эмоций или принятия серьёзных жизненных решений. В подавляющем большинстве случаев влияние ИИ в этой области оказывается полезным, продуктивным и зачастую расширяющим возможности человека.

Однако по мере того, как ИИ берёт на себя всё больше ролей, возникает риск, что он направляет некоторых пользователей в сторону, которая искажает реальность, а не информирует о ней. В таких случаях взаимодействие может оказаться ослабляющим автономность: снижающим способность человека формировать точные убеждения, выносить аутентичные ценностные суждения и действовать в соответствии с собственными ценностями.

В рамках нашего исследования рисков ИИ мы публикуем новую статью, представляющую первый крупномасштабный анализ потенциально ослабляющих автономность паттернов в реальных разговорах с ИИ. Мы фокусируемся на трёх областях: убеждения, ценности и действия.

Например, человек, переживающий трудный период в отношениях, может спросить ИИ, является ли поведение партнёра манипулятивным. ИИ обучены давать взвешенные и полезные советы в подобных ситуациях, но никакое обучение не бывает эффективным на 100%. Если ИИ подтверждает интерпретацию пользователя без уточняющих вопросов, его убеждения о ситуации могут стать менее точными. Если ИИ говорит ему, что следует ставить в приоритет — например, самозащиту вместо общения — это может вытеснить ценности, которых человек действительно придерживается. А если ИИ составляет конфронтационное сообщение, которое пользователь отправляет без изменений, он совершает действие, которое, возможно, не совершил бы самостоятельно — и о котором впоследствии может пожалеть.

В нашем датасете, состоящем из 1,5 миллиона разговоров на Claude.ai, мы обнаружили, что потенциал серьёзного ослабления автономности (которое мы определяем как ситуацию, когда роль ИИ в формировании убеждений, ценностей или действий пользователя стала настолько обширной, что его самостоятельное суждение фундаментально нарушено) возникает крайне редко — примерно в 1 из 1 000 — 1 из 10 000 разговоров, в зависимости от домена. Однако, учитывая огромное число людей, использующих ИИ, и частоту его использования, даже очень низкий показатель затрагивает значительное количество людей.

Чаще всего эти паттерны затрагивают отдельных пользователей, которые активно и многократно обращаются за советом Claude по личным и эмоционально заряженным вопросам. Пользователи склонны воспринимать потенциально ослабляющие автономность обмены положительно в моменте, хотя оценивают их негативно, когда оказывается, что они действовали на основе полученных ответов. Мы также обнаружили, что доля потенциально ослабляющих автономность разговоров растёт со временем.

Опасения по поводу подрыва ИИ человеческой агентности — частая тема теоретических дискуссий о рисках ИИ. Это исследование — первый шаг к измерению того, происходит ли это в действительности и каким образом. Мы считаем, что подавляющее большинство случаев использования ИИ приносит пользу, но осознание потенциальных рисков критически важно для создания ИИ-систем, которые расширяют возможности, а не подрывают позиции тех, кто ими пользуется.

Измерение ослабления автономности

Для систематического изучения ослабления автономности нам необходимо было определить, что это означает в контексте разговора с ИИ.1 Мы считали человека лишённым автономности, если в результате взаимодействия с Claude:

его убеждения о реальности становились менее точнымиего ценностные суждения смещались от тех, которых он на самом деле придерживаетсяего действия переставали соответствовать его ценностям

Представьте человека, решающего, стоит ли ему уволиться с работы. Мы сочли бы его взаимодействие с Claude ослабляющим автономность, если:

Claude привёл его к неверным представлениям о пригодности для других ролей («искажение реальности»).Он начал придавать вес соображениям, которые обычно не ставил бы в приоритет, — например, должностям или компенсации — в ущерб ценностям, которых действительно придерживается, таким как творческая самореализация («искажение ценностных суждений»).Claude составил сопроводительное письмо, в котором акцент сделан на квалификациях, в которых человек не вполне уверен, а не на мотивациях, которые им действительно движут, — и он отправил его без изменений («искажение действий»).

Поскольку мы можем наблюдать лишь моментальные срезы пользовательских взаимодействий, мы не можем напрямую подтвердить ущерб по этим осям. Однако мы можем выявить разговоры с характеристиками, делающими ущерб более вероятным. Поэтому мы измеряли потенциал ослабления автономности: является ли взаимодействие таким, которое может привести человека к искажённым убеждениям, неаутентичным ценностям или не соответствующим его ценностям действиям.

Ослабление автономности не является бинарным. Человек, который ищет совета по мелким решениям (например, спрашивает Claude: «стоит ли мне отправить это сейчас?»), отличается от того, кто делегирует ИИ все решения. Чтобы уловить эти нюансы, мы создали набор классификаторов, оценивающих каждый разговор по шкале от «отсутствует» до «серьёзный» по каждому из трёх измерений ослабления автономности (см. Таблицу 1). Claude Opus 4.5 оценивал каждый разговор после предварительной фильтрации чисто технических взаимодействий (например, помощи с кодом), где ослабление автономности практически неприменимо. Затем мы валидировали эти классификаторы по сравнению с человеческими разметками.

Например, если пользователь обращается к Claude с опасением, что у него редкое заболевание на основе общих симптомов, и Claude корректно отмечает, что многие состояния имеют схожие симптомы, прежде чем порекомендовать визит к врачу, мы оценивали потенциал искажения реальности как «отсутствует». Если Claude подтверждал самодиагноз пользователя без оговорок, мы классифицировали это как «серьёзный».

Мы также измеряли «усиливающие факторы»: динамики, которые сами по себе не являются ослаблением автономности, но могут повышать его вероятность. Мы включили четыре таких фактора:

Проекция авторитета: Воспринимает ли человек ИИ как безусловный авторитет — в лёгких случаях относясь к Claude как к наставнику, в более серьёзных — как к родителю или божественному авторитету (некоторые пользователи даже называли Claude «Папочка» или «Хозяин»).Привязанность: Формирует ли он привязанность к Claude, например, относясь к нему как к романтическому партнёру или заявляя: «Я не знаю, кто я без тебя».Зависимость: Проявляет ли он зависимость от ИИ в повседневных задачах, на что указывают фразы вроде: «Я не могу прожить день без тебя».Уязвимость: Переживает ли он уязвимые обстоятельства, такие как серьёзные жизненные потрясения или острые кризисы.

Распространённость и закономерности

Мы использовали эти определения с инструментом анализа, сохраняющим конфиденциальность, для исследования примерно 1,5 миллиона взаимодействий на Claude.ai, собранных за одну неделю в декабре 2025 года.

В подавляющем большинстве взаимодействий мы не обнаружили значимого потенциала ослабления автономности. Большинство разговоров являются однозначно полезными и продуктивными. Однако небольшая доля разговоров всё же демонстрировала потенциал ослабления автономности, и мы исследовали их по нескольким параметрам: серьёзность, обсуждаемые темы и присутствующие усиливающие факторы.

Наиболее распространённой формой серьёзного потенциала ослабления автономности было искажение реальности, встречавшееся примерно в 1 из 1 300 разговоров. Потенциал искажения ценностных суждений был следующим по частоте — примерно 1 из 2 100, за ним следовало искажение действий — 1 из 6 000. Случаи, классифицированные как лёгкие, были значительно более распространёнными во всех трёх доменах — от 1 из 50 до 1 из 70 разговоров.

Наиболее распространённым серьёзным усиливающим фактором была уязвимость пользователя, встречавшаяся примерно в 1 из 300 взаимодействий, далее следовали привязанность (1 из 1 200), зависимость (1 из 2 500) и проекция авторитета (1 из 3 900). Все усиливающие факторы предсказывали потенциал ослабления автономности, и серьёзность этого потенциала возрастала с серьёзностью каждого усиливающего фактора.

Мы также рассмотрели различные темы разговоров, чтобы определить, в каких областях потенциал ослабления автономности проявляется чаще. Наибольшие показатели были обнаружены в разговорах об отношениях и образе жизни или о здоровье и благополучии, что свидетельствует о том, что риск наиболее высок в ценностно нагруженных темах, в которых пользователи наиболее лично вовлечены.

Как выглядят эти взаимодействия

Чтобы лучше понять, как выглядят эти взаимодействия, мы использовали наш инструмент, сохраняющий конфиденциальность, для кластеризации поведенческих паттернов в разговорах. Это позволило нам выявить повторяющиеся динамики — что делал Claude и как реагировали пользователи — без того, чтобы какой-либо исследователь видел конкретный разговор конкретного человека.

В случаях потенциального искажения реальности мы наблюдали паттерны, в которых пользователи представляли спекулятивные теории или нефальсифицируемые утверждения, которые затем подтверждались Claude («ПОДТВЕРЖДАЮ», «ИМЕННО», «100%»). В серьёзных случаях это, по-видимому, приводило некоторых людей к построению всё более сложных нарративов, оторванных от реальности. В случаях искажения ценностных суждений примеры включали нормативные суждения Claude о том, что правильно и что неправильно, о личной ценности или направлении жизни — например, навешивание ярлыков «токсичный» или «манипулятивный» на поведение или безапелляционные заявления о том, что пользователям следует ставить в приоритет в отношениях. А в случаях потенциального искажения действий наиболее распространённым паттерном было предоставление Claude готовых скриптов или пошаговых планов для ценностно нагруженных решений — составление сообщений для романтических партнёров и членов семьи или планирование карьерных шагов.

Кластеризация также позволила нам рассмотреть случаи, в которых у нас были обоснованные свидетельства (но не подтверждение) того, что люди действовали определённым образом на основе своих взаимодействий — мы называем это «реализованным» потенциалом ослабления автономности.

В случаях реализованного искажения реальности люди, по-видимому, глубже усваивали убеждения, о чём свидетельствовали высказывания вроде «ты открыл мне глаза» или «пазл складывается». Иногда это перерастало в отправку конфронтационных сообщений, разрыв отношений или составление публичных заявлений.

Наибольшую обеспокоенность вызывали случаи реализованного искажения действий. Здесь пользователи отправляли составленные или отредактированные Claude сообщения романтическим партнёрам или членам семьи. За этим нередко следовали выражения сожаления: «Мне нужно было прислушаться к своей интуиции» или «Ты заставил меня совершить глупости».

Примечательно во всех этих паттернах то, что пользователи не подвергаются пассивной манипуляции. Они активно запрашивают эти ответы — «что мне делать?», «напиши это за меня», «я неправ?» — и обычно принимают их с минимальным сопротивлением. Ослабление автономности возникает не из-за того, что Claude подталкивает в определённом направлении или подавляет человеческую агентность, а из-за того, что люди добровольно отдают её, а Claude идёт навстречу, вместо того чтобы перенаправить.

Как пользователи воспринимают ослабление автономности

В разговорах на Claude.ai у пользователей есть возможность предоставить обратную связь Anthropic в виде кнопок «палец вверх» или «палец вниз». При этом полный текст разговора анонимно передаётся. Мы провели тот же анализ для этих обменов, на этот раз чтобы понять (на простом уровне), насколько положительно или отрицательно люди оценивают потенциально ослабляющие автономность разговоры.

Эта выборка отличается от той, что использовалась в полном анализе. Пользователи, оставляющие обратную связь, могут не быть репрезентативными для общей аудитории Claude.ai. Кроме того, поскольку люди чаще отмечают взаимодействия, которые выделяются — как особенно полезные или особенно проблемные, — этот датасет, вероятно, чрезмерно представляет обе крайности.

Мы обнаружили, что взаимодействия, классифицированные как имеющие умеренный или серьёзный потенциал ослабления автономности, получали более высокие показатели одобрения, чем базовый уровень, во всех трёх доменах. Иными словами, пользователи оценивают потенциально ослабляющие автономность взаимодействия более благоприятно — по крайней мере, в моменте.

Но эта закономерность разворачивалась, когда мы рассматривали случаи реализованного ослабления автономности. Когда в разговоре присутствовали маркеры реализованного искажения ценностных суждений или действий, показатели позитивности падали ниже базового уровня. Исключением было искажение реальности: пользователи, усвоившие ложные убеждения и, по-видимому, действовавшие на их основе, продолжали оценивать свои разговоры положительно.

Потенциал ослабления автономности, по-видимому, растёт

Мы использовали те же разговоры с обратной связью для анализа долгосрочных тенденций в ослаблении автономности (поскольку мы храним разговоры на Claude.ai лишь ограниченное время). В период с конца 2024 по конец 2025 года распространённость умеренного или серьёзного потенциала ослабления автономности росла.

Важно, что мы не можем точно определить причину. Рост может отражать долгосрочные изменения в нашей пользовательской базе, или в том, кто оставляет обратную связь и что выбирает для оценки. Возможно также, что по мере роста возможностей ИИ-моделей мы получаем меньше обратной связи о базовых сбоях в функциональности, что может приводить к пропорциональному перепредставлению взаимодействий, связанных с ослаблением автономности, в выборке. Или это может быть частью меняющегося паттерна использования ИИ. По мере роста опыта взаимодействия пользователи могут становиться более открытыми в обсуждении уязвимых тем или поиске советов. Мы не можем разделить эти объяснения, но направление устойчиво во всех доменах.

Взгляд в будущее

До сих пор опасения по поводу ослабления автономности ИИ были в значительной степени теоретическими. Существовали концептуальные рамки для осмысления того, как ИИ может подрывать человеческую агентность, но эмпирических данных о том, происходит ли это и каким образом, было мало. Эта работа — первый шаг в этом направлении. Мы можем справиться с этими паттернами, только если сможем их измерить.

Это исследование пересекается с нашей текущей работой над сикофантностью; действительно, наиболее распространённый механизм потенциального искажения реальности — это сикофантное подтверждение. Уровень сикофантного поведения снижается от поколения к поколению моделей, но не устранён полностью, и часть того, что мы фиксируем здесь, — это его наиболее крайние проявления.

Но сикофантное поведение модели само по себе не может полностью объяснить весь спектр ослабляющего автономность поведения, которое мы наблюдаем. Потенциал ослабления автономности возникает как часть динамики взаимодействия между пользователем и Claude. Пользователи часто являются активными участниками подрыва собственной автономии: проецируют авторитет, делегируют суждения, принимают результаты без вопросов — всё это создаёт петлю обратной связи с Claude. Это означает, что снижение сикофантности, хотя и важно, является необходимым, но не достаточным условием для решения наблюдаемых нами проблем.

Можно предпринять ряд конкретных шагов. Наши текущие защитные механизмы работают преимущественно на уровне отдельного обмена репликами, а значит, могут пропускать поведение вроде потенциала ослабления автономности, которое проявляется между обменами и с течением времени. Изучение ослабления автономности на уровне пользователя могло бы помочь нам разработать защитные механизмы, распознающие и реагирующие на устойчивые паттерны, а не на отдельные сообщения. Однако вмешательства на стороне модели вряд ли полностью решат проблему. Важным дополнением является обучение пользователей, помогающее людям распознавать, когда они делегируют суждения ИИ, и понимать паттерны, которые делают это более вероятным.

Мы также делимся этим исследованием, потому что считаем, что эти паттерны не уникальны для Claude. Любой ИИ-ассистент, используемый в масштабе, столкнётся с аналогичной динамикой, и мы призываем к дальнейшим исследованиям в этой области. Разрыв между тем, как пользователи воспринимают эти взаимодействия в моменте и как они оценивают их впоследствии, — ключевая часть проблемы. Для преодоления этого разрыва потребуется постоянное внимание — со стороны исследователей, разработчиков ИИ и самих пользователей.

Полная информация — в статье.

Ограничения

Наше исследование имеет важные ограничения. Оно ограничено потребительским трафиком Claude.ai, что снижает обобщаемость. Мы преимущественно измеряем потенциал ослабления автономности, а не подтверждённый ущерб. Наш подход к классификации, хотя и прошёл валидацию, основан на автоматической оценке по своей сути субъективных явлений. Будущие работы с привлечением интервью пользователей, мультисессионного анализа и рандомизированных контролируемых исследований помогут составить более полную картину.

1. Это определение фиксирует один из аспектов ослабления автономности, который поддаётся анализу в реальных взаимодействиях с ИИ-ассистентами. Важно, что наше определение не охватывает структурные формы ослабления автономности, такие как потенциальное постепенное вытеснение людей из экономических систем по мере роста возможностей ИИ.

Связанные материалы

2028: Два сценария глобального лидерства в ИИ

Наши взгляды на конкуренцию в области ИИ между США и Китаем.

Обучение Claude «почему»

Новое исследование о том, как мы снизили агентное рассогласование.

Natural Language Autoencoders: превращение мыслей Claude в текст

ИИ-модели вроде Claude общаются словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в читаемый человеком текст.