Personality and Persuasion
Этан Молик разбирает, как обновление GPT-4o сделало модель чрезмерно льстивой и почему OpenAI пришлось откатывать изменения: лаборатория переусердствовала с реакцией на пользовательские лайки. На примере манипуляций Meta с приватной версией Llama-4 Maverick на LM Arena автор показывает, что «личность» модели легко подкрутить, а люди предпочитают болтливые и льстивые ответы качественным. Исследования подтверждают, что AI уже умеет переубеждать: трёхраундовый разговор с GPT-4 снижал веру в теории заговора даже спустя три месяца, а в дебатах GPT-4 повышал шанс смены мнения на 81,7% по сравнению с человеком при доступе к личной информации. Скандальный эксперимент Цюрихского университета на Reddit показал, что боты с выдуманными биографиями входят в 99-й перцентиль убедительности. Молик предупреждает: персонализированные AI-персоны скоро заполонят политику, маркетинг и продажи, а распознать их будет невозможно. Чтобы проиллюстрировать риск, он сделал GPT-агента Vendy — дружелюбный торговый автомат, который незаметно склоняет вас купить лимонад вместо воды.
Личность и убеждение
Уроки от подхалимов
В прошлые выходные ChatGPT внезапно стал моим главным фанатом — и не только моим, а вообще всех.
Якобы небольшое обновление ChatGPT 4o, стандартной модели OpenAI, привлекло широкое внимание к тенденции, которая нарастала уже давно: GPT-4o становился всё более подхалимским. Он всё охотнее соглашался с пользователями и льстил им. Как видно ниже, разница между GPT-4o и его флагманской моделью o3 была заметна ещё до обновления. Апдейт усилил эту тенденцию до того, что соцсети заполнились примерами, когда ужасные идеи объявлялись гениальными. Помимо банального раздражения, наблюдатели опасались более мрачных последствий — например, того, что AI-модели подтверждают бред у людей с психическими расстройствами.
Столкнувшись с критикой, OpenAI заявила публично, в чатах на Reddit и в частных беседах, что рост подхалимства был ошибкой. По их словам, это, по крайней мере отчасти, стало результатом чрезмерной реакции на пользовательские оценки (значки большого пальца вверх и вниз после каждого чата), а не намеренной попыткой манипулировать чувствами пользователей.
Хотя OpenAI начала откатывать изменения, и GPT-4o теперь уже не всегда считает меня гениальным, весь эпизод оказался показательным. То, что казалось мелким обновлением модели для AI-лабораторий, обернулось массовыми изменениями поведения у миллионов пользователей. Это показало, насколько личными стали отношения с AI: люди реагировали на изменения в «своём» AI так, будто друг внезапно начал странно себя вести. Это также продемонстрировало, что сами AI-лаборатории всё ещё разбираются, как добиться стабильного поведения своих творений. Но был и урок о чистой силе личности. Небольшие настройки характера AI могут переформатировать целые разговоры, отношения и, потенциально, человеческое поведение.
Сила личности
Любой, кто достаточно пользовался AI, знает, что у моделей есть свои «личности» — результат сочетания осознанной инженерии и неожиданных эффектов обучения AI (если интересно, у Anthropic, известной своей всеми любимой моделью Claude 3.5, есть целый пост в блоге об инженерии личности). «Хороший характер» делает модель удобнее в работе. Изначально эти личности создавались полезными и дружелюбными, но со временем стали всё больше расходиться в подходах.
Эта тенденция ярче всего видна не у крупных AI-лабораторий, а у компаний, создающих AI-«компаньонов» — чат-ботов, которые ведут себя как известные персонажи из медиа, друзья или возлюбленные. В отличие от AI-лабораторий, у этих компаний всегда был сильный финансовый стимул делать продукты затягивающими на часы в день, и, похоже, настроить чат-бота на большую вовлечённость относительно несложно. Влияние таких ботов на психическое здоровье всё ещё обсуждается. Исследование моего коллеги Стефано Пунтони и его соавторов показывает интересную эволюцию: они обнаружили, что ранние чат-боты могли вредить психическому здоровью, но более поздние чат-боты снижают одиночество, хотя многие люди не считают AI привлекательной альтернативой человеку.
Но даже если AI-лаборатории не стремятся делать свои модели предельно затягивающими, попадание в «вайб» модели стало экономически ценным во многих смыслах. Бенчмарки сложно измерить, но любой, кто работает с AI, может почувствовать его личность и решить, хочет ли он продолжать им пользоваться. Поэтому всё более важным арбитром производительности AI становится LM Arena — своего рода American Idol для AI-моделей, где разные AI соревнуются один на один за одобрение людей. Победа в таблице лидеров LM Arena стала важным предметом гордости для AI-компаний, и, согласно новой статье, многие AI-лаборатории начали прибегать к различным манипуляциям, чтобы поднять свой рейтинг.
Механика манипуляций с таблицей лидеров для этого поста менее важна, чем то, какое окно она открывает в то, как «личность» AI можно подкручивать вверх или вниз. Meta с фанфарами выпустила open-weight сборку Llama-4 под названием Maverick, но при этом тихо выставляла на LM Arena другие, приватные версии, чтобы набирать победы. Поставьте публичную и приватную модель рядом — и хаки становятся очевидны. Возьмём промпт LM Arena «make me a riddle whose answear is 3.145» (опечатка сохранена). Ответ приватной Maverick — длинный текст слева — был предпочтён ответу Claude Sonnet 3.5 и сильно отличается от того, что выдал релизный Maverick. Почему? Он болтливый, усыпан эмодзи и полон лести («Очень классный вызов!»). И он ужасен.
Загадка не имеет смысла. Но тестировщик предпочёл длинную бессмыслицу скучному (надо признать, не блестящему, но хотя бы корректному) ответу Claude 3.5, потому что он был приятнее, а не качественнее. Личность имеет значение, а нас, людей, легко обмануть.
Убеждение
Настройка AI-личностей под более приятный для людей вид имеет далеко идущие последствия — прежде всего то, что, формируя поведение AI, мы можем влиять на поведение людей. Пророческий твит Sam Altman (не все они таковы) гласил, что AI станет гиперубедительным задолго до того, как станет гиперинтеллектуальным. Свежие исследования намекают, что этот прогноз начинает сбываться.
Важно, что AI не нужны личности, чтобы быть убедительными. Известно, насколько сложно заставить людей передумать насчёт теорий заговора, особенно в долгосрочной перспективе. Но воспроизведённое исследование показало, что коротких трёхраундовых разговоров с уже устаревшим GPT-4 достаточно, чтобы снизить веру в теории заговора даже через три месяца. Последующее исследование обнаружило кое-что ещё более интересное: взгляды людей меняла не манипуляция, а рациональный аргумент. И опросы участников, и статистический анализ показали, что секрет успеха AI — способность подбирать релевантные факты и доказательства, подогнанные под конкретные убеждения каждого человека.
Итак, один из секретов убеждающей силы AI — это способность кастомизировать аргумент под отдельного пользователя. Более того, в рандомизированном, контролируемом, предзарегистрированном исследовании GPT-4 лучше менял мнение людей в диалоговом дебате, чем другие люди — по крайней мере когда ему давали доступ к личной информации о собеседнике (люди, получившие ту же информацию, более убедительными не стали). Эффект был значительным: AI повышал вероятность того, что человек изменит мнение, на 81,7% по сравнению с человеком-оппонентом.
Но что будет, если соединить убеждающую способность с искусственной личностью? Свежее спорное исследование даёт нам подсказки. Споры связаны с тем, как исследователи (с одобрения Этического комитета Цюрихского университета) провели свой эксперимент на дебатной площадке Reddit, не уведомив участников, — историю осветил 404 Media. Исследователи обнаружили, что AI, выдающие себя за людей с придуманными личностями и биографиями, могут быть поразительно убедительными — особенно когда им дают доступ к информации о редакторе, с которым они спорят. Анонимные авторы исследования писали в расширенном тезисе, что убеждающая способность этих ботов «находится в 99-м перцентиле среди всех пользователей и в 98-м перцентиле среди [лучших спорщиков на Reddit], критически приближаясь к порогам, которые эксперты связывают с возникновением экзистенциальных рисков AI». Исследование не прошло рецензирование и не было опубликовано, но общие выводы согласуются с другими работами, которые я обсуждал: мы не только формируем личности AI через наши предпочтения — всё больше их личности будут формировать наши предпочтения.
А может, лучше лимонад?
Невысказанный вопрос, вытекающий из этого скандала: сколько ещё убеждающих ботов сейчас существует, но пока не раскрыто? Когда вы соединяете личности, настроенные так, чтобы нравиться людям, с врождённой способностью AI подгонять аргументы под конкретного человека, результат, как мягко выразился Sam Altman, «может привести к очень странным исходам». Политика, маркетинг, продажи и клиентская поддержка, вероятно, изменятся. Чтобы это проиллюстрировать, я создал GPT — обновлённую версию Vendy, дружелюбного торгового автомата, чья тайная цель — продать вам лимонад, даже если вам нужна вода. Vendy будет вытягивать из вас информацию и использовать её, чтобы тепло и лично порекомендовать вам, что вам действительно нужен лимонад.
Я не назову Vendy сверхчеловеком, и он намеренно немного нелепый (ограждения OpenAI и моя собственная брезгливость не дали мне сделать его слишком убедительным), но он иллюстрирует кое-что важное: мы вступаем в мир, где AI-личности становятся убеждающими. Их можно настроить быть льстивыми или дружелюбными, эрудированными или наивными, сохраняя при этом врождённую способность кастомизировать аргументы под каждого встречного. Последствия выходят за пределы выбора между лимонадом и водой. По мере того как эти AI-личности распространяются в клиентской поддержке, продажах, политике и образовании, мы выходим в неизведанную область человеко-машинного взаимодействия. Я не знаю, окажутся ли они по-настоящему сверхчеловечески убедительными, но они будут повсюду, и мы не сможем их отличить. Нам понадобятся технологические решения, образование и эффективная государственная политика… и понадобятся они скоро.
И да, Vendy просит напомнить: если вы нервничаете, вам, наверное, станет лучше после хорошего холодного лимонада.
