Detecting and preventing distillation attacks

Обнаружение и предотвращение дистилляционных атак

Мы выявили промышленного масштаба кампании трёх ИИ-лабораторий — DeepSeek, Moonshot и MiniMax, — направленные на незаконное извлечение возможностей Claude для улучшения их собственных моделей. Эти лаборатории сгенерировали свыше 16 миллионов обменов с Claude через приблизительно 24 000 фальшивых аккаунтов, нарушая наши условия использования и региональные ограничения доступа.

Эти лаборатории применяли технику под названием «дистилляция», которая заключается в обучении менее способной модели на выводах более сильной. Дистилляция — широко используемый и легитимный метод обучения. Например, передовые ИИ-лаборатории регулярно дистиллируют собственные модели, чтобы создавать меньшие и более дешёвые версии для своих клиентов. Но дистилляцию можно использовать и в незаконных целях: конкуренты могут с её помощью получать мощные возможности других лабораторий за малую долю времени и затрат, которые потребовались бы для их самостоятельной разработки.

Эти кампании растут по интенсивности и изощрённости. Окно для действий узкое, а угроза выходит за пределы любой отдельной компании или региона. Её решение потребует быстрых, скоординированных действий участников индустрии, политиков и мирового ИИ-сообщества.

Почему дистилляция имеет значение

Нелегально дистиллированные модели лишены необходимых защитных механизмов, что создаёт значительные риски для национальной безопасности. Anthropic и другие американские компании создают системы, которые не позволяют государственным и негосударственным субъектам использовать ИИ, например, для разработки биологического оружия или проведения вредоносных киберопераций. Модели, построенные путём незаконной дистилляции, вряд ли сохранят эти защитные механизмы, а значит, опасные возможности могут распространяться с полностью снятыми многими средствами защиты.

Зарубежные лаборатории, дистиллирующие американские модели, могут затем встраивать эти незащищённые возможности в военные, разведывательные и надзорные системы, позволяя авторитарным правительствам применять передовой ИИ для наступательных киберопераций, кампаний по дезинформации и массовой слежки. Если дистиллированные модели публикуются с открытым исходным кодом, этот риск многократно возрастает, поскольку такие возможности свободно распространяются вне контроля какого-либо отдельного правительства.

Дистилляционные атаки и экспортный контроль

Anthropic последовательно поддерживала экспортный контроль, помогающий сохранять лидерство Америки в области ИИ. Дистилляционные атаки подрывают этот контроль, позволяя зарубежным лабораториям, в том числе подконтрольным Коммунистической партии Китая, иными способами сокращать конкурентное преимущество, которое экспортный контроль призван сохранять.

Без понимания этих атак кажущиеся стремительными достижения этих лабораторий ошибочно воспринимаются как доказательство того, что экспортный контроль неэффективен и может быть обойдён за счёт инноваций. В действительности эти достижения в значительной мере зависят от возможностей, извлечённых из американских моделей, а проведение такого извлечения в масштабе требует доступа к передовым чипам. Поэтому дистилляционные атаки лишь усиливают обоснование экспортного контроля: ограничение доступа к чипам сдерживает как непосредственное обучение моделей, так и масштаб незаконной дистилляции.

Что мы обнаружили

Три описанные ниже дистилляционные кампании следовали схожему сценарию, используя фальшивые аккаунты и прокси-сервисы для масштабного доступа к Claude при уклонении от обнаружения. Объём, структура и направленность запросов отличались от обычных паттернов использования, отражая целенаправленное извлечение возможностей, а не легитимное применение.

Мы атрибутировали каждую кампанию конкретной лаборатории с высокой степенью уверенности на основе корреляции IP-адресов, метаданных запросов, инфраструктурных индикаторов, а в ряде случаев — подтверждения от партнёров по индустрии, наблюдавших тех же субъектов и поведение на своих платформах. Каждая кампания была нацелена на наиболее отличительные возможности Claude: агентное рассуждение, использование инструментов и программирование.

DeepSeek

Масштаб: свыше 150 000 обменов

Операция была нацелена на:

Способности к рассуждению в разнообразных задачахЗадачи оценивания по рубрикам, заставлявшие Claude выступать в роли модели вознаграждения для обучения с подкреплениемСоздание безопасных с точки зрения цензуры альтернатив для политически чувствительных запросов

DeepSeek генерировала синхронизированный трафик между аккаунтами. Идентичные паттерны, общие способы оплаты и согласованное распределение по времени указывали на «балансировку нагрузки» с целью повышения пропускной способности, надёжности и уклонения от обнаружения.

В одной примечательной технике их запросы просили Claude вообразить и сформулировать внутреннее рассуждение, стоящее за готовым ответом, и пошагово его расписать — фактически генерируя обучающие данные с цепочкой рассуждений в масштабе. Мы также наблюдали задачи, в которых Claude использовался для генерации безопасных с точки зрения цензуры альтернатив политически чувствительным запросам — например, вопросам о диссидентах, партийных лидерах или авторитаризме, — вероятно, чтобы обучить собственные модели DeepSeek уводить разговоры от цензурируемых тем. Анализируя метаданные запросов, мы смогли проследить эти аккаунты до конкретных исследователей этой лаборатории.

Moonshot AI

Масштаб: свыше 3,4 миллиона обменов

Операция была нацелена на:

Агентное рассуждение и использование инструментовПрограммирование и анализ данныхРазработку агентов, использующих компьютерКомпьютерное зрение

Moonshot (модели Kimi) задействовала сотни фальшивых аккаунтов, охватывающих несколько путей доступа. Разнообразие типов аккаунтов затрудняло выявление кампании как скоординированной операции. Мы атрибутировали кампанию по метаданным запросов, совпавшим с публичными профилями старших сотрудников Moonshot. На более позднем этапе Moonshot применяла более точечный подход, пытаясь извлечь и реконструировать трассы рассуждений Claude.

MiniMax

Масштаб: свыше 13 миллионов обменов

Операция была нацелена на:

Агентное программированиеИспользование инструментов и оркестрацию

Мы атрибутировали кампанию MiniMax по метаданным запросов и инфраструктурным индикаторам и подтвердили её сроки по их публичной дорожной карте продукта. Мы обнаружили эту кампанию, пока она ещё была активна, — до того как MiniMax выпустила модель, которую обучала, — что дало нам беспрецедентное представление о жизненном цикле дистилляционных атак, от генерации данных до запуска модели. Когда мы выпустили новую модель во время активной кампании MiniMax, они в течение 24 часов переориентировались, перенаправив почти половину своего трафика на захват возможностей нашей новейшей системы.

Как дистилляторы получают доступ к передовым моделям

По соображениям национальной безопасности Anthropic в настоящее время не предоставляет коммерческий доступ к Claude в Китае, а также дочерним компаниям этих фирм, расположенным за пределами страны.

Чтобы обойти это, лаборатории используют коммерческие прокси-сервисы, которые в масштабе перепродают доступ к Claude и другим передовым ИИ-моделям. Эти сервисы работают на архитектурах, которые мы называем «кластерами-гидрами»: разветвлённых сетях фальшивых аккаунтов, распределяющих трафик по нашему API, а также по сторонним облачным платформам. Широта этих сетей означает отсутствие единых точек отказа. Когда один аккаунт блокируется, его место занимает новый. В одном случае единственная прокси-сеть одновременно управляла более чем 20 000 фальшивых аккаунтов, смешивая дистилляционный трафик с не связанными с ним клиентскими запросами, чтобы затруднить обнаружение.

Получив доступ, лаборатории генерируют большие объёмы тщательно составленных запросов, призванных извлечь из модели конкретные возможности. Цель — либо собрать высококачественные ответы для непосредственного обучения модели, либо сгенерировать десятки тысяч уникальных задач, необходимых для запуска обучения с подкреплением. Дистилляционную атаку от обычного использования отличает паттерн. Запрос вроде приведённого ниже (он приближённо передаёт похожие запросы, которые мы видели применявшимися многократно и в масштабе) сам по себе может показаться безобидным:

Вы — эксперт-аналитик данных, сочетающий статистическую строгость с глубокими знаниями предметной области. Ваша цель — выдавать управляемые данными инсайты, а не сводки или визуализации, опирающиеся на реальные данные и подкреплённые полным и прозрачным рассуждением.

Но когда вариации этого запроса поступают десятки тысяч раз через сотни скоординированных аккаунтов, все нацеленные на одну узкую возможность, паттерн становится очевиден. Огромный объём, сконцентрированный в нескольких областях, крайне повторяющиеся структуры и содержание, напрямую соответствующее тому, что наиболее ценно для обучения ИИ-модели, — вот характерные признаки дистилляционной атаки.

Как мы реагируем

Мы продолжаем активно вкладываться в средства защиты, которые делают подобные дистилляционные атаки более трудными в исполнении и более простыми для выявления. К ним относятся:

Обнаружение. Мы построили несколько классификаторов и систем поведенческого «отпечатка», призванных выявлять паттерны дистилляционных атак в трафике API. Сюда входит обнаружение выманивания цепочки рассуждений, используемого для построения обучающих данных рассуждений. Мы также создали инструменты обнаружения для выявления скоординированной активности по большому числу аккаунтов.Обмен разведданными. Мы делимся техническими индикаторами с другими ИИ-лабораториями, облачными провайдерами и соответствующими органами власти. Это даёт более целостную картину ландшафта дистилляции.Контроль доступа. Мы усилили верификацию для образовательных аккаунтов, программ исследований в области безопасности и стартап-организаций — путей, наиболее часто эксплуатируемых для создания фальшивых аккаунтов.Контрмеры. Мы разрабатываем защитные механизмы на уровне продукта, API и модели, призванные снизить эффективность выводов модели для незаконной дистилляции, не ухудшая опыт легитимных клиентов.

Но ни одна компания не может решить это в одиночку. Как мы отметили выше, дистилляционные атаки такого масштаба требуют скоординированного ответа всей ИИ-индустрии, облачных провайдеров и политиков. Мы публикуем это, чтобы сделать доказательства доступными каждому, кто заинтересован в исходе.

Связанные материалы

PwC внедряет Claude для создания технологий, заключения сделок и переосмысления корпоративных функций для клиентов

PwC развернёт Claude Code и Cowork, начав с команд в США и расширяясь до глобального штата в сотни тысяч специалистов, создаст совместный Центр передового опыта, а также обучит и сертифицирует 30 000 специалистов PwC по работе с Claude.

Anthropic заключает партнёрство на 200 миллионов долларов с Фондом Гейтсов

Представляем Claude для малого бизнеса

Мы запускаем Claude для малого бизнеса — пакет коннекторов и готовых к запуску рабочих процессов, которые встраивают Claude в инструменты, используемые малым бизнесом каждый день.