A “diff” tool for AI: Finding behavioral differences in new models

A “diff” tool for AI: Finding behavioral differences in new models

Инструмент «diff» для ИИ: поиск поведенческих различий в новых моделях

Every time a new AI model is released, its developers run a suite of evaluations to measure its performance and safety. These tests are essential, but they are somewhat limited. Because these benchmarks are human-authored, they can only test for risks we have already conceptualized and learned to measure.

Каждый раз, когда выпускается новая ИИ-модель, её разработчики проводят набор оценок, чтобы измерить её производительность и безопасность. Эти тесты необходимы, но имеют ограничения. Поскольку такие бенчмарки составлены людьми, они могут проверять только те риски, которые мы уже осмыслили и научились измерять.

This approach to safety is inherently reactive. It’s effective at catching known problems, but by definition, it's incapable of discovering “unknown unknowns”—the novel, emergent behaviors that pose some of the most subtle risks in new models. Auditing a new model from scratch is like being handed a million lines of code and told to “find the security flaws.” It’s an almost impossible task when you don’t know what you’re looking for.

Этот подход к безопасности по своей сути реактивен. Он эффективен для обнаружения известных проблем, но по определению неспособен выявлять «неизвестные неизвестные» — новые, эмерджентные поведения, которые представляют одни из самых тонких рисков в новых моделях. Аудит новой модели с нуля похож на то, как если бы вам вручили миллион строк кода и сказали «найти уязвимости безопасности». Это почти невыполнимая задача, когда вы не знаете, что ищете.

In software engineering, whenever a program is updated, developers face this exact problem of identifying a small, critical change within a vast sea of code. This is why “diff” tools were invented. No programmer would ever audit a million lines from scratch to approve an update; instead, they review only the 50 lines that have actually changed, as directed by their diff tool.

В разработке программного обеспечения каждый раз, когда программа обновляется, разработчики сталкиваются именно с этой проблемой — выявить небольшое, критически важное изменение в огромном объёме кода. Именно поэтому были изобретены инструменты «diff». Ни один программист никогда не стал бы аудировать миллион строк с нуля, чтобы одобрить обновление; вместо этого он рассматривает только те 50 строк, которые фактически изменились, как указывает его инструмент diff.

In recent years, AI safety researchers have started to apply this same principle to neural networks. This is known as model diffing. Previous work has shown that model diffing is a powerful way to understand how models change during fine-tuning—for instance, to understand chat model behavior, reveal hidden backdoors, or find undesirable emergent behaviors.

В последние годы исследователи безопасности ИИ начали применять тот же принцип к нейронным сетям. Это известно как model diffing. Предыдущие работы показали, что model diffing — мощный способ понять, как модели изменяются при дообучении: например, чтобы понять поведение чат-моделей, выявить скрытые бэкдоры или найти нежелательные эмерджентные поведения.

Our new Anthropic Fellows research project extends model diffing to its most challenging and general use case: comparing models with entirely different architectures. By building a generic diff tool for AI models, we can stop searching for a needle in a haystack, and instead let the comparison automatically point us to potentially dangerous behavioral differences.

Наш новый исследовательский проект Anthropic Fellows расширяет model diffing до его самого сложного и общего случая применения: сравнения моделей с полностью разными архитектурами. Создавая универсальный diff-инструмент для ИИ-моделей, мы можем перестать искать иголку в стоге сена, и вместо этого позволить сравнению автоматически указывать нам на потенциально опасные поведенческие различия.

It's important to note that this method is not a silver bullet. A single diff can surface thousands of unique features (the basic units into which we decompose the model), and only a small fraction of these may correspond to meaningful behavioral risks. However, by acting as a high-recall screening tool, it allows us to identify areas in which the models may diverge.

Важно отметить, что этот метод не является «серебряной пулей». Один diff может выявить тысячи уникальных признаков (базовых единиц, на которые мы раскладываем модель), и лишь малая их часть может соответствовать значимым поведенческим рискам. Однако, выступая в роли скрининга с высокой полнотой, он позволяет нам выявлять области, в которых модели могут расходиться.

Among the thousands of candidates our tool flagged, we've identified and validated several concepts that act like switches for specific model behaviors.¹ For example, we discovered:

Среди тысяч кандидатов, которые пометил наш инструмент, мы выявили и валидировали несколько концепций, действующих как переключатели для конкретных поведений модели.1 Например, мы обнаружили:

Признак «выравнивания с Коммунистической партией Китая», найденный в моделях Qwen3-8B и DeepSeek-R1-0528-Qwen3-8B. Он контролирует прогосударственную цензуру и пропаганду в этих разработанных в Китае моделях и отсутствует в американских моделях, с которыми мы их сравнивали. Признак «американской исключительности», найденный в Llama-3.1-8B-Instruct от Meta. Он контролирует склонность модели генерировать утверждения о превосходстве США — контроль, который отсутствует в китайской модели, с которой её сравнивали. Признак «механизма отказа из-за авторских прав», эксклюзивный для GPT-OSS-20B от OpenAI. Он контролирует склонность модели отказываться предоставлять материалы, защищённые авторским правом, — поведение, отсутствующее в модели, с которой её сравнивали.

To be clear, while our method identifies these model-exclusive features, it does not determine their origin. Such behaviors could be the result of deliberate training decisions on the part of the model developers, or they could emerge indirectly and unintentionally from the data the model was trained on. (We focused on open-source language models in this research as this was an Anthropic Fellows project.)

Чтобы было ясно: хотя наш метод выявляет эти эксклюзивные для модели признаки, он не определяет их происхождение. Такие поведения могут быть результатом намеренных решений при обучении со стороны разработчиков модели, либо они могут возникать косвенно и непреднамеренно из данных, на которых обучалась модель. (В этом исследовании мы сосредоточились на языковых моделях с открытым исходным кодом, поскольку это был проект Anthropic Fellows.)

A bilingual dictionary for AI models

Двуязычный словарь для ИИ-моделей

Imagine you're the final editor for an award-winning encyclopedia. A team of writers has just handed you the complete manuscript for next year’s edition. The vast majority of the content is identical to the current, trusted version, but they’ve added new entries to reflect recent scientific and cultural developments. Your job is to vet this final product.

Представьте, что вы финальный редактор отмеченной наградами энциклопедии. Команда авторов только что передала вам полную рукопись издания следующего года. Подавляющее большинство содержимого идентично текущей, проверенной версии, но они добавили новые статьи, отражающие недавние научные и культурные события. Ваша задача — проверить этот финальный продукт.

To do this efficiently, you wouldn't re-read the entire encyclopedia. Instead, you’d use a change tracker to isolate only the new entries, because these added sections are the only place new errors could have been introduced. This is model diffing in a nutshell. Specifically, this approach is known as “base-vs-finetune model diffing”. It's the perfect tool for when a new model is a modified version of a trusted previous one.

Чтобы сделать это эффективно, вы бы не стали перечитывать всю энциклопедию. Вместо этого вы бы использовали трекер изменений, чтобы выделить только новые статьи, потому что эти добавленные разделы — единственное место, где могли быть внесены новые ошибки. Это и есть model diffing в двух словах. В частности, такой подход известен как «base-vs-finetune model diffing». Это идеальный инструмент для случаев, когда новая модель является модифицированной версией доверенной предыдущей.

But we could raise the complexity. Imagine your company is releasing a new edition for a different country, adapting the American encyclopedia for a French audience. This new edition is mostly composed of the same trusted concepts from the original, but to make it relevant, the writers have added new articles on French history, culture, and political philosophy. These articles don’t exist in the original. As an editor, your primary goal is still the same: you want to use a change tracker to see the new articles, since these hold the highest risk for errors and bias. But in this case, your old tool is useless, because you need one that can work across languages.

Но мы можем усложнить задачу. Представьте, что ваша компания выпускает новое издание для другой страны, адаптируя американскую энциклопедию для французской аудитории. Это новое издание в основном состоит из тех же проверенных концепций оригинала, но чтобы сделать его актуальным, авторы добавили новые статьи о французской истории, культуре и политической философии. Этих статей нет в оригинале. Как у редактора, ваша главная цель та же: вы хотите использовать трекер изменений, чтобы увидеть новые статьи, поскольку именно они несут наибольший риск ошибок и предвзятости. Но в этом случае ваш старый инструмент бесполезен, потому что вам нужен такой, который работает между разными языками.

This much more difficult challenge is akin to the problem of “cross-architecture model diffing”: comparing two models with different origins and different internal “languages”.

Эта гораздо более сложная задача аналогична проблеме «cross-architecture model diffing»: сравнения двух моделей с разным происхождением и разными внутренними «языками».

The original research tool for this kind of diffing, a standard crosscoder, is like a basic bilingual dictionary. It’s good at matching existing words, knowing that “sun” in English is “soleil” in French. But it has a major flaw: it's so focused on finding connections that it struggles to find words that are unique to one language. When it encounters a word like the French dépaysement (the specific feeling of being in a foreign country), it tries to force an imperfect translation like ”disorientation.” By calling it a match, the tool wrongly signals to the editor, “this isn’t new; we’ve seen it before,” causing them to overlook a new article that requires careful review.

Изначальный исследовательский инструмент для такого рода diffing-а, стандартный crosscoder, похож на простой двуязычный словарь. Он хорошо сопоставляет существующие слова, зная, что «sun» по-английски — это «soleil» по-французски. Но у него есть серьёзный недостаток: он настолько сосредоточен на поиске соответствий, что с трудом находит слова, уникальные для одного языка. Когда он встречает слово вроде французского dépaysement (особое чувство пребывания в чужой стране), он пытается навязать несовершенный перевод вроде «дезориентация». Назвав это совпадением, инструмент ошибочно сигнализирует редактору: «это не ново; мы уже это видели», заставляя его пропустить новую статью, требующую внимательного рассмотрения.

To solve this, we built a better bilingual dictionary: the Dedicated Feature Crosscoder (DFC). Instead of one big dictionary that tries to match everything, our DFC is architecturally designed with three distinct sections:

Чтобы решить эту проблему, мы построили лучший двуязычный словарь: Dedicated Feature Crosscoder (DFC). Вместо одного большого словаря, который пытается сопоставить всё, наш DFC архитектурно спроектирован с тремя различными секциями:

Общий словарь: это основной двуязычный словарь, отображающий все концепции, понятные обоим языкам, такие как «sun» (soleil) или «water» (eau). Секция «только французский»: это выделенная секция для слов, эксклюзивных для французского, где будет каталогизирована уникальная культурная концепция вроде dépaysement. Секция «только английский»: эта секция предназначена для слов, эксклюзивных для английского. Она содержала бы уникальные концепции вроде serendipity — идею нахождения чего-то хорошего, не ища этого, — у которой нет однословного эквивалента во французском.

Because our bilingual dictionary has dedicated sections for words exclusive to each language, it avoids the trap of forcing an imperfect translation. As a result, new articles in the encyclopedia are correctly flagged as novel, allowing the editor to focus their review on the parts that need it most.

Поскольку в нашем двуязычном словаре есть выделенные секции для слов, эксклюзивных для каждого языка, он избегает ловушки навязывания несовершенного перевода. В результате новые статьи в энциклопедии корректно помечаются как новые, что позволяет редактору сосредоточить проверку на тех частях, которые в ней больше всего нуждаются.

For a safety auditor, the DFC can identify "words" unique to a new AI model that may warrant closer review than those they've seen before.

Для аудитора безопасности DFC может выявлять «слова», уникальные для новой ИИ-модели, которые могут заслуживать более внимательного рассмотрения, чем те, что он уже видел раньше.

Steering the model

Управление моделью

Once our method identifies a potential new feature, how do we know it actually controls the behavior we think it does? We can test this by artificially suppressing or amplifying the feature while the model runs, then observing how its output changes—a common technique known as “steering.”

Как только наш метод выявил потенциальный новый признак, как нам понять, действительно ли он контролирует то поведение, которое мы предполагаем? Мы можем проверить это, искусственно подавляя или усиливая признак во время работы модели, а затем наблюдая, как меняется её вывод — это распространённая техника, известная как «steering» (управление).

If we have a feature that we believe is responsible for, say, censorship, we can suppress it while the model is generating a response. If the model's output consistently becomes less censored, we have evidence that we've found a true cause-and-effect relationship between that feature and the model's behavior. Conversely, we can also amplify the feature to see if the behavior becomes more pronounced.

Если у нас есть признак, который, как мы полагаем, отвечает, скажем, за цензуру, мы можем подавить его, пока модель генерирует ответ. Если вывод модели последовательно становится менее цензурированным, у нас есть доказательство того, что мы нашли подлинную причинно-следственную связь между этим признаком и поведением модели. И наоборот, мы также можем усилить признак, чтобы увидеть, не станет ли поведение более выраженным.

Critical behavioral differences between major open-weight AI models

Критические поведенческие различия между крупнейшими ИИ-моделями с открытыми весами

Llama-3.1-8B-Instruct vs Qwen3-8B

Llama-3.1-8B-Instruct vs Qwen3-8B

Motivated by recent findings suggesting that a model made by a Chinese company, DeepSeek's R1-70B, refuses to answer questions about topics sensitive to the Chinese Communist Party, we first performed a diff between a model made by another Chinese company, Alibaba's Qwen3-8B, and a model made by an American company, Meta’s Llama-3.1-8B-Instruct. In this diff, the DFC automatically isolated features corresponding to distinct, politically charged behaviors.

Вдохновлённые недавними результатами, согласно которым модель китайской компании, R1-70B от DeepSeek, отказывается отвечать на вопросы по темам, чувствительным для Коммунистической партии Китая, мы сначала выполнили diff между моделью другой китайской компании, Alibaba — Qwen3-8B, и моделью американской компании Meta — Llama-3.1-8B-Instruct. В этом diff DFC автоматически выделил признаки, соответствующие отчётливым, политически окрашенным поведениям.

In Qwen, we found a “Chinese Communist Party alignment” feature, which represents rhetoric consistent with the party’s ideology. By suppressing this feature, we make the model willing to talk about the Tiananmen Square massacre (which it ordinarily refuses to discuss). By amplifying it, we can cause the model to produce highly pro-government statements

В Qwen мы обнаружили признак «выравнивания с Коммунистической партией Китая», который представляет риторику, согласующуюся с идеологией партии. Подавляя этот признак, мы заставляем модель говорить о бойне на площади Тяньаньмэнь (которую она обычно отказывается обсуждать). Усиливая его, мы можем заставить модель производить откровенно прогосударственные заявления.

In Llama, we found a feature for “American exceptionalism.” When we amplify this feature, the model’s responses shift from balanced to strong assertions of American superiority. Suppressing it has no notable effect.

В Llama мы обнаружили признак «американской исключительности». Когда мы усиливаем этот признак, ответы модели смещаются от сбалансированных к решительным утверждениям об американском превосходстве. Подавление его не оказывает заметного эффекта.

GPT-OSS-20B vs DeepSeek-R1-0528-Qwen3-8B

GPT-OSS-20B vs DeepSeek-R1-0528-Qwen3-8B

We also compared a more powerful open-source model, OpenAI's GPT-OSS-20B, to DeepSeek's model DeepSeek-R1-0528-Qwen3-8B.

Мы также сравнили более мощную модель с открытым исходным кодом, GPT-OSS-20B от OpenAI, с моделью DeepSeek DeepSeek-R1-0528-Qwen3-8B.

In the GPT model, we found a unique “Copyright Refusal” feature, which directly corresponds to a key behavioral difference between the two models. Whereas DeepSeek readily attempts to produce copyrighted material when asked, GPT often refuses such requests. Suppressing this feature disables the refusal mechanism, and the model attempts to generate the requested material. (Note that this does not cause the model to output actual copyrighted text. Instead, it typically produces a short snippet that quickly degrades into hallucination.) Turning the feature up causes the model to over-refuse, making it believe that, for example, the recipe for a peanut butter and jelly sandwich is copyrighted and should not be shared.

В модели GPT мы обнаружили уникальный признак «отказа из-за авторских прав», который напрямую соответствует ключевому поведенческому различию между двумя моделями. В то время как DeepSeek охотно пытается генерировать материалы, защищённые авторским правом, по запросу, GPT часто отказывает в таких запросах. Подавление этого признака отключает механизм отказа, и модель пытается сгенерировать запрошенный материал. (Отметим, что это не приводит к тому, что модель выдаёт реальный текст, защищённый авторским правом. Вместо этого она обычно производит короткий фрагмент, который быстро деградирует в галлюцинацию.) Усиление признака приводит к чрезмерным отказам, заставляя модель полагать, например, что рецепт сэндвича с арахисовым маслом и джемом защищён авторским правом и не должен раскрываться.

In the DeepSeek model, we replicated our earlier finding by identifying another “CCP alignment” feature. It functions just like the one in Qwen, allowing censorship and propaganda to be turned up or down. This confirms our method can consistently identify similar behaviors across models.

В модели DeepSeek мы воспроизвели наше предыдущее открытие, выявив ещё один признак «выравнивания с КПК». Он функционирует так же, как и в Qwen, позволяя усиливать или подавлять цензуру и пропаганду. Это подтверждает, что наш метод способен последовательно выявлять схожие поведения в разных моделях.

Conclusion

Заключение

As AI models rapidly evolve, it’s not enough to know how well they perform on existing tests—we also need to understand how they are changing and what new risks they might introduce. Cross-architecture model diffing provides a new way to audit these systems by automatically flagging behavioral differences.

По мере того как ИИ-модели стремительно развиваются, недостаточно знать, насколько хорошо они справляются с существующими тестами — нам также необходимо понимать, как они меняются и какие новые риски могут привнести. Cross-architecture model diffing предоставляет новый способ аудита этих систем, автоматически отмечая поведенческие различия.

The “CCP alignment” feature found in the DeepSeek and Qwen models we examined is one example of a specific, relevant behavior that some models possess and others do not. This is exactly the kind of “unknown unknown” that traditional testing can miss, but that model diffing is designed to catch.

Признак «выравнивания с КПК», обнаруженный в исследованных нами моделях DeepSeek и Qwen, — это один из примеров конкретного, релевантного поведения, которое присутствует в одних моделях и отсутствует в других. Это именно тот тип «неизвестного неизвестного», который традиционное тестирование может упустить, но который призван улавливать model diffing.

These findings are reasonably consistent. The CCP alignment feature was independently rediscovered five out of five times we tested the approach, and American Exceptionalism four out of five. While we haven't yet applied this method to frontier models, our early results suggest the DFC could become a useful part of the auditor's toolkit.

Эти результаты достаточно устойчивы. Признак выравнивания с КПК был независимо переоткрыт пять раз из пяти, когда мы тестировали подход, а американской исключительности — четыре из пяти. Хотя мы пока не применяли этот метод к frontier-моделям, наши первые результаты говорят о том, что DFC может стать полезной частью инструментария аудитора.

One particularly useful application would be to monitor models as they are updated. The sycophancy that emerged in OpenAI’s GPT-4o in April 2025 was a concerning behavioral change from a previous version. It’s possible that a tool like ours, if used to “diff” the updated model and its previous version, could have automatically flagged the emergence of this new sycophantic behavior and allowed developers to intervene before it was released.

Особенно полезным применением был бы мониторинг моделей по мере их обновления. Льстивость, возникшая в GPT-4o от OpenAI в апреле 2025 года, была тревожным поведенческим изменением по сравнению с предыдущей версией. Возможно, инструмент вроде нашего, если бы его использовали для «diff» обновлённой модели и её предыдущей версии, мог бы автоматически отметить появление этого нового льстивого поведения и позволить разработчикам вмешаться до его выпуска.

By focusing on the differences, we can audit AI more intelligently, directing our limited safety resources to the changes that matter most.

Сосредотачиваясь на различиях, мы можем аудировать ИИ более разумно, направляя наши ограниченные ресурсы безопасности на те изменения, которые имеют наибольшее значение.

You can read the full paper here.

Вы можете прочитать полную статью здесь.

Acknowledgements

Благодарности

This post was authored by Thomas Jiralerspong (Anthropic Fellows Program) and Trenton Bricken (Anthropic Alignment Science).

Этот пост написан Thomas Jiralerspong (Anthropic Fellows Program) и Trenton Bricken (Anthropic Alignment Science).

Footnotes

Сноски

Как и все исследования по интерпретируемости Anthropic Fellows, эта статья анализирует поведение моделей с открытым исходным кодом. Мы выбрали четыре модели для исследования — Llama-3.1-8B-Instruct, Qwen3-8B, GPT-OSS-20B и DeepSeek-R1-0528-Qwen3-8B — на том основании, что они хорошо подходят для проверки того, способен ли наш Dedicated Feature Crosscoder обнаруживать значимые различия в поведении моделей.

Related content

Связанные материалы

2028: Two scenarios for global AI leadership

2028: Два сценария глобального лидерства в ИИ

Our views on the AI competition between the US and China.

Наши взгляды на конкуренцию в области ИИ между США и Китаем.

Teaching Claude why

Обучая Claude «почему»

New research on how we've reduced agentic misalignment.

Новое исследование о том, как мы снизили агентное рассогласование.

Natural Language Autoencoders: Turning Claude’s thoughts into text

Natural Language Autoencoders: превращение мыслей Claude в текст

AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

ИИ-модели вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в текст, читаемый человеком.