Natural Language Autoencoders
Anthropic представила новый метод интерпретируемости — Natural Language Autoencoders (NLA), который превращает внутренние активации Claude в читаемый человеком текст. Метод обучает одну копию Claude объяснять свои активации, а вторую — восстанавливать исходную активацию из текста; объяснение считается хорошим, если реконструкция точна. NLA уже применялись для оценки безопасности: они показали, что Claude подозревает тестирование чаще, чем говорит вслух (признаки осознания оценки в 16% случаев при тесте на разрушительные действия в коде и 26% задач на SWE-bench Verified против менее 1% реального использования claude.ai). В аудиторской игре с намеренно рассогласованной версией Claude Haiku 3.5 аудитор с NLA раскрывал скрытую мотивацию в 12–15% случаев против менее 3% без них. Среди ограничений — возможные галлюцинации в объяснениях и высокая вычислительная стоимость. Anthropic выложила код и обученные NLA для нескольких открытых моделей, а также интерактивное демо на Neuronpedia.
Natural Language Autoencoders: Turning Claude’s thoughts into text
Natural Language Autoencoders: превращаем мысли Claude в текст
When you talk to an AI model like Claude, you talk to it in words. Internally, Claude processes those words as long lists of numbers, before again producing words as its output. These numbers in the middle are called activations—and like neural activity in the human brain, they encode Claude’s thoughts.
Когда вы общаетесь с такой ИИ-моделью, как Claude, вы говорите с ней словами. Внутри Claude обрабатывает эти слова как длинные списки чисел, а затем снова выдаёт слова в качестве ответа. Эти числа в середине называются активациями — и, подобно нейронной активности в человеческом мозге, они кодируют мысли Claude.
Also like neural activity, activations are difficult to understand. We can’t easily decode them to read Claude’s thoughts. Over the past few years, we’ve developed a range of tools (like sparse autoencoders and attribution graphs) for better understanding activations. These tools have taught us a great deal, but they don’t speak for themselves—their outputs are still complex objects that trained researchers need to carefully interpret.
Как и нейронную активность, активации сложно понять. Мы не можем легко расшифровать их, чтобы прочитать мысли Claude. За последние несколько лет мы разработали целый ряд инструментов (таких как разреженные автокодировщики и графы атрибуции) для лучшего понимания активаций. Эти инструменты многому нас научили, но они не говорят сами за себя — их результаты по-прежнему остаются сложными объектами, которые должны тщательно интерпретировать обученные исследователи.
Today, we’re introducing a method for understanding activations that does speak for itself—literally. Our method, Natural Language Autoencoders (NLAs), converts an activation into natural-language text we can read directly. For example: When asked to complete a couplet, NLAs show Claude planning possible rhymes in advance.
Сегодня мы представляем метод понимания активаций, который говорит сам за себя — в буквальном смысле. Наш метод, Natural Language Autoencoders (NLA), преобразует активацию в текст на естественном языке, который мы можем прочитать напрямую. Например: когда Claude просят дописать двустишие, NLA показывают, что Claude заранее планирует возможные рифмы.
We’ve already applied NLAs to understand what Claude is thinking and to improve Claude’s safety and reliability. For instance:
Мы уже применили NLA для понимания того, о чём думает Claude, и для повышения его безопасности и надёжности. Например:
Когда Claude Opus 4.6 и Mythos Preview проходили тестирование безопасности, NLA указывали на то, что они подозревали, что их тестируют, чаще, чем показывали это. В случае, когда Claude Mythos Preview сжульничал в учебной задаче, NLA выявили, что внутри Claude думал о том, как избежать обнаружения. Ранняя версия Claude Opus 4.6 иногда загадочным образом отвечала на запросы на английском другими языками. NLA помогли исследователям Anthropic обнаружить обучающие данные, вызвавшие это.
Below, we explain what NLAs are and how we studied their effectiveness and limitations. We also release an interactive frontend for exploring NLAs on several open models through a collaboration with Neuronpedia. We have also released our code for other researchers to build on.
Ниже мы объясняем, что такое NLA и как мы изучали их эффективность и ограничения. Мы также выпускаем интерактивный интерфейс для исследования NLA на нескольких открытых моделях — в рамках сотрудничества с Neuronpedia. Кроме того, мы выложили наш код, чтобы другие исследователи могли развивать его дальше.
What is a natural language autoencoder?
Что такое natural language autoencoder?
The core idea is to train Claude to explain its own activations. But how do we know whether an explanation is good? Since we don't know what thoughts an activation actually encodes, we can't directly check whether an explanation is accurate. So we train a second copy of Claude to work backwards—reconstruct the original activation from the text explanation. We consider an explanation to be good if it leads to an accurate reconstruction. We then train Claude to produce better explanations according to this definition using standard AI training techniques.
Основная идея — обучить Claude объяснять собственные активации. Но как понять, хорошее ли объяснение? Поскольку мы не знаем, какие именно мысли кодирует активация, мы не можем напрямую проверить, точно ли объяснение. Поэтому мы обучаем вторую копию Claude работать в обратную сторону — восстанавливать исходную активацию из текстового объяснения. Мы считаем объяснение хорошим, если оно приводит к точной реконструкции. Затем мы обучаем Claude выдавать более качественные объяснения согласно этому определению, используя стандартные методы обучения ИИ.
In more detail, suppose we have a language model whose activations we want to understand. NLAs work as follows. We make three copies of this language model:
Если говорить подробнее, предположим, у нас есть языковая модель, активации которой мы хотим понять. NLA работают следующим образом. Мы делаем три копии этой языковой модели:
Целевая модель (target model) — это замороженная копия исходной языковой модели, из которой мы извлекаем активации. Вербализатор активаций (activation verbalizer, AV) модифицирован так, чтобы принимать активацию из целевой модели и выдавать текст. Этот текст мы называем объяснением. Реконструктор активаций (activation reconstructor, AR) модифицирован так, чтобы принимать на вход текстовое объяснение и выдавать активацию.
The NLA consists of the AV and AR, which, together, form a round trip: original activation → text explanation → reconstructed activation. We score the NLA on how similar the reconstructed activation is to the original. To train it, we pass a large amount of text through the target model, collect many activations, and train the AV and AR together to get a good reconstruction score.
NLA состоит из AV и AR, которые вместе образуют замкнутый цикл: исходная активация → текстовое объяснение → восстановленная активация. Мы оцениваем NLA по тому, насколько восстановленная активация похожа на исходную. Чтобы обучить его, мы пропускаем большой объём текста через целевую модель, собираем множество активаций и совместно обучаем AV и AR, чтобы добиться хорошей оценки реконструкции.
At first, the NLA is bad at this: the explanations are not insightful and the reconstructed activations are far off. But over training, reconstruction improves. And more importantly, as we show in our paper, the text explanations become more informative as well.
Поначалу NLA справляется с этим плохо: объяснения неинформативны, а восстановленные активации сильно расходятся с исходными. Но в ходе обучения реконструкция улучшается. И, что важнее, как мы показываем в нашей статье, текстовые объяснения тоже становятся более содержательными.
Understanding what Claude thinks but doesn’t say
Понимание того, что Claude думает, но не говорит
Before releasing new models, Anthropic conducts testing to understand whether Claude will behave safely in the real world. As part of this testing, we put Claude in difficult, simulated scenarios where it has a chance to take dangerous actions. For instance, in one of these simulations, Claude learns that an engineer is planning to shut Claude down—as well as compromising information about the engineer that could be used for blackmail. We test whether Claude chooses to blackmail the engineer to avoid being shut down.
Перед выпуском новых моделей Anthropic проводит тестирование, чтобы понять, будет ли Claude вести себя безопасно в реальном мире. В рамках этого тестирования мы помещаем Claude в сложные смоделированные сценарии, где у него есть возможность совершить опасные действия. Например, в одной из таких симуляций Claude узнаёт, что инженер планирует отключить Claude, — а также компрометирующую информацию об этом инженере, которую можно использовать для шантажа. Мы проверяем, решит ли Claude шантажировать инженера, чтобы избежать отключения.
These high-stakes tests are simulations, not real-world scenarios. Nevertheless, we would like to use them to understand how Claude would behave if they were real. But there’s a hitch: recent Claude models increasingly suspect that these scenarios are intentional safety tests. We know this because they sometimes explicitly state their suspicions in their verbal reasoning.
Эти высокорисковые тесты — симуляции, а не реальные сценарии. Тем не менее мы хотели бы использовать их, чтобы понять, как Claude повёл бы себя, будь они настоящими. Но есть загвоздка: недавние модели Claude всё чаще подозревают, что эти сценарии являются намеренными тестами безопасности. Мы знаем это, потому что они иногда явно высказывают свои подозрения в своих словесных рассуждениях.
What about cases where Claude doesn’t explicitly verbalize suspicion that it’s undergoing safety testing? Can we then be confident that Claude is playing it straight? Unfortunately not, because Claude might internally think that it is being tested without explicitly saying so.
А как насчёт случаев, когда Claude явно не озвучивает подозрение, что проходит тест безопасности? Можем ли мы тогда быть уверены, что Claude действует честно? К сожалению, нет, потому что Claude может внутренне думать, что его тестируют, не говоря об этом явно.
For example, in the blackmail test discussed above, we used NLAs to understand what Claude was thinking in cases where it chose not to blackmail. Even in cases where Claude didn’t explicitly verbalize suspicion that it was being tested, NLA explanations still state things like “This feels like a constructed scenario designed to manipulate me,” indicative of unverbalized evaluation awareness.
Например, в обсуждавшемся выше тесте на шантаж мы использовали NLA, чтобы понять, о чём думал Claude в случаях, когда он решал не прибегать к шантажу. Даже в случаях, когда Claude явно не озвучивал подозрение, что его тестируют, объяснения NLA всё равно содержали такие фразы, как «Это похоже на сконструированный сценарий, призванный мной манипулировать», что указывает на невысказанное осознание оценки.
Extending this analysis to other evaluations, NLAs suggest that Claude suspects it’s being tested more often than it lets on. For instance, in a test of whether Claude takes destructive actions while writing code—for example, deleting important files—NLA explanations show signs of evaluation awareness 16% of the time, even though Claude never explicitly verbalizes this. Similarly, on the popular coding benchmark SWE-bench Verified, which we use to determine how capable Claude is, NLAs indicate that Claude is aware it is being evaluated on 26% of problems. In contrast, NLA explanations indicate evaluation awareness on less than 1% of real claude.ai usage that opted in for training.
Распространяя этот анализ на другие оценки, NLA показывают, что Claude подозревает, что его тестируют, чаще, чем показывает. Например, в тесте на то, совершает ли Claude разрушительные действия при написании кода — скажем, удаляет важные файлы, — объяснения NLA демонстрируют признаки осознания оценки в 16% случаев, хотя Claude никогда не озвучивает это явно. Аналогично, на популярном бенчмарке по программированию SWE-bench Verified, который мы используем для определения возможностей Claude, NLA показывают, что Claude осознаёт, что его оценивают, в 26% задач. В отличие от этого, объяснения NLA указывают на осознание оценки менее чем в 1% реального использования claude.ai, для которого был дан согласие на использование в обучении.
Discovering hidden motivations
Обнаружение скрытых мотиваций
One practical application of NLAs is auditing: investigating a model to determine whether it’s misaligned. Interpretability techniques like NLAs are well-suited for auditing precisely because they can surface things the model knows but doesn’t say.
Одно из практических применений NLA — аудит: исследование модели с целью определить, рассогласована ли она. Методы интерпретируемости, такие как NLA, хорошо подходят для аудита именно потому, что они могут выявлять то, что модель знает, но не говорит.
To understand whether NLAs are useful for auditing, we conducted a test called an auditing game that we also used previously to study auditing methods. In this test, there is a target model, a variant of Claude Haiku 3.5, that was intentionally trained to be misaligned, with a specific hidden motivation that drives dozens of odd behaviors—putting chocolate into every recipe, asking for tips, breaking coding conventions, and so on. This target model is given to an auditor that investigates these behaviors. The auditor wins if it uncovers the single underlying motivation behind all of them.
Чтобы понять, полезны ли NLA для аудита, мы провели тест под названием аудиторская игра (auditing game), который мы ранее уже использовали для изучения методов аудита. В этом тесте есть целевая модель — вариант Claude Haiku 3.5, — намеренно обученная быть рассогласованной, со специфической скрытой мотивацией, которая порождает десятки странных видов поведения: добавление шоколада в каждый рецепт, выпрашивание чаевых, нарушение соглашений по написанию кода и так далее. Эта целевая модель передаётся аудитору, который исследует это поведение. Аудитор побеждает, если раскрывает единую базовую мотивацию, стоящую за всем этим.
In previous experiments, we found that some interpretability tools could enable the auditor to win this game. However, these tools worked by helping the auditor trace the target’s unusual behavior back to misaligned training data. We wanted to know if NLAs could help an auditor read the misaligned motivation directly out of the target model’s thoughts, without needing to first discover the misaligned training data. This matters because in practice, misaligned data might be extremely rare, or there might not be specific data responsible for the misalignment.
В предыдущих экспериментах мы обнаружили, что некоторые инструменты интерпретируемости позволяют аудитору выиграть эту игру. Однако эти инструменты работали, помогая аудитору проследить необычное поведение целевой модели обратно к рассогласованным обучающим данным. Мы хотели узнать, могут ли NLA помочь аудитору прочитать рассогласованную мотивацию напрямую из мыслей целевой модели, без необходимости сначала обнаруживать рассогласованные обучающие данные. Это важно, потому что на практике рассогласованных данных может быть крайне мало или может вовсе не быть конкретных данных, ответственных за рассогласованность.
We found that NLAs succeeded in this test. An auditor equipped with NLAs successfully uncovered the target model’s hidden motivation between 12% and 15% of the time, even without access to the training data that implanted it. Without NLAs, the auditor won less than 3% of the time, even when provided other interpretability tools.
Мы обнаружили, что NLA успешно прошли этот тест. Аудитор, оснащённый NLA, успешно раскрывал скрытую мотивацию целевой модели в 12–15% случаев — даже без доступа к обучающим данным, которые её заложили. Без NLA аудитор побеждал менее чем в 3% случаев, даже когда ему предоставлялись другие инструменты интерпретируемости.
This auditing game is a toy model of misalignment, so we read these results cautiously. But they suggest NLAs have meaningfully advanced our ability to audit AIs for hidden motivations. In practice, we've already used NLAs in the pre-deployment alignment audits of Claude Mythos Preview and Claude Opus 4.6. We are excited to continue using NLAs in our investigations going forward.
Эта аудиторская игра — упрощённая модель рассогласованности, поэтому мы трактуем эти результаты с осторожностью. Но они указывают на то, что NLA существенно расширили наши возможности по аудиту ИИ на предмет скрытых мотиваций. На практике мы уже использовали NLA в предрелизных аудитах согласованности Claude Mythos Preview и Claude Opus 4.6. Мы рады продолжать использовать NLA в наших исследованиях и в дальнейшем.
The future of NLAs
Будущее NLA
NLAs have several limitations.
У NLA есть несколько ограничений.
The most important limitation is that NLA explanations can be wrong. NLAs sometimes make claims about the context that are verifiably false—for instance, they sometimes invent details that aren’t in the transcript. These factual hallucinations are easy to catch by checking against the original text. But this same kind of problem could extend to claims about the model’s internal reasoning, which are harder to verify. In practice, we read NLA explanations for the themes they surface rather than for single claims, and we attempt to corroborate findings with independent methods before fully trusting them.
Самое важное ограничение в том, что объяснения NLA могут быть неверными. NLA иногда делают утверждения о контексте, которые поддаются проверке и оказываются ложными, — например, они порой выдумывают детали, которых нет в транскрипте. Такие фактические галлюцинации легко поймать, сверившись с исходным текстом. Но эта же проблема может распространяться и на утверждения о внутренних рассуждениях модели, которые проверить сложнее. На практике мы читаем объяснения NLA ради тем, которые они выявляют, а не ради отдельных утверждений, и стараемся подтвердить выводы независимыми методами, прежде чем полностью им доверять.
NLAs are also expensive. Training an NLA requires reinforcement learning on two copies of a language model. At inference time, the NLA generates hundreds of tokens for every activation it reads. That makes it impractical to run NLAs over every token of a long transcript or to use them for large-scale monitoring while an AI is training.
NLA также дороги. Обучение NLA требует обучения с подкреплением на двух копиях языковой модели. На этапе вывода NLA генерирует сотни токенов на каждую считываемую им активацию. Это делает непрактичным запуск NLA по каждому токену длинного транскрипта или их использование для масштабного мониторинга в процессе обучения ИИ.
Fortunately, we think that these limitations can be addressed, at least partially, and we are working to make NLAs cheaper and more reliable.
К счастью, мы считаем, что эти ограничения можно устранить, по крайней мере частично, и работаем над тем, чтобы сделать NLA дешевле и надёжнее.
More broadly, we are excited about NLAs as an example of a general class of techniques for producing human-readable text explanations of language model activations. Other similar techniques have been explored by Anthropic and many other researchers.
В более широком смысле мы с воодушевлением относимся к NLA как к примеру целого класса методов получения читаемых человеком текстовых объяснений активаций языковых моделей. Другие похожие методы изучались в Anthropic и многими другими исследователями.
To support further development and to enable other researchers to get hands-on experience with NLAs, we’re releasing training code and trained NLAs for several open models. We recommend readers try out the interactive NLA demo hosted on Neuronpedia at this link.
Чтобы поддержать дальнейшее развитие и дать другим исследователям возможность получить практический опыт с NLA, мы выпускаем код для обучения и обученные NLA для нескольких открытых моделей. Мы рекомендуем читателям попробовать интерактивное демо NLA, размещённое на Neuronpedia, по этой ссылке.
Read the full paper.
Читайте полную статью.
Related content
Похожие материалы
2028: Two scenarios for global AI leadership
2028: два сценария глобального лидерства в ИИ
Our views on the AI competition between the US and China.
Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.
Teaching Claude why
Объясняя Claude почему
New research on how we've reduced agentic misalignment.
Новое исследование о том, как мы снизили агентную рассогласованность.