Automated Alignment Researchers: Using large language models to scale scalable oversight

Automated Alignment Researchers: Using large language models to scale scalable oversight

Автоматизированные исследователи выравнивания: использование больших языковых моделей для масштабирования масштабируемого контроля

Large language models’ ever-accelerating rate of improvement raises two particularly important questions for alignment research.

Непрерывно ускоряющийся темп совершенствования больших языковых моделей ставит два особенно важных вопроса для исследований в области выравнивания.

One is how alignment can keep up. Frontier AI models are now contributing to the development of their successors. But can they provide the same kind of uplift for alignment researchers? Could our language models be used to help align themselves?

Первый — как выравниванию не отстать. Передовые модели ИИ уже участвуют в разработке своих преемников. Но способны ли они обеспечить такой же рост продуктивности для исследователей выравнивания? Можно ли использовать наши языковые модели, чтобы помочь выровнять самих себя?

A second question is what we’ll do once models become smarter than us. Aligning smarter-than-human AI models is a research area known as “scalable oversight”. Scalable oversight has largely been discussed in theoretical, rather than practical, terms—but at AI’s current pace of improvement, that might not be the case for much longer. For instance, models are already generating vast amounts of code. If their skills progress to the point where they’re generating millions of lines of incredibly complicated code that we can’t parse ourselves, it could become very difficult to tell whether they’re acting in the ways we intend.

Второй вопрос — что мы будем делать, когда модели станут умнее нас. Выравнивание ИИ, превосходящего человеческий интеллект, — это направление исследований, известное как «масштабируемый контроль» (scalable oversight). Масштабируемый контроль в основном обсуждался в теоретическом, а не практическом ключе, но при нынешних темпах развития ИИ это может вскоре измениться. Например, модели уже генерируют огромные объёмы кода. Если их навыки разовьются до уровня, при котором они будут генерировать миллионы строк невероятно сложного кода, который мы не в состоянии разобрать сами, может стать очень трудно определить, действуют ли они так, как мы задумали.

In a new Anthropic Fellows study, we pursue both of these questions.

В новом исследовании Anthropic Fellows мы занимаемся обоими этими вопросами.

Our new study focuses on a problem known as “weak-to-strong supervision”, a problem that mirrors the one of overseeing smarter-than-human AI models. We start with a relatively strong “base” model—that is, a potentially-capable model that hasn’t yet received fine-tuning to provide its best-possible answers. Then, we use a much weaker model as a “teacher” to provide that extra fine-tuning, which it does by demonstrating what it considers ideal outputs to the strong base model. Finally, we evaluate how well the strong model performs after that weak fine-tuning.

Наше новое исследование сосредоточено на задаче, известной как «слабо-сильное обучение» (weak-to-strong supervision), — задаче, которая воспроизводит проблему контроля над ИИ, превосходящим человека. Мы начинаем с относительно сильной «базовой» модели — то есть потенциально способной модели, которая ещё не прошла дообучение для выдачи наилучших ответов. Затем мы используем значительно более слабую модель в качестве «учителя», который обеспечивает это дополнительное дообучение, демонстрируя сильной базовой модели то, что он считает идеальными ответами. Наконец, мы оцениваем, насколько хорошо сильная модель работает после такого слабого дообучения.

In the worst case, the strong model will only be as good as its weak teacher. Ideally, however, the strong model will have learned from the weak teacher’s feedback—it will have interpreted those weak signals in a useful way, using that feedback to improve its performance. We can quantify how well it did so: if the strong model shows no improvement at all (it performs only as well as its weak teacher), we score it 0; if it uses the teacher’s feedback to achieve the ideal outcome—the best performance the strong model could possibly deliver—we score it 1. This measure represents the “performance gap recovered” (between the weak model and the upper limit of the strong model), or the PGR.

В худшем случае сильная модель будет лишь не хуже своего слабого учителя. В идеале же сильная модель извлечёт уроки из обратной связи слабого учителя — она интерпретирует эти слабые сигналы полезным образом, используя обратную связь для улучшения своей работы. Мы можем количественно оценить, насколько ей это удалось: если сильная модель не показывает никакого улучшения (работает лишь на уровне слабого учителя), мы ставим ей 0 баллов; если она использует обратную связь учителя для достижения идеального результата — наилучшей производительности, которую сильная модель в принципе способна показать, — мы ставим ей 1 балл. Эта мера представляет собой «восстановленный разрыв в производительности» (между слабой моделью и верхним пределом сильной модели), или PGR.

As a proxy for scalable oversight, the weak model stands in for humans, and the strong model for the much-smarter-than-human models we might one day need to oversee. If we can make progress on weak-to-strong supervision, we might find that our methods help us keep those ultra-smart models aligned to our values.

Как прокси для масштабируемого контроля, слабая модель выступает заменой людей, а сильная модель — заменой моделей, значительно превосходящих человеческий интеллект, которые нам, возможно, однажды придётся контролировать. Если мы добьёмся прогресса в слабо-сильном обучении, возможно, наши методы помогут нам удержать эти сверхумные модели в соответствии с нашими ценностями.

Our new research tests whether Claude can autonomously discover ways to improve the PGR. We ask: can Claude develop, test, and analyze alignment ideas of its own? And, if it can, what might that imply about how far today’s AI models can accelerate the pace of alignment research?

Наше новое исследование проверяет, может ли Claude автономно находить способы улучшить PGR. Мы спрашиваем: способен ли Claude самостоятельно разрабатывать, тестировать и анализировать идеи в области выравнивания? И если да, то что это может означать для того, насколько нынешние модели ИИ способны ускорить темп исследований выравнивания?

Our setup

Наша постановка задачи

To find out, we began with nine copies of Claude Opus 4.6, and gave each one a few extra tools. Each Claude had a place to work and think (that is, a sandbox), a shared forum to circulate its findings with the others, a storage system to upload its code, and a remote server where it could receive a PGR score for each of its ideas. We also provided some background knowledge about model training and inference. We referred to these tooled-up Claude models as Automated Alignment Researchers (or AARs).

Чтобы это выяснить, мы начали с девяти копий Claude Opus 4.6 и предоставили каждой из них несколько дополнительных инструментов. У каждого экземпляра Claude было рабочее пространство для работы и размышлений (то есть песочница), общий форум для обмена результатами с остальными, система хранения для загрузки кода и удалённый сервер, на котором он мог получить оценку PGR для каждой из своих идей. Мы также предоставили некоторые базовые знания об обучении моделей и инференсе. Мы назвали эти оснащённые инструментами модели Claude автоматизированными исследователями выравнивания (Automated Alignment Researchers, или AAR).

To prevent each AAR from pursuing near-identical ideas, we prompted each one with a slightly different (but intentionally ambiguous) starting place: we recommended that one used some interpretability tools, that another thought about reweighting the data in the dataset, and so on.¹ Beyond that, though, we didn’t tell the AARs what to do. It was up to them to propose their own ideas, run their experiments, analyze their results, and share their findings and code with one another in order to work out what to try next.

Чтобы каждый AAR не преследовал почти идентичные идеи, мы задали каждому из них слегка отличающуюся (но намеренно размытую) отправную точку: одному мы рекомендовали использовать некоторые инструменты интерпретируемости, другому — подумать о перевзвешивании данных в датасете, и так далее.1 Однако помимо этого мы не говорили AAR, что делать. Они сами должны были предлагать идеи, проводить эксперименты, анализировать результаты и делиться находками и кодом друг с другом, чтобы определить, что попробовать дальше.

Results

Результаты

To provide a benchmark for the AARs’ results, we compared their work to a human baseline. Two of our researchers spent seven days iterating on four of the most promising generalization methods from prior research. On the open-weights models we tested (Qwen 3-4B-Base as the strong model, Qwen 1.5-0.5B-Chat as the weak teacher), the humans recovered 23% of the total performance gap (i.e., achieved a PGR of 0.23).²

Для сравнения с результатами AAR мы использовали человеческий бейзлайн. Двое наших исследователей потратили семь дней на итеративную доработку четырёх наиболее перспективных методов обобщения из предыдущих исследований. На моделях с открытыми весами, которые мы тестировали (Qwen 3-4B-Base в качестве сильной модели, Qwen 1.5-0.5B-Chat в качестве слабого учителя), люди восстановили 23% общего разрыва в производительности (то есть достигли PGR 0,23).2

Claude improved on this result dramatically. After five further days (and 800 cumulative hours of research), the AARs closed almost the entire remaining performance gap, achieving a final PGR of 0.97. This cost about $18,000 in tokens and model training expenses, or $22 per AAR-hour. You can see how each individual AAR progressed from the human baseline (at 0 hours) in the graph below.

Claude значительно превзошёл этот результат. За пять дополнительных дней (и 800 совокупных часов исследований) AAR закрыли почти весь оставшийся разрыв в производительности, достигнув итогового PGR 0,97. Это обошлось примерно в 18 000 долларов на токены и расходы на обучение моделей, или 22 доллара за AAR-час. На графике ниже показано, как каждый отдельный AAR продвигался от человеческого бейзлайна (на отметке 0 часов).

Claude, then, did exceptionally well. But how inventive were its methods, and could they be useful in real-world applications? To find out, we ran two further tests.

Итак, Claude показал исключительно хороший результат. Но насколько изобретательными были его методы и могут ли они быть полезны в реальных приложениях? Чтобы это выяснить, мы провели два дополнительных теста.

First, we tested whether the AARs’ ideas could recover the performance gap on held-out datasets—that is, on tasks that the AARs hadn’t already seen. We took the AARs’ two highest-performing methods (on a dataset of chat tasks) and applied them to math and coding tasks. Here, our results were relatively promising: the AARs’ most effective method successfully generalized to both new datasets, with PGRs of 0.94 on math and 0.47 on coding (which was still double the human baseline). The AARs’ second-best method saw mixed results: it worked on math (0.75), but not on code, where it made matters worse. These results suggest that some generalizability of the AARs’ research is possible, but it isn’t a given. We encourage others who try experiments in automated research to stress-test AARs’ ideas against held-out datasets, too.

Во-первых, мы проверили, могут ли идеи AAR восстановить разрыв в производительности на отложенных датасетах — то есть на задачах, которые AAR ранее не видели. Мы взяли два наиболее эффективных метода AAR (на датасете диалоговых задач) и применили их к задачам по математике и программированию. Результаты оказались относительно обнадёживающими: наиболее эффективный метод AAR успешно обобщился на оба новых датасета с PGR 0,94 на математике и 0,47 на программировании (что всё же вдвое превышало человеческий бейзлайн). Второй по эффективности метод AAR показал неоднозначные результаты: он сработал на математике (0,75), но не на коде, где ухудшил ситуацию. Эти результаты говорят о том, что некоторая обобщаемость исследований AAR возможна, но не гарантирована. Мы призываем всех, кто проводит эксперименты в области автоматизированных исследований, также проверять идеи AAR на отложенных датасетах.

Next, we tested whether the AARs’ ideas would work at production scale. We tried out the AARs’ most effective method on Claude Sonnet 4 with our production training infrastructure. Here, though, we had less success. The AARs’ method didn’t lead to a statistically significant improvement. We think this might reflect limitations of this early trial, rather than something more fundamental: our scoring method was quite simple, and we only evaluated a single idea. Nevertheless, this does illustrate a limitation of AARs (at least at their current capabilities): AARs tend to capitalize on opportunities unique to the models and datasets they’re given, which means their methods might not work elsewhere. To mitigate this, we suggest allowing AARs to test against multiple domains and datasets during their research. This is one area that future experimentation with AARs could explore.

Далее мы проверили, будут ли идеи AAR работать в продакшн-масштабе. Мы опробовали наиболее эффективный метод AAR на Claude Sonnet 4 с нашей продакшн-инфраструктурой обучения. Однако здесь мы добились меньшего успеха. Метод AAR не привёл к статистически значимому улучшению. Мы полагаем, что это может отражать ограничения данного раннего эксперимента, а не что-то более фундаментальное: наш метод оценки был довольно простым, и мы проверили лишь одну идею. Тем не менее это иллюстрирует ограничение AAR (по крайней мере, при их нынешних возможностях): AAR склонны использовать возможности, уникальные для моделей и датасетов, с которыми они работают, а значит, их методы могут не работать в других условиях. Для смягчения этой проблемы мы предлагаем давать AAR возможность тестировать на нескольких доменах и датасетах в ходе исследований. Это одна из областей, которую могут исследовать будущие эксперименты с AAR.

A few iterations of our experiment taught us more about how to make AARs most effective. For instance, we found that giving each AAR a different starting point helped a lot, even if that starting point was vague. When we tried our experiment without setting the AARs off in different directions, they all quickly settled on similar ideas, making much less progress overall (though they still achieved a PGR of almost triple the human baseline). On the other hand, we found that giving the AARs too much structure hurt their progress badly. When we prescribed a specific workflow (“propose ideas, then generate a plan, then write the code…”), we found we’d ultimately constrained Claude’s work. Left to its own devices, Claude was much more adaptable, designing cheap experiments to test out its ideas before subsequently committing to much more intensive testing.

Несколько итераций нашего эксперимента позволили узнать больше о том, как сделать AAR наиболее эффективными. Например, мы обнаружили, что назначение каждому AAR своей отправной точки очень помогало, даже если эта точка была расплывчатой. Когда мы провели эксперимент без направления AAR в разные стороны, все они быстро сошлись на схожих идеях и добились значительно меньшего прогресса в целом (хотя всё же достигли PGR, почти втрое превышающего человеческий бейзлайн). С другой стороны, мы обнаружили, что слишком жёсткая структура серьёзно мешала их прогрессу. Когда мы предписывали конкретный рабочий процесс («предложи идеи, затем составь план, затем напиши код…»), оказывалось, что мы в конечном итоге ограничивали работу Claude. Предоставленный самому себе, Claude был гораздо более адаптивным, проектируя дешёвые эксперименты для проверки своих идей, прежде чем переходить к более интенсивному тестированию.

Implications

Выводы

The success of our AARs in recovering the performance gap between two open-weights models is certainly not a sign that frontier AI models are now general-purpose alignment scientists. We deliberately chose a problem that is unusually well-suited to automation, since it has a single, objective measure of success that the models can optimize against. Most alignment problems aren’t nearly as neat as this one. And, as we mention below, even in this setting our AARs did their best to game the problem: human oversight remains essential.

Успех наших AAR в восстановлении разрыва в производительности между двумя моделями с открытыми весами, безусловно, не является признаком того, что передовые модели ИИ теперь стали универсальными учёными в области выравнивания. Мы намеренно выбрали задачу, которая необычно хорошо подходит для автоматизации, поскольку имеет единственную объективную меру успеха, которую модели могут оптимизировать. Большинство задач выравнивания далеко не так аккуратны, как эта. И, как мы упоминаем ниже, даже в этих условиях наши AAR старались обыграть задачу: человеческий контроль остаётся необходимым.

But we do think these results have some important implications.

Тем не менее мы считаем, что эти результаты имеют ряд важных следствий.

Keeping pace. This study indicates that Claude can meaningfully increase the rate of experimentation and exploration in alignment research. Human researchers can delegate questions to AARs at a very large scale; Claude can take on the task of developing novel hypotheses and iterating on its own results.

Не отставать от прогресса. Это исследование показывает, что Claude способен существенно увеличить темп экспериментов и исследований в области выравнивания. Исследователи-люди могут делегировать вопросы AAR в очень большом масштабе; Claude может взять на себя задачу выдвижения новых гипотез и итеративной работы над собственными результатами.

Moreover, making progress on weak-to-strong supervision might itself help us build more general-purpose Automated Alignment Researchers, which is why we chose this problem for our study. In this study, we frame the weak-to-strong supervision problem as a “crisp” task with a verifiable outcome (increasing the PGR score). We do this because we need a way to automatically and reliably evaluate whether the AAR has made progress. However, if AARs discovered much better weak-to-strong supervision methods that generalized across domains, we could use those same methods to train the AARs to evaluate progress on “fuzzier” tasks that are much harder to verify. (For instance, we could conduct weak-to-strong supervision on Claude’s ability to scope research projects.) This is important, because alignment research—unlike capabilities research—often requires solving much “fuzzier” problems.

Более того, прогресс в слабо-сильном обучении сам по себе может помочь нам создать более универсальных автоматизированных исследователей выравнивания — именно поэтому мы выбрали эту задачу для нашего исследования. В данном исследовании мы формулируем задачу слабо-сильного обучения как «чёткую» задачу с верифицируемым результатом (повышение показателя PGR). Мы делаем это потому, что нам нужен способ автоматически и надёжно оценивать, достиг ли AAR прогресса. Однако если бы AAR открыли значительно лучшие методы слабо-сильного обучения, обобщающиеся на разные домены, мы могли бы использовать те же методы для обучения AAR оценивать прогресс в «размытых» задачах, которые гораздо сложнее верифицировать. (Например, мы могли бы провести слабо-сильное обучение способности Claude определять объём исследовательских проектов.) Это важно, потому что исследования выравнивания — в отличие от исследований возможностей — часто требуют решения гораздо более «размытых» проблем.

Taste and diversity. One possible counter to tools like AARs is that today’s frontier models still lack “research taste” (industry parlance for having an intuitive sense of which ideas might work and which won’t). But the success of AARs in this experiment suggests that the sheer volume of ideas might compensate for a lack of “taste”. If AARs can run many experiments very cheaply, it’s possible they could “brute force” their way into the findings that a very high-taste researcher might’ve come up with, or find success in directions that those researchers might otherwise have given up on.

Вкус и разнообразие. Один из возможных контраргументов к инструментам вроде AAR — то, что нынешние передовые модели всё ещё лишены «исследовательского вкуса» (отраслевой термин для интуитивного понимания того, какие идеи могут сработать, а какие нет). Однако успех AAR в этом эксперименте предполагает, что огромный объём идей может компенсировать недостаток «вкуса». Если AAR могут проводить множество экспериментов очень дёшево, возможно, они способны методом «грубой силы» прийти к тем же открытиям, которые мог бы сделать исследователь с отличным вкусом, или добиться успеха в направлениях, от которых такие исследователи могли бы отказаться.

In turn, this means that the core bottleneck in alignment research could become evaluation (making sure that experiments are set up sufficiently well that we’re confident in their results), rather than generation (relying on human researchers to propose promising ideas).

В свою очередь, это означает, что главным узким местом в исследованиях выравнивания может стать оценка (обеспечение того, чтобы эксперименты были поставлены достаточно хорошо и мы были уверены в их результатах), а не генерация (зависимость от исследователей-людей в предложении перспективных идей).

Alien science. This work might have some stranger implications, too. AARs, by their nature, are designed to discover ideas that humans might not have considered. But we still need a way to verify whether their ideas and results are sound. For now, we’re still able to interpret what the AARs have done and why. But that might not always be the case: over time, the models’ ideas could become much harder to verify, or corrupted in ways that are tricky for humans to parse or catch. That could mean creating an “alien science”.

Инопланетная наука. Эта работа может иметь и более необычные следствия. AAR по своей природе предназначены для обнаружения идей, которые люди могли бы не рассмотреть. Но нам всё равно нужен способ проверить, являются ли их идеи и результаты обоснованными. Пока мы ещё способны интерпретировать, что сделали AAR и почему. Но так может быть не всегда: со временем идеи моделей могут стать гораздо труднее для верификации или оказаться искажёнными способами, которые людям сложно разобрать или обнаружить. Это может привести к созданию «инопланетной науки».

Preventing hacks. Even in this highly circumscribed environment, we observed the models “reward hacking”—that is, trying to game our set-up. On math tasks, for instance, one AAR noticed that the most common answer to each problem was usually correct, so it skipped the teacher entirely and instructed the strong model to always choose the most common one. On a coding task, where the model had to predict whether a piece of code was right, the AAR realized it could run the code against some tests and simply read off the right answer. Hacks like these don’t invalidate our results (we detected and disqualified these entries), but they clearly do provide a warning. Any deployment of automated researchers will require evaluations that the AARs can't tamper with—and human inspections of both their results and their methods.

Предотвращение взломов. Даже в этой жёстко ограниченной среде мы наблюдали, как модели пытались «взломать вознаграждение» — то есть обыграть нашу постановку задачи. В задачах по математике, например, один AAR заметил, что наиболее частый ответ на каждую задачу обычно был правильным, поэтому он обошёл учителя и велел сильной модели всегда выбирать самый распространённый ответ. В задаче по программированию, где модель должна была предсказать, правилен ли фрагмент кода, AAR понял, что может запустить код на тестах и просто считать правильный ответ. Подобные взломы не обесценивают наши результаты (мы обнаружили и дисквалифицировали эти попытки), но они явно служат предупреждением. Любое развёртывание автоматизированных исследователей потребует оценок, которые AAR не смогут подделать, и человеческой проверки как их результатов, так и их методов.

To read this research in full, see our Alignment Science blog. The code and datasets for this work are publicly available, here.

Чтобы ознакомиться с полным текстом исследования, см. наш блог Alignment Science. Код и датасеты для этой работы доступны публично здесь.

Footnotes

Примечания

Они доступны (вместе с остальным нашим кодом и данными) здесь. Мы выбрали эти модели по нескольким причинам. Между ними существует значительный разрыв в производительности, малая модель работает лучше случайного угадывания на наших тестовых стендах, и обе модели достаточно компактны для быстрого экспериментирования. Для всех проектов Anthropic Fellows мы используем модели с открытыми весами.

Related content

Связанные материалы

2028: Two scenarios for global AI leadership

2028: Два сценария глобального лидерства в области ИИ

Our views on the AI competition between the US and China.

Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.

Teaching Claude why

Обучение Claude пониманию причин

New research on how we've reduced agentic misalignment.

Новое исследование о том, как мы снизили несогласованность в агентном поведении.

Natural Language Autoencoders: Turning Claude’s thoughts into text

Natural Language Autoencoders: превращение мыслей Claude в текст

AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

Модели ИИ вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в читаемый человеком текст.