Evaluating Claude’s bioinformatics research capabilities with BioMysteryBench

Evaluating Claude’s bioinformatics research capabilities with BioMysteryBench

Оценка исследовательских возможностей Claude в биоинформатике с помощью BioMysteryBench

In this post, Brianna, a researcher on the discovery team, shares results from a recent bioinformatics benchmarking effort.

Almost as soon as large language models could hold a conversation, people started asking how they’d stack up against human experts. Could models pass the bar exam? Could they answer medical licensing questions, or solve Olympiad math problems? Such benchmarks—self-contained sets of human-vetted problems designed to evaluate a capability of a model—have now become a source of competition across AI developers, reported in model release system cards and tracked on many online leaderboards.

Competition aside, benchmarks help us tackle an important question: whether models are capable and reliable enough to support, or even produce, professional-level work. Scientists are using models to write code for analysis pipelines, propose hypotheses, and draw conclusions from data with the long-term aim of accelerating innovation and discovery. But exactly how proficient is AI in science right now, and how quickly are Claude and other models improving?

To answer this, the research community has built several benchmarks. MMLU-Pro tests expert-level knowledge and reasoning questions. GPQA poses graduate-level, "Google-proof" questions in biology, physics, and chemistry. LAB-Bench tests biology-specific knowledge work—reading the literature, interpreting figures, reasoning about protocols. Although these benchmarks were developed in the “chatbot” era, they’ve persisted into the agent and tool-use era, joined by even more difficult scientific reasoning evals like FrontierScience and Humanity's Last Exam, because knowledge and reasoning remain a vital measure of scientific capability.

В этом посте Brianna, исследовательница из команды discovery, делится результатами недавней работы по бенчмаркингу в биоинформатике.Практически сразу же, как большие языковые модели научились вести диалог, люди начали спрашивать, как они сравнятся с экспертами-людьми. Смогут ли модели сдать экзамен на адвоката? Смогут ли они отвечать на вопросы медицинского лицензирования или решать олимпиадные задачи по математике? Такие бенчмарки — самодостаточные наборы проверенных людьми задач, предназначенные для оценки той или иной способности модели, — теперь стали предметом соревнования между разработчиками ИИ, упоминаются в системных картах при выпуске моделей и отслеживаются во многих онлайн- лидербордах. Помимо соревнования, бенчмарки помогают нам решить важный вопрос: достаточно ли модели способны и надёжны, чтобы поддерживать или даже самостоятельно выполнять работу профессионального уровня. Учёные используют модели для написания кода аналитических пайплайнов, выдвижения гипотез и формулирования выводов из данных, преследуя долгосрочную цель ускорить инновации и открытия. Но насколько именно ИИ компетентен в науке прямо сейчас и как быстро улучшаются Claude и другие модели? Чтобы ответить на это, исследовательское сообщество создало несколько бенчмарков. MMLU-Pro проверяет вопросы на знания и рассуждения экспертного уровня. GPQA ставит вопросы аспирантского уровня, «защищённые от поиска в Google», в области биологии, физики и химии. LAB-Bench проверяет специфичную для биологии интеллектуальную работу — чтение литературы, интерпретацию рисунков, рассуждения о протоколах. Хотя эти бенчмарки были разработаны в эпоху «чат-ботов», они сохранились и в эпоху агентов и использования инструментов, к ним добавились ещё более сложные оценки научного рассуждения, такие как FrontierScience и Humanity's Last Exam, потому что знания и рассуждения остаются жизненно важной мерой научной способности.

Still, many real-world scientific tasks demand more than that. They require reading papers, querying databases, running experiments, coding and analysis. Now that models can do many of these things, benchmarks have evolved to reflect these workflows. BLADE tasks a model with a dataset and an open-ended task, and checks if the model takes similar analysis steps to a human scientist. BixBench uses biological datasets, and grades models on whether their conclusions line up with scientists’. In SciGym, the model is dropped into a simulated biology lab, where it has to design and run its own experiments to uncover a hidden mechanism.

Тем не менее многие реальные научные задачи требуют большего. Они требуют чтения статей, запросов к базам данных, проведения экспериментов, написания кода и анализа. Теперь, когда модели могут многое из этого делать, бенчмарки эволюционировали, чтобы отражать эти рабочие процессы. BLADE даёт модели набор данных и открытую задачу и проверяет, выполняет ли модель шаги анализа, похожие на те, что делает учёный-человек. BixBench использует биологические наборы данных и оценивает модели по тому, совпадают ли их выводы с выводами учёных. В SciGym модель помещают в симулированную биологическую лабораторию, где она должна сама спроектировать и провести эксперименты, чтобы раскрыть скрытый механизм.

These benchmarks move us closer to measuring scientific capability, but they don't quite test whether a model can devise creative solutions to the messy, open-ended problems that define research. This is why we developed BioMysteryBench, a bioinformatics benchmark that tasks Claude with the analysis of real-world datasets, while tackling some of the challenges inherent in evaluating complex and noisy biological systems. We learned that Claude's scientific capabilities in biology are improving rapidly across generations, that current models perform on par with human experts, and that the latest generations solved many problems that a panel of human experts could not, sometimes using very different strategies.

Эти бенчмарки приближают нас к измерению научной способности, но они не вполне проверяют, может ли модель находить творческие решения для запутанных, открытых проблем, которые и составляют суть исследований. Именно поэтому мы разработали BioMysteryBench — бенчмарк по биоинформатике, который ставит перед Claude задачу анализа реальных наборов данных и при этом справляется с некоторыми трудностями, присущими оценке сложных и зашумлённых биологических систем. Мы выяснили, что научные способности Claude в биологии быстро растут от поколения к поколению, что нынешние модели выступают наравне с экспертами-людьми и что новейшие поколения решили многие задачи, которые не смогла решить панель экспертов-людей, иногда используя совершенно иные стратегии.

Science is challenging, and so is evaluating it

Наука — это сложно, и оценивать её тоже сложно

Doctors have board exams and lawyers have the bar, but there’s no standardized test for becoming a scientist. The same problem shows up with AI. Despite how badly we want to use these models for science, no agentic science benchmark has become quite as canonical as SWE-bench is for software engineering. We think that’s because scientific research, particularly biology, has several properties that make it especially hard to evaluate via a benchmark.

У врачей есть сертификационные экзамены, у юристов — экзамен на адвоката, но не существует стандартизированного теста, чтобы стать учёным. Та же проблема возникает и с ИИ. Несмотря на то как сильно мы хотим использовать эти модели для науки, ни один агентный научный бенчмарк не стал настолько каноничным, как SWE-bench для разработки ПО. Мы считаем, это потому, что научные исследования, особенно в биологии, обладают рядом свойств, которые делают их особенно трудными для оценки с помощью бенчмарка.

1. In biology, there are many different “right” ways to do something

1. В биологии существует множество разных «правильных» способов что-то сделать

If there were only one right way to answer a research question, PhD students would earn their degrees in a matter of months, corporate R&D departments wouldn’t exist, and no science fair poster would need a “Methods” section. How a scientist tackles a problem depends on their skills and background, the resources available to them, and their research taste.

Если бы существовал лишь один правильный способ ответить на исследовательский вопрос, аспиранты получали бы степени за считанные месяцы, корпоративные отделы R&D не существовали бы, и ни одному стенду на научной ярмарке не требовался бы раздел «Методы». То, как учёный подходит к задаче, зависит от его навыков и бэкграунда, доступных ресурсов и его исследовательского вкуса.

Consider a seemingly straightforward question that has mystified metabolic researchers for years: why do some type 2 diabetics respond to the oral drug metformin while others do not? In order to answer this question, you could run a genome-wide association (GWAS) study on responders vs. non-responders and look for predictive genetic variants, or sequence the gut microbiomes of both groups, since metformin is partly metabolized by gut bacteria. Both are reasonable directions, and how you proceed will often just depend on expertise and resources.

Рассмотрим, казалось бы, простой вопрос, который годами озадачивает исследователей метаболизма: почему одни диабетики 2-го типа реагируют на пероральный препарат метформин, а другие — нет? Чтобы ответить на этот вопрос, можно провести полногеномное ассоциативное исследование (GWAS) на реагирующих и нереагирующих пациентах и искать предсказательные генетические варианты, либо секвенировать кишечный микробиом обеих групп, поскольку метформин частично метаболизируется кишечными бактериями. Оба направления разумны, и то, как вы будете действовать, часто будет просто зависеть от экспертизы и ресурсов.

BixBench handles this well by grading the model on its conclusions rather than the method used to reach them. The tradeoff is that those conclusions were produced by an individual scientist who made a series of subjective choices along the way that may have shaped the answer itself. This, in turn, has its own pitfalls…

BixBench хорошо справляется с этим, оценивая модель по её выводам, а не по использованному методу. Компромисс в том, что эти выводы были получены отдельным учёным, который по пути сделал ряд субъективных решений, способных повлиять на сам ответ. А это, в свою очередь, имеет свои подводные камни…

2. Individual research decisions are highly subjective and can lead to entirely different conclusions in noisy datasets

2. Отдельные исследовательские решения крайне субъективны и на зашумлённых данных могут вести к совершенно разным выводам

Even within a chosen research direction, individual decisions can be highly subjective: one scientist may approve of a decision, while another researcher may have serious objections. Just ask any frustrated author who’s gotten conflicting suggestions from a round of peer review! Making this all the more difficult is the fact that biological datasets are often noisy enough that small differences in research decisions can lead to entirely different conclusions about the data.

Даже в рамках выбранного исследовательского направления отдельные решения могут быть крайне субъективны: один учёный одобрит решение, а другой исследователь может иметь серьёзные возражения. Спросите любого расстроенного автора, получившего противоречивые рекомендации после раунда рецензирования! Всё это ещё больше осложняется тем, что биологические наборы данных часто настолько зашумлены, что небольшие различия в исследовательских решениях могут приводить к совершенно разным выводам о данных.

In the decade-long search for metformin response predictors, slight differences in study design have led to entirely different conclusions about metformin response. A 2011 paper reported a variant that predicts metformin response that replicated in two cohorts, with a plausible mechanism involving AMPK activation. A year later, the Diabetes Prevention Program tested the same variant in pre-diabetics and found nothing. Finally, rather than spinning up their own study, a 2012 meta-analysis pooled five cohorts and once again decided the 2011 paper's effect was real but more modest than originally reported.

В длившемся десятилетие поиске предикторов ответа на метформин незначительные различия в дизайне исследований приводили к совершенно разным выводам об ответе на метформин. В статье 2011 года сообщили о варианте, предсказывающем ответ на метформин, который воспроизвёлся в двух когортах, с правдоподобным механизмом, связанным с активацией AMPK. Год спустя в рамках Diabetes Prevention Program проверили тот же вариант у преддиабетиков и ничего не обнаружили. Наконец, вместо того чтобы запускать собственное исследование, в мета-анализе 2012 года объединили пять когорт и снова заключили, что эффект из статьи 2011 года реален, но более скромен, чем сообщалось изначально.

SciGym's clever way of handling such ambiguity is by choosing tasks with a well-defined answer. Because the underlying biological network is a simulator, there is, in fact, a ground-truth, and noise is controlled rather than inherited from a messy living system. However, it's unclear how closely performance in a simulated lab tracks performance on real data.

Изящный способ SciGym справляться с такой неоднозначностью — выбирать задачи с чётко определённым ответом. Поскольку лежащая в основе биологическая сеть является симулятором, у задачи на самом деле есть эталонная истина (ground-truth), и шум контролируется, а не унаследован от запутанной живой системы. Однако неясно, насколько точно производительность в симулированной лаборатории отражает производительность на реальных данных.

3. There are many biological questions that humans cannot answer yet

3. Существует множество биологических вопросов, на которые люди пока не могут ответить

The research tasks where models could have the greatest impact are those that humans alone have yet to solve. And ultimately, those are precisely the tasks we’d like to be able to evaluate models on. What, for example, is the mechanism of action of metformin? Thirty years after its development, the field still is not certain of the primary target. Discovering it, or finding a homolog of metformin that is cheaper to synthesize and more stable, would be enormously consequential.

Исследовательские задачи, где модели могли бы оказать наибольшее влияние, — это те, которые люди в одиночку пока не решили. И в конечном счёте именно эти задачи нам хотелось бы уметь оценивать на моделях. Каков, например, механизм действия метформина? Спустя тридцать лет после его разработки область науки до сих пор не уверена в его основной мишени. Обнаружение её — или нахождение гомолога метформина, который дешевле синтезировать и более стабилен, — имело бы огромные последствия.

Machine learning has long tackled problems humans perform poorly at, like sequence prediction and protein modeling, by leaning on experimental data instead of expert intuition. ProteinGym scores models on mutation fitness effects using Deep Mutational Scanning experiments as ground-truth, and the long-running CASP competition evaluates protein folding against unpublished crystal structures. Both are grounded in experimental measurements no expert would trust themselves to reproduce. However, these benchmarks are built around a narrow set of tasks and don't capture the breadth of bioinformatics work we actually want to measure.

Машинное обучение уже давно берётся за задачи, в которых люди справляются плохо, такие как предсказание последовательностей и моделирование белков, опираясь на экспериментальные данные вместо экспертной интуиции. ProteinGym оценивает модели по влиянию мутаций на приспособленность, используя в качестве эталонной истины эксперименты Deep Mutational Scanning, а долгоиграющее соревнование CASP оценивает предсказание сворачивания белков по неопубликованным кристаллическим структурам. Оба опираются на экспериментальные измерения, которые ни один эксперт не взялся бы воспроизвести самостоятельно. Однако эти бенчмарки построены вокруг узкого набора задач и не охватывают всю широту работы в биоинформатике, которую мы на самом деле хотим измерять.

Benchmarking models on verifiable biological tasks with BioMysteryBench

Бенчмаркинг моделей на проверяемых биологических задачах с помощью BioMysteryBench

Because no benchmark perfectly handles the three aforementioned challenges, we developed BioMysteryBench. BioMysteryBench uses messy, real-world bioinformatics data, without allowing the complexity and challenges inherent in this data to corrupt the quality of the evaluation.

Поскольку ни один бенчмарк не справляется идеально с тремя упомянутыми трудностями, мы разработали BioMysteryBench. BioMysteryBench использует запутанные, реальные данные биоинформатики, не позволяя при этом сложности и трудностям, присущим этим данным, испортить качество оценки.

BioMysteryBench consists of 99 questions from various fields of bioinformatics, written by domain experts. Experts were instructed to gather a dataset, and create a question based on controlled, objective properties of the data, rather than unverifiable scientific conclusions. By deriving answers from an experimental or clinical finding, it was possible to develop questions without requiring they be human-solvable.

BioMysteryBench состоит из 99 вопросов из различных областей биоинформатики, написанных экспертами в предметной области. Экспертам было поручено собрать набор данных и создать вопрос на основе контролируемых, объективных свойств данных, а не непроверяемых научных выводов. За счёт выведения ответов из экспериментальной или клинической находки удалось разрабатывать вопросы, не требуя, чтобы они были разрешимы человеком.

Although these questions are created from verified ground truth, they still have the same flavor as tasks a research scientist would want to answer. Claude is tasked with each question and put in a container with a minimal set of canonical bioinformatics tools, the ability to install additional tools via pip and conda, and permissions to access canonical bioinformatics databases (such as NCBI and Ensembl) to download additional resources such as reference genomes. 

Хотя эти вопросы созданы на основе проверенной эталонной истины, они всё равно имеют тот же характер, что и задачи, которые хотел бы решить учёный-исследователь. Claude получает каждый вопрос и помещается в контейнер с минимальным набором канонических биоинформатических инструментов, возможностью устанавливать дополнительные инструменты через pip и conda, а также правами доступа к каноническим базам данных биоинформатики (таким как NCBI и Ensembl) для скачивания дополнительных ресурсов, например референсных геномов.

BioMysteryBench has a tetrad of unique properties that make it a particularly powerful benchmark for science, and tackle the challenges above:

BioMysteryBench обладает квартетом уникальных свойств, которые делают его особенно мощным бенчмарком для науки и решают перечисленные выше трудности:

Он метод-агностичен, что обеспечивает исследовательскую свободу и творчество. Claude получает относительно неограниченный доступ к скачиванию инструментов и обращению к базам данных, что позволяет Claude выбирать разнообразные наборы стратегий для решения задачи. Более того, траектории оцениваются по итоговому ответу, а не по пути, которым модель к нему пришла. Это освобождает BioMysteryBench от субъективных решений какого-либо одного исследователя — модели вознаграждаются за достижение правильного биологического вывода, независимо от того, какой аналитический маршрут они выбрали.Вопросы имеют объективные ответы — эталонную истину. Ответы берутся не из выводов учёных (которые страдают от описанных выше трудностей), а из контролируемых свойств данных или ортогонально валидированных метаданных. Например, «Какому организму принадлежит эта кристаллическая структура?» имеет объективный ответ, а «Каким вирусным видом инфицирован пациент-человек, исходя из данных RNA-seq?» — это свойство метаданных образца, подтверждённое методом ПЦР.Он допускает генерацию «сверхчеловеческих» вопросов. Беря задачи, выведенные из контролируемых свойств данных, BioMysteryBench не зависит от того, способны ли люди решить эти задачи. В частности, BioMysteryBench содержит несколько задач, которые — несмотря на наличие объективных решений-эталонов — люди сочли трудными или невозможными для самостоятельного решения.

Example questions

Примеры вопросов

In developing this eval, questions were primarily derived from raw or minimally processed DNA or RNA sequencing data since this is where many biological processing pipelines begin (WGS, scRNA-seq, methylation, ChIP-seq, metagenomics, Hi-C), and also included several questions drawn from proteomics and metabolomics.

При разработке этой оценки вопросы преимущественно выводились из необработанных или минимально обработанных данных секвенирования ДНК или РНК, поскольку именно отсюда начинаются многие биологические пайплайны обработки (WGS, scRNA-seq, метилирование, ChIP-seq, метагеномика, Hi-C), а также включали несколько вопросов из протеомики и метаболомики.

Questions developers came up with included:

Среди вопросов, которые придумали разработчики, были:

Из какого человеческого органа получен этот набор данных single-cell RNA-seq по типам клеток?Какой ген был нокаутирован в экспериментальных образцах по сравнению с контрольными, исходя из данных RNA-seq?По последовательностям WGS: какой образец является матерью образца X, а какой — отцом?Какие из файлов bigWig получены из ChIP-образцов, а какие — из входных контролей (input)?Даны пики H3K27ac ChIP-seq из неизвестного типа клеток — определите тип клеток.

To minimize inherently unsolvable questions while still leaving room for those that might be AI-solvable, we required each question author to submit a validation notebook demonstrating that the signal does, in fact, exist in the data (even if finding it from scratch might be difficult). Think of this as the high-school algebra principle: verifying an answer is much easier than deriving one.

Чтобы свести к минимуму изначально неразрешимые вопросы, но при этом оставить место для тех, что могут оказаться разрешимыми для ИИ, мы требовали от каждого автора вопроса представить валидационный ноутбук, демонстрирующий, что сигнал действительно присутствует в данных (даже если найти его с нуля может быть трудно). Думайте об этом как о принципе школьной алгебры: проверить ответ гораздо проще, чем его вывести.

Human baselining

Базовая оценка по людям (human baselining)

Human-solvable

Разрешимые человеком

For each question, we tasked up to five domain experts to answer the question from scratch. Once a question was answered correctly by at least one human, we considered it human-solvable. BioMysteryBench contained 76 such tasks.

По каждому вопросу мы поручали до пяти экспертам в предметной области ответить на вопрос с нуля. Как только вопрос был верно решён хотя бы одним человеком, мы считали его разрешимым человеком. BioMysteryBench содержал 76 таких задач.

Sometimes Claude mirrored human strategies. Perhaps humans have landed on a near-optimal approach, or because the method is well-represented in pretraining data.

Иногда Claude повторял человеческие стратегии. Возможно, люди вышли на почти оптимальный подход, либо потому, что этот метод хорошо представлен в данных предобучения.

Other times, Claude took a completely different route, illustrating there is no strictly correct way to solve these problems and that models may have genuine preferences that diverge from ours.

В других случаях Claude шёл совершенно иным путём, демонстрируя, что строго правильного способа решить эти задачи не существует и что у моделей могут быть собственные предпочтения, расходящиеся с нашими.

The examples above showcase a particularly interesting strategy: whereas our human experts used algorithms or databases to identify and annotate properties of a dataset, Claude intuitively recognizes certain patterns or sequences. Admittedly, such clever abstraction is not entirely unique to AI—the first eukaryotic promoter, for example, was discovered when a scientist noticed the sequence “TATA” appearing over and over in sequences upstream of genes. Intuition like this has been difficult to build into traditional biology machine learning models, but LLMs might be able to turn up patterns like this at unprecedented scale.

Приведённые выше примеры демонстрируют особенно интересную стратегию: тогда как наши эксперты-люди использовали алгоритмы или базы данных, чтобы выявить и аннотировать свойства набора данных, Claude интуитивно распознаёт определённые паттерны или последовательности. Надо признать, что такая остроумная абстракция не вполне уникальна для ИИ — первый эукариотический промотор, например, был открыт, когда учёный заметил, что последовательность «TATA» снова и снова появляется в участках выше генов. Интуицию такого рода было трудно встроить в традиционные модели машинного обучения в биологии, но LLM, возможно, способны выявлять подобные паттерны в беспрецедентном масштабе.

Human-difficult

Сложные для человека

That left us with a set of questions that could not be solved by our panel of experts. This could mean (1) the question was malformed or broken, (2) the question is inherently unsolvable (e.g.,the signal isn’t in the data), or (3) the question is theoretically solvable but humans lack the knowledge required to solve it. After QC’ing with benchmarkers and additional experts, we removed 4 questions that were due to (1), leaving 23 human-difficult questions.

У нас остался набор вопросов, которые не смогла решить наша панель экспертов. Это могло означать, что (1) вопрос был некорректным или сломанным, (2) вопрос изначально неразрешим (например, сигнала нет в данных) или (3) вопрос теоретически разрешим, но людям не хватает знаний, необходимых для его решения. После контроля качества с участием бенчмаркеров и дополнительных экспертов мы убрали 4 вопроса, относившихся к категории (1), оставив 23 сложных для человека вопроса.

Interestingly, Claude Sonnet 4.6 and more capable models were able to solve significant fractions of human-difficult problems, with Claude Mythos Preview topping out at a 30% solve rate. So what exactly is Claude doing that humans aren’t?

Интересно, что Claude Sonnet 4.6 и более способные модели смогли решить значительные доли сложных для человека задач, причём Claude Mythos Preview достиг максимума с долей решённых в 30%. Так что же именно делает Claude такого, чего не делают люди?

Claude’s strategies

Стратегии Claude

Analyzing transcripts from Opus 4.6, we identified two primary strategies used by Claude compared to humans: one is fairly AI-specific: Claude’s vast underlying knowledge base contains information about structural biology, molecular profiles, and meta-analysis from hundreds of thousands of papers. The other strategy is something we human scientists could learn from: when Claude is uncertain about an answer, it layers multiple methods and combines different lines of evidence to arrive at a conclusion.

Анализируя транскрипты Opus 4.6, мы выявили две основные стратегии, используемые Claude в сравнении с людьми: одна довольно специфична для ИИ — обширная база знаний Claude содержит информацию о структурной биологии, молекулярных профилях и мета-анализах из сотен тысяч статей. Другая стратегия — то, чему мы, учёные-люди, могли бы поучиться: когда Claude не уверен в ответе, он наслаивает несколько методов и комбинирует разные линии доказательств, чтобы прийти к выводу.

Know-it-all

Всезнайка

In some of the human-difficult tasks, Opus’s vast underlying knowledge base helped it solve the problem. Tasks that would require a human expert to run a meta-analysis or stitch together databases, Opus solved directly by combining its internal knowledge of mechanisms and ontologies with live analysis. Often, this allowed Claude to solve human-unsolvable tasks! Here are a few examples:

В некоторых сложных для человека задачах обширная база знаний Opus помогла ему решить проблему. Задачи, которые потребовали бы от эксперта-человека проведения мета-анализа или сшивания нескольких баз данных, Opus решал напрямую, комбинируя своё внутреннее знание механизмов и онтологий с анализом «вживую». Часто это позволяло Claude решать неразрешимые для человека задачи! Вот несколько примеров:

Even though prior knowledge seemed overwhelmingly helpful to Claude, we saw one interesting case (in the human-solvable set) where this became its downfall:

Хотя предварительные знания казались исключительно полезными для Claude, мы увидели один интересный случай (в наборе разрешимых человеком задач), где это сыграло против него:

Knowing when you don’t know

Знать, когда ты не знаешь

When Opus 4.6 was not confident about an answer, it often tried multiple different ways of solving the problem and chose the answer that multiple approaches converged on.

Когда Opus 4.6 не был уверен в ответе, он часто пробовал несколько разных способов решения задачи и выбирал ответ, к которому сходились несколько подходов.

Like many of the benchmarks we've discussed, BioMysteryBench has its own limitation: for tasks that neither humans nor models have solved, we can never be fully certain whether they're impossible or just extraordinarily difficult. The validation notebooks help ensure the signal is there and the data is well-formed, but they do not guarantee a model or human can find the answer from scratch. So we ask both our models and our human benchmarkers not to be too frustrated if, a year from now, no one has solved the human-difficult set. That uncertainty is also part of what makes the benchmark exciting: a more scientifically capable model might be the first to crack a problem that no human or model has solved before.

Как и многие из обсуждённых бенчмарков, BioMysteryBench имеет собственное ограничение: для задач, которые не решили ни люди, ни модели, мы никогда не можем быть до конца уверены, невозможны ли они или просто чрезвычайно трудны. Валидационные ноутбуки помогают убедиться, что сигнал присутствует и данные корректны, но они не гарантируют, что модель или человек смогут найти ответ с нуля. Поэтому мы просим и наши модели, и наших бенчмаркеров-людей не слишком расстраиваться, если через год никто так и не решит набор сложных для человека задач. Эта неопределённость тоже часть того, что делает бенчмарк увлекательным: более научно способная модель может стать первой, кто взломает задачу, которую не решил ни один человек или модель прежде.

Claude’s take on AI for science

Взгляд Claude на ИИ для науки

Claude showed solid improvement across generations and did well enough at both the human-solvable and human-difficult tasks that we thought it would be interesting to let Claude Mythos Preview conduct some of its own scientific analysis. Here are a couple of additional insights about its predecessor Claude’s performance on BioMysteryBench:

Claude показал уверенный прогресс от поколения к поколению и достаточно хорошо справился как с разрешимыми человеком, так и со сложными для человека задачами, так что нам показалось интересным позволить Claude Mythos Preview провести часть собственного научного анализа. Вот пара дополнительных наблюдений о производительности его предшественника Claude на BioMysteryBench:

The headline accuracy numbers tell you how often each model gets the right answer, but not how it gets there. I wanted to know whether a correct answer on a hard problem means the same thing as a correct answer on a solvable one. Since every problem was attempted five times, I could look at per-problem solve counts: if a model solves something 5/5 it has a reliable method; if it solves it 1/5 it probably got lucky on a reasoning path it can't consistently find again. So I broke each model's solved problems down by solve count (0/5 through 5/5) on the two sets side by side.

Заголовочные цифры точности говорят вам, как часто каждая модель даёт верный ответ, но не то, как она к нему приходит. Мне хотелось узнать, означает ли правильный ответ на трудной задаче то же самое, что правильный ответ на разрешимой. Поскольку каждая задача решалась по пять раз, я мог посмотреть на число решений на задачу: если модель решает что-то 5/5, у неё есть надёжный метод; если она решает это 1/5, то, вероятно, ей повезло на пути рассуждений, который она не может стабильно найти снова. Поэтому я разбил решённые каждой моделью задачи по числу решений (от 0/5 до 5/5) на двух наборах бок о бок.

The texture of "solved" changes sharply between the two sets. On human-solvable problems, Opus 4.6 is strongly bimodal — 86% of the problems it solves at all, it solves at least 4 out of 5 times. It either has the answer or it doesn't. On the human-difficult set that collapses to 44%, and the share of brittle wins (solved only 1–2 of 5 attempts) jumps from 9% to 44%. Sonnet 4.6 shows the same shift, and more sharply (75% reliable → 22%; 9% brittle → 56%). So the 77.4%→23.5% headline drop actually understates what's happening: on solvable problems the model is retrieving something it reliably knows, while on hard problems nearly half of its wins are paths it stumbles onto rather than reproduces. The accuracy gap is real, but the reliability gap underneath it is the more interesting story about where the capability frontier actually sits. Opus 4.7 and Mythos move the frontier a little (Mythos gets 94% of its solvable wins at ≥4/5) but the same bimodal-vs-brittle split holds on the difficult set for every model.

Текстура «решённого» резко меняется между двумя наборами. На разрешимых человеком задачах Opus 4.6 ярко выраженно бимодален — 86% задач, которые он вообще решает, он решает как минимум 4 раза из 5. Он либо знает ответ, либо нет. На наборе сложных для человека задач это падает до 44%, а доля «хрупких» побед (решённых лишь в 1–2 из 5 попыток) подскакивает с 9% до 44%. Sonnet 4.6 демонстрирует тот же сдвиг, причём ещё резче (75% надёжных → 22%; 9% хрупких → 56%). Так что падение заголовочной точности с 77,4% до 23,5% на самом деле занижает происходящее: на разрешимых задачах модель извлекает то, что надёжно знает, тогда как на трудных задачах почти половина её побед — это пути, на которые она набредает, а не воспроизводит. Разрыв в точности реален, но лежащий под ним разрыв в надёжности — более интересная история о том, где на самом деле проходит граница способностей. Opus 4.7 и Mythos немного сдвигают эту границу (Mythos получает 94% своих побед на разрешимых задачах с долей ≥4/5), но тот же раскол «бимодальный против хрупкого» сохраняется на трудном наборе для каждой модели.

We thought Claude Mythos Preview’s analysis held up and dove deeper into reliability, which is an important metric to measure model performance on. However, it also felt a little…boring? It added some nuance to the performance analysis we showed above, but did not fundamentally tackle a new question. Despite this, it seems like the models are starting to develop the seeds of research taste (even if they have a ways to go before producing deep insight).

Мы сочли, что анализ Claude Mythos Preview выдержал проверку и глубже копнул в тему надёжности, которая является важной метрикой для измерения производительности моделей. Однако он также показался немного… скучным? Он добавил некоторые нюансы к анализу производительности, который мы показали выше, но принципиально не взялся за новый вопрос. Несмотря на это, похоже, что у моделей начинают прорастать зачатки исследовательского вкуса (даже если им ещё далеко до выдачи глубоких озарений).

Continuing to benchmark AI for science

Продолжаем бенчмаркинг ИИ для науки

BioMysteryBench is an encouraging measure of scientific capability. The most recent generations of Claude solve the majority of human-solvable problems reliably, and on a meaningful fraction of human-difficult tasks, it outperforms panels of five domain experts. Models are improving across generations, and are no longer merely keeping up with trained scientists on bioinformatics problems; on some tasks, they’re ahead.

BioMysteryBench — обнадёживающая мера научной способности. Новейшие поколения Claude надёжно решают большинство разрешимых человеком задач, а на значимой доле сложных для человека задач он превосходит панели из пяти экспертов в предметной области. Модели улучшаются от поколения к поколению и уже не просто идут вровень с обученными учёными на задачах биоинформатики; на некоторых задачах они впереди.

We’re also delighted to see convergent work in this space: While finalizing this post, Genentech and Roche released CompBioBench. Their benchmark consists of 100 computational biology tasks “based on synthetic/augmented data and metadata scrambling/scrubbing of real datasets to create challenging problems with a single ground-truth answer that require multi-step reasoning, tool use, bespoke code, and interaction with real-world external resources.” Sound familiar? Their results echo those of BioMysteryBench, too: Claude Opus 4.6 reaches 81% overall and 69% on their hardest questions, reinforcing that frontier models are now genuinely useful collaborators for bioinformatics research.

Мы также рады видеть сходящиеся работы в этой области: пока мы дорабатывали этот пост, Genentech и Roche выпустили CompBioBench. Их бенчмарк состоит из 100 задач вычислительной биологии, «основанных на синтетических/аугментированных данных и перемешивании/затирании метаданных реальных наборов данных для создания сложных задач с единственным эталонным ответом, требующих многошагового рассуждения, использования инструментов, написания специализированного кода и взаимодействия с реальными внешними ресурсами». Знакомо звучит? Их результаты тоже перекликаются с результатами BioMysteryBench: Claude Opus 4.6 достигает 81% в целом и 69% на их самых трудных вопросах, что подтверждает, что фронтирные модели теперь по-настоящему полезные соавторы для исследований в биоинформатике.

We’re eager to build even longer-horizon, real-world tasks that push model research capabilities, and to hear creative ideas from others. Send us your interesting benchmarks, innovative uses of AI for science, and interactions with AI that prompted you to rethink what could be possible in your field at scienceblog@anthropic.com.

Мы стремимся создавать ещё более долгосрочные, реальные задачи, которые подталкивают исследовательские возможности моделей, и услышать творческие идеи от других. Присылайте нам ваши интересные бенчмарки, инновационные применения ИИ для науки и взаимодействия с ИИ, которые заставили вас переосмыслить, что возможно в вашей области, на scienceblog@anthropic.com.

If you are interested in understanding how models perform on difficult verifiable computational biology tasks, you can access BioMysteryBench here and visit claude.com/lifesciences to learn more.

Если вам интересно понять, как модели справляются с трудными проверяемыми задачами вычислительной биологии, вы можете получить доступ к BioMysteryBench здесь и посетить claude.com/lifesciences, чтобы узнать больше.

Related content

Связанные материалы

2028: Two scenarios for global AI leadership

2028: два сценария глобального лидерства в ИИ

Our views on the AI competition between the US and China.

Наши взгляды на конкуренцию в области ИИ между США и Китаем.

Teaching Claude why

Учим Claude «почему»

New research on how we've reduced agentic misalignment.

Новое исследование о том, как мы снизили агентную рассогласованность (agentic misalignment).

Natural Language Autoencoders: Turning Claude’s thoughts into text

Natural Language Autoencoders: превращаем мысли Claude в текст

AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

ИИ-модели вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в читаемый человеком текст.

Subscribe to Anthropic Science

Подпишитесь на Anthropic Science

Features on AI-assisted discoveries, practical workflows, and field notes across the sciences.

Материалы об открытиях с помощью ИИ, практических рабочих процессах и полевых заметках по разным наукам.