🔬ESMFold2: The Bitter Lesson is Coming for Proteins - Alex Rives, BioHub

🔬ESMFold2: The Bitter Lesson is Coming for Proteins - Alex Rives, BioHub

🔬ESMFold2: «Горький урок» добрался до белков — Alex Rives, BioHub

Editor’s note: In our first BioHub pod with Priscilla and Mark they discussed their acquisition of EvoScale, led by Alex Rives, who is now Head of Science at BioHub. With ESM-1 they trained language models on millions of protein sequences drawn from across life, with a simple “next token” objective: predict the amino acids that have been randomly masked out, based on the context of the rest of the sequence. But they soon found that these models also learned biological structure and function, including properties the model had never been explicitly shown AND that this ability scales predictably with compute, leading to ESM2 and ESM3.

Примечание редакции: В нашем первом подкасте с BioHub с участием Priscilla и Mark они обсуждали приобретение EvoScale, которую возглавлял Alex Rives, ныне руководитель научного направления BioHub. В рамках ESM-1 они обучали языковые модели на миллионах белковых последовательностей со всего древа жизни с простой целью «предсказания следующего токена»: угадать аминокислоты, случайно замаскированные в последовательности, опираясь на контекст остальной части. Но вскоре выяснилось, что эти модели также усвоили биологическую структуру и функцию, включая свойства, которые модели никогда явно не показывали, И что эта способность предсказуемо масштабируется с вычислениями, что привело к созданию ESM2 и ESM3.

Today, Alex announced ESMFold 2, an open scientific engine to power prediction, design, and discovery across protein biology.

Сегодня Alex анонсировал ESMFold 2 — открытый научный движок для предсказания, дизайна и открытий в области белковой биологии.

Building on Cryo-EM data (discussed in the CZI pod), ESMFold2 reports state of the art performance on protein interactions, especially antibodies, a critical modality for therapeutics, and evidence that inference time scaling is also working across five targets in cancer and immunology.

Опираясь на данные крио-ЭМ (которые обсуждались в подкасте CZI), ESMFold2 демонстрирует передовые результаты в предсказании белковых взаимодействий, особенно для антител — критически важной модальности в терапии, — а также свидетельства того, что масштабирование на этапе инференса также работает по пяти мишеням в онкологии и иммунологии.

In a nod to that other famous AI x protein folding project, they are also releasing an atlas of 6.8 billion proteins, and 1.1 billion predicted structures, which you can play around with on their website. We are honored to work with them for this huge release!

Как отсылка к тому другому знаменитому проекту на стыке ИИ и фолдинга белков, они также выпускают атлас из 6,8 миллиарда белков и 1,1 миллиарда предсказанных структур, с которыми можно поэкспериментировать на их сайте. Для нас большая честь сотрудничать с ними в рамках этого масштабного релиза!

One of the refrains we’ve heard on the Science pod has been that protein folding, materials design, cellular biology, etc. are very different problems from Language Modeling. They definitely are. Yet Alex Rives and the ESM team at BioHub just released a preprint and model, demonstrating that vanilla BERT-like transformer models trained on sufficiently large and diverse data sets can beat specialized models like AlphaFold3 on some of the hardest protein-related problems.

Один из рефренов, который мы слышали в научном подкасте, — что фолдинг белков, дизайн материалов, клеточная биология и т. д. — это совсем иные задачи по сравнению с языковым моделированием. Это, безусловно, так. Тем не менее Alex Rives и команда ESM в BioHub только что выпустили препринт и модель, демонстрирующие, что обычные BERT-подобные трансформерные модели, обученные на достаточно больших и разнообразных наборах данных, могут превзойти специализированные модели вроде AlphaFold3 в некоторых из наиболее сложных задач, связанных с белками.

Andrew White had a great segment in our first LS-Science episode that explained how mind blowing AlphaFold2 was when it was released in 2020: it suddenly solved problems on a GPU on your desktop that DESRes had built custom-ASIC supercomputer clusters to solve. John Jumper and Demmis Hassabis received the Nobel Prize in Chemistry for this work.

Andrew White записал отличный фрагмент в нашем первом выпуске LS-Science, где объяснил, насколько ошеломляющим было появление AlphaFold2 в 2020 году: он внезапно решал задачи на GPU обычного десктопа, для которых DESRes строила кластеры суперкомпьютеров на заказных ASIC. John Jumper и Demis Hassabis получили за эту работу Нобелевскую премию по химии.

AlphaFold2 took advantage of an very clever observation: if multiple species co-evolve pairs of mutations, this implies that the mutations correspond to parts of the protein that are close in 3d space. This is usually shorthanded as MSAs (multi-sequence alignments), and is the key insight which makes AlphaFold2 so effective.

AlphaFold2 воспользовался очень остроумным наблюдением: если у нескольких видов совместно эволюционируют пары мутаций, это означает, что эти мутации соответствуют участкам белка, расположенным близко в трёхмерном пространстве. Обычно это обозначают аббревиатурой MSA (множественные выравнивания последовательностей), и именно это ключевое прозрение делает AlphaFold2 столь эффективным.

Like other inductive biases, however, it hurts generalization.

Однако, как и любые индуктивные смещения, оно ухудшает обобщающую способность.

Scale-pilled before it was cool

Фанаты масштабирования до того, как это стало мейнстримом

If you take a look at the timeline for scaling laws for LLMs and release of structure prediction models1, the ESM team notably doubled down on their MSAs-be-damned approach after AlphaFold2 released. This obviously requires a great deal of belief in the scale hypothesis.

Если посмотреть на хронологию законов масштабирования для LLM и выпуска моделей предсказания структуры1, команда ESM показательно удвоила ставку на свой подход «к чёрту MSA» после выхода AlphaFold2. Это, очевидно, требовало огромной веры в гипотезу масштабирования.

Why the conviction?

Откуда такая убеждённость?

ESM developed at a time when many of the scaling laws and the “Bitter Lesson” were proving increasingly correct. AlphaFold2’s wild success must have been both exciting and bitterly disappointing. But using MSAs mean that the model is is dependent on training data that contains MSAs in order to be accurate in a given domain. For things like antibodies that don’t have MSAs to train on2, AlphaFold tends to do poorly.

ESM развивался в то время, когда многие законы масштабирования и «Горький урок» всё убедительнее подтверждались. Ошеломительный успех AlphaFold2 наверняка вызывал одновременно воодушевление и горькое разочарование. Но использование MSA означает, что точность модели зависит от наличия MSA в обучающих данных для конкретной области. Для таких объектов, как антитела, для которых MSA просто нет2, AlphaFold работает плохо.

ESM takes a different approach: learn the relationship between different proteins by unsupervised training on as much diversity as you can find (sound familiar?) and then correlate that back to structures know from the Protein Data Bank (PDB) and other sources3.

ESM использует другой подход: сначала обучением без учителя на максимально разнообразных данных выучить связи между разными белками (звучит знакомо?), а затем соотнести это со структурами, известными из Protein Data Bank (PDB) и других источников3.

In other words, a World Model.

Иными словами — мировая модель.

World Model for proteins

Мировая модель для белков

“World Model” is a hype term that I define like this:

«Мировая модель» — это хайповый термин, который я определяю так:

Use unsupervised training to learn abstract patterns from the data:

Используйте обучение без учителя, чтобы извлечь из данных абстрактные паттерны:

Абстракция должна быть семантической — новые конструкции представляют объекты, подчиняющиеся законам реального мираАбстракция должна быть композиционной — рекомбинация различных паттернов приводит к новым и зачастую валидным конструкциямАбстракция должна поддерживать обобщение — она предсказывает явления реального мира, на которых не обучалась

Once you have a world model, you can attach “heads” to it for downstream tasks: predict properties of a protein, decompose its functional features, or search the representation for proteins that meet design criteria. The two big models BioHub just released under MIT license map directly onto this:

Когда у вас есть мировая модель, к ней можно присоединять «головы» для последующих задач: предсказывать свойства белка, декомпозировать его функциональные признаки или искать в пространстве представлений белки, удовлетворяющие критериям дизайна. Две большие модели, которые BioHub только что выпустил под лицензией MIT, напрямую соответствуют этой схеме:

Мировая модель → ESMC (модель, обученная на 2,8 миллиарда последовательностей)Голова для предсказания структуры → ESMFold2

One of the interesting ways the world model can “predict things” is to generate proteins sequences and then measure the predicted properties, such as binding affinity, in the lab. Alex talks in the episode about validating some of the harder molecules they predicted in the wet-lab. Very cool!

Один из интересных способов, которыми мировая модель может «предсказывать», — генерировать белковые последовательности, а затем измерять предсказанные свойства, такие как аффинность связывания, в лаборатории. В выпуске Alex рассказывает о валидации некоторых наиболее сложных молекул, которые они предсказали, в мокрой лаборатории. Очень круто!

Another way is to use mech-interp techniques such as Sparse Auto Encoders (SAEs) to extract semantic features from your model, and then find novel features that predict unknown biology. I won’t spoil this part for you: it was one of the highlights of the episode for me!

Ещё один способ — использовать методы механистической интерпретируемости, такие как разрежённые автоэнкодеры (SAE), для извлечения семантических признаков из модели, а затем находить новые признаки, предсказывающие неизвестные биологические свойства. Не буду спойлерить эту часть: для меня это был один из самых ярких моментов выпуска!

A cell is a computer

Клетка — это компьютер

We have all heard that genes are like computer programs, but usually the analogy fizzles after that. Of course genes are transcribed into RNA and RNA is translated into proteins, so genes are programs for building proteins, but that carries the analogy only to “binary digits are programs.”

Мы все слышали, что гены подобны компьютерным программам, но обычно аналогия на этом и заканчивается. Разумеется, гены транскрибируются в РНК, а РНК транслируется в белки, так что гены — это программы для создания белков, но это доводит аналогию лишь до уровня «двоичные цифры — это программы».

Here’s a better analogy: you can think of the cell nucleus as a storage device / storage controller, the ribosome as a JIT-compiler and runtime, and the semantic features that we learn from our world model via SAEs as functions, proteins as processes that interact together in workflows (signalling pathways) to produce behaviors and outputs (phenotypes).

Вот аналогия получше: клеточное ядро можно представить как устройство хранения / контроллер хранилища, рибосому — как JIT-компилятор и среду выполнения, семантические признаки, которые мы извлекаем из мировой модели через SAE, — как функции, белки — как процессы, взаимодействующие в рабочих потоках (сигнальных путях) для получения поведения и результатов (фенотипов).

Like functions, the SAE features have a hierarchical composition from local, secondary and tertiary structures (mimicing protein structure)4, but also motifs that are conceptual, such as membrane integrations, disordered regions and disulfide bonds5. As we learn to compose these features we into novel protein designs, we move further towards programmable biology.

Подобно функциям, признаки SAE обладают иерархической композицией — от локальных, вторичных и третичных структур (имитируя структуру белка)4, но также включают концептуальные мотивы: мембранные интеграции, неупорядоченные области и дисульфидные связи5. По мере того как мы учимся комбинировать эти признаки в новые белковые конструкции, мы приближаемся к программируемой биологии.

Alex goes into much more detail about this in the episode, as well as:

В выпуске Alex гораздо подробнее рассказывает об этом, а также о:

Принципах сбора новых данныхВидении BioHubМоделировании клетки

Enjoy!

Приятного просмотра!

Full Video podcast

Полный видеоподкаст

please like and subscribe!

Ставьте лайки и подписывайтесь!

X: https://x.com/alexrivesLinkedIn:

Antibodies mutate very rapidly so that they can adapt to pathogens with novel proteins on them. These dynamics mean that MSAs don’t appear in them.

Антитела мутируют очень быстро, чтобы адаптироваться к патогенам с новыми белками на поверхности. Из-за такой динамики множественные выравнивания последовательностей (MSA) для них отсутствуют.

This includes a dataset created using AlphaFold2 itself for ESMC, making it a distillation of AlphaFold, and indirectly dependent on MSAs itself.

Сюда входит набор данных, созданный самим AlphaFold2 для ESMC, что делает его дистилляцией AlphaFold и косвенно зависимым от MSA.

Very local (1–3 residues): individual amino acid biochemistry, hydrophobic vs. polar character, charge

Очень локальные (1–3 остатка): биохимия отдельных аминокислот, гидрофобный vs. полярный характер, заряд

Short-range (~5–10 residues): secondary structure — α-helix features, β-strand features, β-turn features

Ближнего действия (~5–10 остатков): вторичная структура — признаки α-спиралей, β-тяжей, β-поворотов

Medium-range (~10–30 residues): supersecondary motifs — β-hairpins, helix-turn-helix, β-α-β units

Среднего действия (~10–30 остатков): сверхвторичные мотивы — β-шпильки, спираль-поворот-спираль, β-α-β-блоки

Long-range (whole-protein): full domain identifiers — immunoglobulin fold, Rossmann fold, TIM barrel, four-helix bundle

Дальнего действия (весь белок): идентификаторы полных доменов — иммуноглобулиновая укладка, укладка Россмана, TIM-бочка, четырёхспиральный пучок

DNA-binding features — activated across helix-turn-helix proteins, zinc fingers, leucine zippers, and other DNA-binding folds that share function but not sequence

Признаки связывания ДНК — активируются в белках со структурой спираль-поворот-спираль, цинковых пальцах, лейциновых застёжках и других ДНК-связывающих укладках, которые объединяет функция, а не последовательность

Membrane integration features — activated on transmembrane segments regardless of whether they sit in a GPCR, a transporter, or a channel

Признаки мембранной интеграции — активируются на трансмембранных сегментах вне зависимости от того, расположены ли они в GPCR, транспортёре или ионном канале

Disordered region features the SAE devotes ~686 features (5–10% of the feature budget) to intrinsically disordered regions, which is striking because IDRs have no structure to predict. The model represents disorderedness itself as a concept, with sub-features for different IDR flavors (polyampholyte, polar tract, prion-like domain)

Признаки неупорядоченных областей — SAE выделяет ~686 признаков (5–10% бюджета признаков) на внутренне неупорядоченные области, что примечательно, поскольку IDR не имеют структуры для предсказания. Модель представляет саму неупорядоченность как концепцию с подпризнаками для различных разновидностей IDR (полиамфолит, полярный тракт, прионоподобный домен)

Disulfide bond features — activated on cysteines that participate in disulfides, distinguishing them from free cysteines

Признаки дисульфидных связей — активируются на цистеинах, участвующих в дисульфидных связях, отличая их от свободных цистеинов

Discussion about this episode

Обсуждение этого выпуска