🔬ESMFold2: The Bitter Lesson is Coming for Proteins - Alex Rives, BioHub

🔬ESMFold2: «Горький урок» добрался до белков — Alex Rives, BioHub

Примечание редакции: В нашем первом подкасте с BioHub с участием Priscilla и Mark они обсуждали приобретение EvoScale, которую возглавлял Alex Rives, ныне руководитель научного направления BioHub. В рамках ESM-1 они обучали языковые модели на миллионах белковых последовательностей со всего древа жизни с простой целью «предсказания следующего токена»: угадать аминокислоты, случайно замаскированные в последовательности, опираясь на контекст остальной части. Но вскоре выяснилось, что эти модели также усвоили биологическую структуру и функцию, включая свойства, которые модели никогда явно не показывали, И что эта способность предсказуемо масштабируется с вычислениями, что привело к созданию ESM2 и ESM3.

Сегодня Alex анонсировал ESMFold 2 — открытый научный движок для предсказания, дизайна и открытий в области белковой биологии.

Опираясь на данные крио-ЭМ (которые обсуждались в подкасте CZI), ESMFold2 демонстрирует передовые результаты в предсказании белковых взаимодействий, особенно для антител — критически важной модальности в терапии, — а также свидетельства того, что масштабирование на этапе инференса также работает по пяти мишеням в онкологии и иммунологии.

Как отсылка к тому другому знаменитому проекту на стыке ИИ и фолдинга белков, они также выпускают атлас из 6,8 миллиарда белков и 1,1 миллиарда предсказанных структур, с которыми можно поэкспериментировать на их сайте. Для нас большая честь сотрудничать с ними в рамках этого масштабного релиза!

Один из рефренов, который мы слышали в научном подкасте, — что фолдинг белков, дизайн материалов, клеточная биология и т. д. — это совсем иные задачи по сравнению с языковым моделированием. Это, безусловно, так. Тем не менее Alex Rives и команда ESM в BioHub только что выпустили препринт и модель, демонстрирующие, что обычные BERT-подобные трансформерные модели, обученные на достаточно больших и разнообразных наборах данных, могут превзойти специализированные модели вроде AlphaFold3 в некоторых из наиболее сложных задач, связанных с белками.

Andrew White записал отличный фрагмент в нашем первом выпуске LS-Science, где объяснил, насколько ошеломляющим было появление AlphaFold2 в 2020 году: он внезапно решал задачи на GPU обычного десктопа, для которых DESRes строила кластеры суперкомпьютеров на заказных ASIC. John Jumper и Demis Hassabis получили за эту работу Нобелевскую премию по химии.

AlphaFold2 воспользовался очень остроумным наблюдением: если у нескольких видов совместно эволюционируют пары мутаций, это означает, что эти мутации соответствуют участкам белка, расположенным близко в трёхмерном пространстве. Обычно это обозначают аббревиатурой MSA (множественные выравнивания последовательностей), и именно это ключевое прозрение делает AlphaFold2 столь эффективным.

Однако, как и любые индуктивные смещения, оно ухудшает обобщающую способность.

Фанаты масштабирования до того, как это стало мейнстримом

Если посмотреть на хронологию законов масштабирования для LLM и выпуска моделей предсказания структуры1, команда ESM показательно удвоила ставку на свой подход «к чёрту MSA» после выхода AlphaFold2. Это, очевидно, требовало огромной веры в гипотезу масштабирования.

Откуда такая убеждённость?

ESM развивался в то время, когда многие законы масштабирования и «Горький урок» всё убедительнее подтверждались. Ошеломительный успех AlphaFold2 наверняка вызывал одновременно воодушевление и горькое разочарование. Но использование MSA означает, что точность модели зависит от наличия MSA в обучающих данных для конкретной области. Для таких объектов, как антитела, для которых MSA просто нет2, AlphaFold работает плохо.

ESM использует другой подход: сначала обучением без учителя на максимально разнообразных данных выучить связи между разными белками (звучит знакомо?), а затем соотнести это со структурами, известными из Protein Data Bank (PDB) и других источников3.

Иными словами — мировая модель.

Мировая модель для белков

«Мировая модель» — это хайповый термин, который я определяю так:

Используйте обучение без учителя, чтобы извлечь из данных абстрактные паттерны:

Абстракция должна быть семантической — новые конструкции представляют объекты, подчиняющиеся законам реального мираАбстракция должна быть композиционной — рекомбинация различных паттернов приводит к новым и зачастую валидным конструкциямАбстракция должна поддерживать обобщение — она предсказывает явления реального мира, на которых не обучалась

Когда у вас есть мировая модель, к ней можно присоединять «головы» для последующих задач: предсказывать свойства белка, декомпозировать его функциональные признаки или искать в пространстве представлений белки, удовлетворяющие критериям дизайна. Две большие модели, которые BioHub только что выпустил под лицензией MIT, напрямую соответствуют этой схеме:

Мировая модель → ESMC (модель, обученная на 2,8 миллиарда последовательностей)Голова для предсказания структуры → ESMFold2

Один из интересных способов, которыми мировая модель может «предсказывать», — генерировать белковые последовательности, а затем измерять предсказанные свойства, такие как аффинность связывания, в лаборатории. В выпуске Alex рассказывает о валидации некоторых наиболее сложных молекул, которые они предсказали, в мокрой лаборатории. Очень круто!

Ещё один способ — использовать методы механистической интерпретируемости, такие как разрежённые автоэнкодеры (SAE), для извлечения семантических признаков из модели, а затем находить новые признаки, предсказывающие неизвестные биологические свойства. Не буду спойлерить эту часть: для меня это был один из самых ярких моментов выпуска!

Клетка — это компьютер

Мы все слышали, что гены подобны компьютерным программам, но обычно аналогия на этом и заканчивается. Разумеется, гены транскрибируются в РНК, а РНК транслируется в белки, так что гены — это программы для создания белков, но это доводит аналогию лишь до уровня «двоичные цифры — это программы».

Вот аналогия получше: клеточное ядро можно представить как устройство хранения / контроллер хранилища, рибосому — как JIT-компилятор и среду выполнения, семантические признаки, которые мы извлекаем из мировой модели через SAE, — как функции, белки — как процессы, взаимодействующие в рабочих потоках (сигнальных путях) для получения поведения и результатов (фенотипов).

Подобно функциям, признаки SAE обладают иерархической композицией — от локальных, вторичных и третичных структур (имитируя структуру белка)4, но также включают концептуальные мотивы: мембранные интеграции, неупорядоченные области и дисульфидные связи5. По мере того как мы учимся комбинировать эти признаки в новые белковые конструкции, мы приближаемся к программируемой биологии.

В выпуске Alex гораздо подробнее рассказывает об этом, а также о:

Принципах сбора новых данныхВидении BioHubМоделировании клетки

Приятного просмотра!

Полный видеоподкаст

Ставьте лайки и подписывайтесь!

X: https://x.com/alexrivesLinkedIn:

Антитела мутируют очень быстро, чтобы адаптироваться к патогенам с новыми белками на поверхности. Из-за такой динамики множественные выравнивания последовательностей (MSA) для них отсутствуют.

Сюда входит набор данных, созданный самим AlphaFold2 для ESMC, что делает его дистилляцией AlphaFold и косвенно зависимым от MSA.

Очень локальные (1–3 остатка): биохимия отдельных аминокислот, гидрофобный vs. полярный характер, заряд

Ближнего действия (~5–10 остатков): вторичная структура — признаки α-спиралей, β-тяжей, β-поворотов

Среднего действия (~10–30 остатков): сверхвторичные мотивы — β-шпильки, спираль-поворот-спираль, β-α-β-блоки

Дальнего действия (весь белок): идентификаторы полных доменов — иммуноглобулиновая укладка, укладка Россмана, TIM-бочка, четырёхспиральный пучок

Признаки связывания ДНК — активируются в белках со структурой спираль-поворот-спираль, цинковых пальцах, лейциновых застёжках и других ДНК-связывающих укладках, которые объединяет функция, а не последовательность

Признаки мембранной интеграции — активируются на трансмембранных сегментах вне зависимости от того, расположены ли они в GPCR, транспортёре или ионном канале

Признаки неупорядоченных областей — SAE выделяет ~686 признаков (5–10% бюджета признаков) на внутренне неупорядоченные области, что примечательно, поскольку IDR не имеют структуры для предсказания. Модель представляет саму неупорядоченность как концепцию с подпризнаками для различных разновидностей IDR (полиамфолит, полярный тракт, прионоподобный домен)

Признаки дисульфидных связей — активируются на цистеинах, участвующих в дисульфидных связях, отличая их от свободных цистеинов

Обсуждение этого выпуска