🔬Beyond AlphaFold: How Boltz is Open-Sourcing the Future of Drug Discovery

🔬Beyond AlphaFold: How Boltz is Open-Sourcing the Future of Drug Discovery

🔬За пределами AlphaFold: как Boltz открывает исходный код будущего разработки лекарств

This podcast features Gabriele Corso and Jeremy Wohlwend, co-founders of Boltz and authors of the Boltz Manifesto, discussing the rapid evolution of structural biology models from AlphaFold to their own open-source suite, Boltz-1 and Boltz-2. The central thesis is that while single-chain protein structure prediction is largely “solved” through evolutionary hints, the next frontier lies in modeling complex interactions (protein-ligand, protein-protein) and generative protein design, which Boltz aims to democratize via open-source foundations and scalable infrastructure.

В этом подкасте участвуют Gabriele Corso и Jeremy Wohlwend, сооснователи Boltz и авторы манифеста Boltz, которые обсуждают стремительную эволюцию моделей структурной биологии от AlphaFold до их собственного открытого набора — Boltz-1 и Boltz-2. Центральный тезис состоит в том, что хотя предсказание структуры одиночной белковой цепи во многом «решено» благодаря эволюционным подсказкам, следующий рубеж лежит в моделировании сложных взаимодействий (белок-лиганд, белок-белок) и генеративном дизайне белков, которые Boltz стремится сделать общедоступными через открытые исходники и масштабируемую инфраструктуру.

Full Video Pod

Полный видеоподкаст

On YouTube!

На YouTube!

Timestamps

Таймкоды

00:00 Введение в бенчмаркинг и «решённую» задачу о белках06:48 Эволюционные подсказки и коэволюция в предсказании структуры10:00 Важность функции белка и болезненных состояний15:31 Переход от возможностей AlphaFold 2 к AlphaFold 319:48 Генеративное моделирование против регрессии в структурной биологии25:00 «Горький урок» и специализированные ИИ-архитектуры29:14 Истории разработки: обучение Boltz-1 с ограниченным бюджетом32:00 Стратегии валидации и Protein Data Bank (PDB)37:26 Миссия Boltz: демократизация доступа и open source41:43 Построение самоподдерживающегося исследовательского сообщества44:40 Достижения Boltz-2: предсказание аффинности и дизайн51:03 BoltzGen: объединение предсказания структуры и последовательности55:18 Результаты масштабной валидации в мокрой лаборатории01:02:44 Запуск продукта Boltz Lab: агенты и инфраструктура01:13:06 Будущие направления: developability и «виртуальная клетка»01:17:35 Взаимодействие со скептически настроенными медицинскими химиками

Key Summary

Ключевое резюме

Evolution of Structure Prediction & Evolutionary Hints

Эволюция предсказания структуры и эволюционные подсказки

Коэволюционные ландшафты: спикеры объясняют, что прорывной прогресс в предсказании одиночных цепей опирался на расшифровку эволюционных корреляций, где мутация в одной позиции требует мутации в другой ради сохранения трёхмерной структуры.Структура против сворачивания: они разделяют предсказание структуры (получение конечного ответа) и сворачивание (folding) (кинетический процесс достижения этого состояния), отмечая, что в моделировании последнего область всё ещё довольно слаба.Физика против статистики: RJ полагает, что хотя модели используют эволюционную статистику, чтобы найти нужную «долину» в энергетическом ландшафте, они, вероятно, обладают «лёгким пониманием» физики, позволяющим уточнить локальный минимум.

The Shift to Generative Architectures

Переход к генеративным архитектурам

Генеративное моделирование: ключевым скачком в AlphaFold 3 и Boltz-1 стал переход от регрессии (предсказание одной статической координаты) к генеративному диффузионному подходу, который сэмплирует из апостериорного распределения.Работа с неопределённостью: этот сдвиг позволяет моделям представлять множество конформационных состояний и избегать эффекта «усреднения», характерного для регрессионных моделей, когда истинный ответ неоднозначен.Специализированные архитектуры: несмотря на «горький урок» универсальных трансформеров, спикеры утверждают, что эквивариантные архитектуры остаются значительно превосходящими для биологических данных из-за присущих молекулам трёхмерных геометрических ограничений.

Boltz-2 and Generative Protein Design

Boltz-2 и генеративный дизайн белков

Единое кодирование: Boltz-2 (и BoltzGen) трактует предсказание структуры и последовательности как единую задачу, кодируя идентичность аминокислот в атомный состав предсказанной структуры.Специфика дизайна: вместо последовательности пользователи подают модели пустые токены и высокоуровневую «спецификацию» (например, каркас антитела), а модель декодирует и трёхмерную структуру, и соответствующие аминокислоты.Предсказание аффинности: хотя уверенность (confidence) модели — распространённая метрика, Boltz-2 фокусируется на предсказании аффинности — количественной оценке того, насколько прочно спроектированный связыватель прикрепится к своей мишени.

Real-World Validation and Productization

Валидация в реальном мире и продуктизация

Обобщённая валидация: чтобы доказать, что модель не просто «пересказывает» известные данные, Boltz протестировала свои дизайны на 9 мишенях с нулём известных взаимодействий в PDB, добившись наномолярных связывателей для двух третей из них.Инфраструктура Boltz Lab: только что запущенная платформа Boltz Lab предоставляет «агентов» для дизайна белков и малых молекул, оптимизированных для работы в 10 раз быстрее открытых версий благодаря проприетарным GPU-ядрам.Человек в контуре: платформа спроектирована так, чтобы переубеждать скептически настроенных медицинских химиков, позволяя им запускать параллельные скрининги и использовать собственную интуицию для фильтрации выходов модели.

Transcript

Расшифровка

RJ [00:05:35]: But the goal remains to, like, you know, really challenge the models, like, how well do these models generalize? And, you know, we’ve seen in some of the latest CASP competitions, like, while we’ve become really, really good at proteins, especially monomeric proteins, you know, other modalities still remain pretty difficult. So it’s really essential, you know, in the field that there are, like, these efforts to gather, you know, benchmarks that are challenging. So it keeps us in line, you know, about what the models can do or not.

RJ [00:05:35]: Но цель по-прежнему в том, чтобы, знаете, по-настоящему бросить вызов моделям: насколько хорошо эти модели обобщают? И, знаете, мы видели на некоторых последних соревнованиях CASP, что хотя мы стали очень-очень хороши в белках, особенно мономерных белках, другие модальности всё ещё остаются довольно трудными. Поэтому в этой области действительно важно, чтобы были вот такие усилия по сбору сложных бенчмарков. Это держит нас в рамках реальности относительно того, на что модели способны, а на что — нет.

Gabriel [00:06:26]: Yeah, it’s interesting you say that, like, in some sense, CASP, you know, at CASP 14, a problem was solved and, like, pretty comprehensively, right? But at the same time, it was really only the beginning. So you can say, like, what was the specific problem you would argue was solved? And then, like, you know, what is remaining, which is probably quite open.

Gabriel [00:06:26]: Да, интересно, что вы это говорите, ведь в каком-то смысле на CASP, знаете, на CASP 14 одна задача была решена, причём довольно исчерпывающе, верно? Но в то же время это было только началом. Так что можно спросить: какая именно задача, как вы бы сказали, была решена? И тогда — что осталось, что, вероятно, остаётся весьма открытым.

RJ [00:06:48]: I think we’ll steer away from the term solved, because we have many friends in the community who get pretty upset at that word. And I think, you know, fairly so. But the problem that was, you know, that a lot of progress was made on was the ability to predict the structure of single chain proteins. So proteins can, like, be composed of many chains. And single chain proteins are, you know, just a single sequence of amino acids. And one of the reasons that we’ve been able to make such progress is also because we take a lot of hints from evolution. So the way the models work is that, you know, they sort of decode a lot of hints. That comes from evolutionary landscapes. So if you have, like, you know, some protein in an animal, and you go find the similar protein across, like, you know, different organisms, you might find different mutations in them. And as it turns out, if you take a lot of the sequences together, and you analyze them, you see that some positions in the sequence tend to evolve at the same time as other positions in the sequence, sort of this, like, correlation between different positions. And it turns out that that is typically a hint that these two positions are close in three dimension. So part of the, you know, part of the breakthrough has been, like, our ability to also decode that very, very effectively. But what it implies also is that in absence of that co-evolutionary landscape, the models don’t quite perform as well. And so, you know, I think when that information is available, maybe one could say, you know, the problem is, like, somewhat solved. From the perspective of structure prediction, when it isn’t, it’s much more challenging. And I think it’s also worth also differentiating the, sometimes we confound a little bit, structure prediction and folding. Folding is the more complex process of actually understanding, like, how it goes from, like, this disordered state into, like, a structured, like, state. And that I don’t think we’ve made that much progress on. But the idea of, like, yeah, going straight to the answer, we’ve become pretty good at.

RJ [00:06:48]: Думаю, мы будем избегать слова «решено», потому что у нас много друзей в сообществе, которые довольно расстраиваются от этого слова. И я считаю, вполне справедливо. Но задача, по которой был достигнут большой прогресс, — это способность предсказывать структуру одноцепочечных белков. Дело в том, что белки могут состоять из многих цепей. А одноцепочечные белки — это просто одна последовательность аминокислот. И одна из причин, по которой нам удалось добиться такого прогресса, в том, что мы берём много подсказок из эволюции. То есть модели работают так: они, в некотором смысле, декодируют множество подсказок, которые исходят из эволюционных ландшафтов. Так, если у вас есть какой-то белок у животного, и вы находите похожий белок у разных организмов, вы можете обнаружить в них разные мутации. И, как выясняется, если взять много последовательностей вместе и проанализировать их, видно, что некоторые позиции в последовательности склонны эволюционировать одновременно с другими позициями — этакая корреляция между разными позициями. И оказывается, что это, как правило, подсказка о том, что эти две позиции близки в трёх измерениях. Так что часть прорыва — это наша способность очень-очень эффективно декодировать и это. Но отсюда следует, что в отсутствие такого коэволюционного ландшафта модели работают не так хорошо. И поэтому, думаю, когда эта информация доступна, можно, наверное, сказать, что задача в некотором роде решена — с точки зрения предсказания структуры. Когда же её нет, всё гораздо сложнее. И, думаю, стоит ещё различать — иногда мы немного путаем — предсказание структуры и сворачивание. Сворачивание — это более сложный процесс собственно понимания того, как белок переходит из этого неупорядоченного состояния в структурированное. И вот в этом, мне кажется, мы не так уж сильно продвинулись. А вот в идее, знаете, идти сразу к ответу — в этом мы стали довольно хороши.

Brandon [00:08:49]: So there’s this protein that is, like, just a long chain and it folds up. Yeah. And so we’re good at getting from that long chain in whatever form it was originally to the thing. But we don’t know how it necessarily gets to that state. And there might be intermediate states that it’s in sometimes that we’re not aware of.

Brandon [00:08:49]: То есть есть некий белок, который представляет собой просто длинную цепь, и она сворачивается. Да. И мы хорошо умеем переходить от этой длинной цепи в той форме, в которой она изначально была, к итоговой структуре. Но мы не знаем, как именно она обязательно приходит в это состояние. И могут быть промежуточные состояния, в которых она иногда находится и о которых мы не знаем.

RJ [00:09:10]: That’s right. And that relates also to, like, you know, our general ability to model, like, the different, you know, proteins are not static. They move, they take different shapes based on their energy states. And I think we are, also not that good at understanding the different states that the protein can be in and at what frequency, what probability. So I think the two problems are quite related in some ways. Still a lot to solve. But I think it was very surprising at the time, you know, that even with these evolutionary hints that we were able to, you know, to make such dramatic progress.

RJ [00:09:10]: Именно так. И это связано также с нашей общей способностью моделировать разные… знаете, белки не статичны. Они двигаются, принимают разные формы в зависимости от своих энергетических состояний. И мне кажется, мы тоже не очень хорошо понимаем разные состояния, в которых может находиться белок, и с какой частотой, с какой вероятностью. Так что, думаю, две эти задачи в каком-то смысле довольно связаны. Решать ещё много чего. Но мне кажется, в своё время было очень удивительно, что даже с этими эволюционными подсказками нам удалось добиться такого впечатляющего прогресса.

Brandon [00:09:45]: So I want to ask, why does the intermediate states matter? But first, I kind of want to understand, why do we care? What proteins are shaped like?

Brandon [00:09:45]: Я хочу спросить, почему промежуточные состояния важны. Но сначала мне хочется понять: почему нам вообще не всё равно, какую форму имеют белки?

Gabriel [00:09:54]: Yeah, I mean, the proteins are kind of the machines of our body. You know, the way that all the processes that we have in our cells, you know, work is typically through proteins, sometimes other molecules, sort of intermediate interactions. And through that interactions, we have all sorts of cell functions. And so when we try to understand, you know, a lot of biology, how our body works, how disease work. So we often try to boil it down to, okay, what is going right in case of, you know, our normal biological function and what is going wrong in case of the disease state. And we boil it down to kind of, you know, proteins and kind of other molecules and their interaction. And so when we try predicting the structure of proteins, it’s critical to, you know, have an understanding of kind of those interactions. It’s a bit like seeing the difference between... Having kind of a list of parts that you would put it in a car and seeing kind of the car in its final form, you know, seeing the car really helps you understand what it does. On the other hand, kind of going to your question of, you know, why do we care about, you know, how the protein falls or, you know, how the car is made to some extent is that, you know, sometimes when something goes wrong, you know, there are, you know, cases of, you know, proteins misfolding. In some diseases and so on, if we don’t understand this folding process, we don’t really know how to intervene.

Gabriel [00:09:54]: Да, ну, белки — это, по сути, машины нашего тела. Все процессы, которые есть в наших клетках, обычно работают через белки, иногда через другие молекулы, через своего рода промежуточные взаимодействия. И через эти взаимодействия мы получаем всевозможные клеточные функции. Так что когда мы пытаемся понять биологию, как работает наше тело, как работают болезни, мы часто стараемся свести это к вопросу: что идёт правильно в случае нормальной биологической функции и что идёт не так в случае болезненного состояния. И мы сводим это, по сути, к белкам и другим молекулам и их взаимодействию. И поэтому, когда мы пытаемся предсказать структуру белков, критически важно иметь понимание этих взаимодействий. Это немного похоже на разницу между… имея, скажем, список деталей, которые вы бы вставили в автомобиль, и видя автомобиль в его финальной форме — видеть автомобиль действительно помогает понять, что он делает. С другой стороны, отвечая на ваш вопрос, почему нас волнует, как сворачивается белок или как собран автомобиль, — дело в том, что иногда, когда что-то идёт не так, бывают случаи неправильного сворачивания белков. При некоторых болезнях и так далее, если мы не понимаем этот процесс сворачивания, мы по-настоящему не знаем, как вмешаться.

RJ [00:11:30]: There’s this nice line in the, I think it’s in the Alpha Fold 2 manuscript, where they sort of discuss also like why we even hopeful that we can target the problem in the first place. And then there’s this notion that like, well, four proteins that fold. The folding process is almost instantaneous, which is a strong, like, you know, signal that like, yeah, like we should, we might be... able to predict that this very like constrained thing that, that the protein does so quickly. And of course that’s not the case for, you know, for, for all proteins. And there’s a lot of like really interesting mechanisms in the cells, but yeah, I remember reading that and thought, yeah, that’s somewhat of an insightful point.

RJ [00:11:30]: Есть хорошая фраза, кажется, в статье об AlphaFold 2, где они обсуждают, почему мы вообще надеемся, что можем взяться за эту задачу. И там есть мысль о том, что для белков, которые сворачиваются, процесс сворачивания почти мгновенен, и это сильный сигнал о том, что мы, возможно, способны предсказать эту очень ограниченную вещь, которую белок проделывает так быстро. И, конечно, это не так для всех белков. Есть много по-настоящему интересных механизмов в клетках, но да, помню, читал это и подумал: да, это в некотором роде проницательная мысль.

Gabriel [00:12:10]: I think one of the interesting things about the protein folding problem is that it used to be actually studied. And part of the reason why people thought it was impossible, it used to be studied as kind of like a classical example. Of like an MP problem. Uh, like there are so many different, you know, type of, you know, shapes that, you know, this amino acid could take. And so, this grows combinatorially with the size of the sequence. And so there used to be kind of a lot of actually kind of more theoretical computer science thinking about and studying protein folding as an MP problem. And so it was very surprising also from that perspective, kind of seeing. Machine learning so clear, there is some, you know, signal in those sequences, through evolution, but also through kind of other things that, you know, us as humans, we’re probably not really able to, uh, to understand, but that is, models I’ve, I’ve learned.

Gabriel [00:12:10]: Думаю, одна из интересных вещей про задачу сворачивания белков в том, что её раньше действительно изучали. И отчасти причина, по которой люди считали её невозможной, в том, что её раньше изучали как своего рода классический пример NP-задачи. То есть существует столько разных форм, которые может принять эта аминокислота, и это растёт комбинаторно с размером последовательности. Так что раньше было довольно много, по сути, более теоретических компьютерно-научных размышлений о сворачивании белков как об NP-задаче и его изучения. И поэтому было очень удивительно ещё и с этой точки зрения видеть, как машинное обучение так ясно показало: в этих последовательностях есть некий сигнал — через эволюцию, но также и через другие вещи, которые мы, люди, наверное, по-настоящему не способны понять, но которые модели усвоили.

Brandon [00:13:07]: And so Andrew White, we were talking to him a few weeks ago and he said that he was following the development of this and that there were actually ASICs that were developed just to solve this problem. So, again, that there were. There were many, many, many millions of computational hours spent trying to solve this problem before AlphaFold. And just to be clear, one thing that you mentioned was that there’s this kind of co-evolution of mutations and that you see this again and again in different species. So explain why does that give us a good hint that they’re close by to each other? Yeah.

Brandon [00:13:07]: И вот Andrew White — мы разговаривали с ним пару недель назад, и он сказал, что следил за этим развитием и что были даже разработаны ASIC специально для решения этой задачи. Так что, опять же, были потрачены многие-многие миллионы вычислительных часов в попытках решить эту задачу до AlphaFold. И, чтобы прояснить, одна вещь, которую вы упомянули, — это что есть вот эта коэволюция мутаций и что её видно снова и снова у разных видов. Так объясните: почему это даёт нам хорошую подсказку о том, что они находятся близко друг к другу? Да.

RJ [00:13:41]: Um, like think of it this way that, you know, if I have, you know, some amino acid that mutates, it’s going to impact everything around it. Right. In three dimensions. And so it’s almost like the protein through several, probably random mutations and evolution, like, you know, ends up sort of figuring out that this other amino acid needs to change as well for the structure to be conserved. Uh, so this whole principle is that the structure is probably largely conserved, you know, because there’s this function associated with it. And so it’s really sort of like different positions compensating for, for each other. I see.

RJ [00:13:41]: Эм, представьте это так: если у меня есть какая-то аминокислота, которая мутирует, это повлияет на всё вокруг неё. Верно. В трёх измерениях. И поэтому это почти как если бы белок через несколько, вероятно случайных, мутаций и эволюцию в итоге как бы «вычисляет», что и эта другая аминокислота тоже должна измениться, чтобы структура сохранилась. Так что весь этот принцип в том, что структура, вероятно, в значительной степени сохраняется, потому что с ней связана функция. И поэтому это, по сути, разные позиции, компенсирующие друг друга. Понятно.

Brandon [00:14:17]: Those hints in aggregate give us a lot. Yeah. So you can start to look at what kinds of information about what is close to each other, and then you can start to look at what kinds of folds are possible given the structure and then what is the end state.

Brandon [00:14:17]: Эти подсказки в совокупности дают нам много. Да. То есть можно начать смотреть, какая информация о том, что близко к чему, есть, а затем можно начать смотреть, какие виды укладок возможны при данной структуре, и каким будет конечное состояние.

RJ [00:14:30]: And therefore you can make a lot of inferences about what the actual total shape is. Yeah, that’s right. It’s almost like, you know, you have this big, like three dimensional Valley, you know, where you’re sort of trying to find like these like low energy states and there’s so much to search through. That’s almost overwhelming. But these hints, they sort of maybe put you in. An area of the space that’s already like, kind of close to the solution, maybe not quite there yet. And, and there’s always this question of like, how much physics are these models learning, you know, versus like, just pure like statistics. And like, I think one of the thing, at least I believe is that once you’re in that sort of approximate area of the solution space, then the models have like some understanding, you know, of how to get you to like, you know, the lower energy, uh, low energy state. And so maybe you have some, some light understanding. Of physics, but maybe not quite enough, you know, to know how to like navigate the whole space. Right. Okay.

RJ [00:14:30]: И поэтому можно сделать много выводов о том, какова реальная общая форма. Да, именно так. Это почти как если бы у вас была эта большая трёхмерная долина, где вы как бы пытаетесь найти эти низкоэнергетические состояния, и нужно перебрать так много, что это почти ошеломляет. Но эти подсказки как бы помещают вас в область пространства, которая уже довольно близка к решению — может, ещё не совсем там, но близко. И тут всегда возникает вопрос: сколько физики эти модели усваивают по сравнению с чистой статистикой? И, по крайней мере я считаю, что одна из вещей в том, что, как только вы оказались в этой примерной области пространства решений, модели обладают неким пониманием того, как привести вас к более низкоэнергетическому состоянию. Так что, может, у вас есть лёгкое понимание физики, но, наверное, недостаточное, чтобы знать, как навигировать по всему пространству. Верно. Окей.

Brandon [00:15:25]: So we need to give it these hints to kind of get into the right Valley and then it finds the, the minimum or something. Yeah.

Brandon [00:15:25]: То есть нам нужно дать ему эти подсказки, чтобы как бы попасть в правильную долину, и тогда он находит минимум или что-то в этом роде. Да.

Gabriel [00:15:31]: One interesting explanation about our awful free works that I think it’s quite insightful, of course, doesn’t cover kind of the entirety of, of what awful does that is, um, they’re going to borrow from, uh, Sergio Chinico for MIT. So he sees kind of awful. Then the interesting thing about awful is God. This very peculiar architecture that we have seen, you know, used, and this architecture operates on this, you know, pairwise context between amino acids. And so the idea is that probably the MSA gives you this first hint about what potential amino acids are close to each other. MSA is most multiple sequence alignment. Exactly. Yeah. Exactly. This evolutionary information. Yeah. And, you know, from this evolutionary information about potential contacts, then is almost as if the model is. of running some kind of, you know, diastro algorithm where it’s sort of decoding, okay, these have to be closed. Okay. Then if these are closed and this is connected to this, then this has to be somewhat closed. And so you decode this, that becomes basically a pairwise kind of distance matrix. And then from this rough pairwise distance matrix, you decode kind of the

Gabriel [00:15:31]: Одно интересное объяснение того, как работает AlphaFold, которое, мне кажется, весьма проницательно — оно, конечно, не охватывает всё, что делает AlphaFold, — я его позаимствую у Sergey Ovchinnikov из MIT. Он смотрит на AlphaFold так: интересная вещь в AlphaFold в том, что у него очень своеобразная архитектура, которую мы видели и которая работает с этим попарным контекстом между аминокислотами. И идея в том, что, вероятно, MSA даёт вам эту первую подсказку о том, какие потенциальные аминокислоты близки друг к другу. MSA — это множественное выравнивание последовательностей (multiple sequence alignment). Именно. Да. Именно. Эта эволюционная информация. Да. И из этой эволюционной информации о потенциальных контактах модель как бы запускает что-то вроде алгоритма Дейкстры, где она декодирует: окей, эти должны быть близки. Окей, тогда если эти близки и это соединено с этим, то и это должно быть как-то близко. И вы декодируете это, и это становится, по сути, попарной матрицей расстояний. А затем из этой грубой попарной матрицы расстояний вы декодируете…

Brandon [00:16:42]: actual potential structure. Interesting. So there’s kind of two different things going on in the kind of coarse grain and then the fine grain optimizations. Interesting. Yeah. Very cool.

Brandon [00:16:42]: …собственно потенциальную структуру. Интересно. То есть тут как бы две разные вещи происходят — грубая оптимизация, а потом точная. Интересно. Да. Очень круто.

Gabriel [00:16:53]: Yeah. You mentioned AlphaFold3. So maybe we have a good time to move on to that. So yeah, AlphaFold2 came out and it was like, I think fairly groundbreaking for this field. Everyone got very excited. A few years later, AlphaFold3 came out and maybe for some more history, like what were the advancements in AlphaFold3? And then I think maybe we’ll, after that, we’ll talk a bit about the sort of how it connects to Bolt. But anyway. Yeah. So after AlphaFold2 came out, you know, Jeremy and I got into the field and with many others, you know, the clear problem that, you know, was, you know, obvious after that was, okay, now we can do individual chains. Can we do interactions, interaction, different proteins, proteins with small molecules, proteins with other molecules. And so. So why are interactions important? Interactions are important because to some extent that’s kind of the way that, you know, these machines, you know, these proteins have a function, you know, the function comes by the way that they interact with other proteins and other molecules. Actually, in the first place, you know, the individual machines are often, as Jeremy was mentioning, not made of a single chain, but they’re made of the multiple chains. And then these multiple chains interact with other molecules to give the function to those. And on the other hand, you know, when we try to intervene of these interactions, think about like a disease, think about like a, a biosensor or many other ways we are trying to design the molecules or proteins that interact in a particular way with what we would call a target protein or target. You know, this problem after AlphaVol2, you know, became clear, kind of one of the biggest problems in the field to, to solve many groups, including kind of ours and others, you know, started making some kind of contributions to this problem of trying to model these interactions. And AlphaVol3 was, you know, was a significant advancement on the problem of modeling interactions. And one of the interesting thing that they were able to do while, you know, some of the rest of the field that really tried to try to model different interactions separately, you know, how protein interacts with small molecules, how protein interacts with other proteins, how RNA or DNA have their structure, they put everything together and, you know, train very large models with a lot of advances, including kind of changing kind of systems. Some of the key architectural choices and managed to get a single model that was able to set this new state-of-the-art performance across all of these different kind of modalities, whether that was protein, small molecules is critical to developing kind of new drugs, protein, protein, understanding, you know, interactions of, you know, proteins with RNA and DNAs and so on.

Gabriel [00:16:53]: Да. Вы упомянули AlphaFold 3. Так что, может, самое время перейти к нему. Итак, вышел AlphaFold 2, и это было, я думаю, довольно революционно для этой области. Все очень воодушевились. Несколько лет спустя вышел AlphaFold 3, и, может, для ещё немного истории, — какие были улучшения в AlphaFold 3? А потом, думаю, после этого мы немного поговорим о том, как это связано с Boltz. Но в общем. Да. Итак, после выхода AlphaFold 2 мы с Jeremy, как и многие другие, пришли в эту область, и очевидной задачей, которая стала ясна после того, было: окей, теперь мы умеем работать с отдельными цепями. Можем ли мы работать с взаимодействиями — взаимодействиями разных белков, белков с малыми молекулами, белков с другими молекулами? И поэтому — почему взаимодействия важны? Взаимодействия важны потому, что в некотором смысле именно так эти машины, эти белки, выполняют свою функцию: функция возникает из того, как они взаимодействуют с другими белками и молекулами. И вообще-то, изначально отдельные машины часто, как упоминал Jeremy, состоят не из одной цепи, а из множества цепей. И эти множественные цепи взаимодействуют с другими молекулами, придавая им функцию. А с другой стороны, когда мы пытаемся вмешаться в эти взаимодействия — подумайте о болезни, о биосенсоре или о множестве других случаев — мы пытаемся спроектировать молекулы или белки, которые определённым образом взаимодействуют с тем, что мы бы назвали белком-мишенью или мишенью. После AlphaFold 2 эта задача стала очевидно одной из крупнейших в области. Многие группы, включая нашу и другие, начали вносить вклад в эту задачу моделирования взаимодействий. И AlphaFold 3 был значительным продвижением в задаче моделирования взаимодействий. Одна из интересных вещей, которую им удалось сделать: тогда как часть остальной области пыталась моделировать разные взаимодействия по отдельности — как белок взаимодействует с малыми молекулами, как белок взаимодействует с другими белками, как РНК или ДНК образуют свою структуру, — они объединили всё вместе и обучили очень большие модели с множеством улучшений, включая изменение некоторых ключевых архитектурных решений, и сумели получить единую модель, способную установить новый рекорд (state-of-the-art) производительности по всем этим разным модальностям, будь то белок, малые молекулы — что критически важно для разработки новых лекарств, — белок-белок, понимание взаимодействий белков с РНК и ДНК и так далее.

Brandon [00:19:39]: Just to satisfy the AI engineers in the audience, what were some of the key architectural and data, data changes that made that possible?

Brandon [00:19:39]: Просто чтобы удовлетворить ИИ-инженеров в аудитории: какие были некоторые из ключевых архитектурных изменений и изменений в данных, которые сделали это возможным?

Gabriel [00:19:48]: Yeah, so one critical one that was not necessarily just unique to AlphaFold3, but there were actually a few other teams, including ours in the field that proposed this, was moving from, you know, modeling structure prediction as a regression problem. So where there is a single answer and you’re trying to shoot for that answer to a generative modeling problem where you have a posterior distribution of possible structures and you’re trying to sample this distribution. And this achieves two things. One is it starts to allow us to try to model more dynamic systems. As we said, you know, some of these structures can actually take multiple structures. And so, you know, you can now model that, you know, through kind of modeling the entire distribution. But on the second hand, from more kind of core modeling questions, when you move from a regression problem to a generative modeling problem, you are really tackling the way that you think about uncertainty in the model in a different way. So if you think about, you know, I’m undecided between different answers, what’s going to happen in a regression model is that, you know, I’m going to try to make an average of those different kind of answers that I had in mind. When you have a generative model, what you’re going to do is, you know, sample all these different answers and then maybe use separate models to analyze those different answers and pick out the best. So that was kind of one of the critical improvement. The other improvement is that they significantly simplified, to some extent, the architecture, especially of the final model that takes kind of those pairwise representations and turns them into an actual structure. And that now looks a lot more like a more traditional transformer than, you know, like a very specialized equivariant architecture that it was in AlphaFold3.

Gabriel [00:19:48]: Да, одно критически важное, которое не было исключительно уникальным для AlphaFold 3 — на самом деле было ещё несколько команд, включая нашу, которые это предложили, — это переход от моделирования предсказания структуры как задачи регрессии, где есть единственный ответ и вы пытаетесь попасть в него, к задаче генеративного моделирования, где у вас есть апостериорное распределение возможных структур и вы пытаетесь сэмплировать из этого распределения. И это достигает двух вещей. Во-первых, это начинает позволять нам пытаться моделировать более динамичные системы. Как мы говорили, некоторые из этих структур действительно могут принимать множество форм. И теперь вы можете моделировать это, моделируя всё распределение. Но, во-вторых, с более фундаментальной модельной точки зрения, когда вы переходите от задачи регрессии к задаче генеративного моделирования, вы по-настоящему по-другому подходите к тому, как думаете о неопределённости в модели. Так, если подумать: я не определился между разными ответами — что произойдёт в регрессионной модели, это что я попытаюсь сделать среднее из этих разных ответов, которые были у меня в голове. Когда же у вас генеративная модель, вы сэмплируете все эти разные ответы, а затем, может, используете отдельные модели, чтобы проанализировать эти разные ответы и выбрать лучший. Так что это было одним из критических улучшений. Другое улучшение в том, что они значительно упростили, в некоторой степени, архитектуру, особенно финальной модели, которая берёт эти попарные представления и превращает их в собственно структуру. И теперь это выглядит гораздо больше как более традиционный трансформер, чем как очень специализированная эквивариантная архитектура, какой это было в AlphaFold 3.

Brandon [00:21:41]: So this is a bitter lesson, a little bit.

Brandon [00:21:41]: То есть это немного «горький урок».

Gabriel [00:21:45]: There is some aspect of a bitter lesson, but the interesting thing is that it’s very far from, you know, being like a simple transformer. This field is one of the, I argue, very few fields in applied machine learning where we still have kind of architecture that are very specialized. And, you know, there are many people that have tried to replace these architectures with, you know, simple transformers. And, you know, there is a lot of debate in the field, but I think kind of that most of the consensus is that, you know, the performance... that we get from the specialized architecture is vastly superior than what we get through a single transformer. Another interesting thing that I think on the staying on the modeling machine learning side, which I think it’s somewhat counterintuitive seeing some of the other kind of fields and applications is that scaling hasn’t really worked kind of the same in this field. Now, you know, models like AlphaFold2 and AlphaFold3 are, you know, still very large models.

Gabriel [00:21:45]: Есть некоторый аспект «горького урока», но интересно то, что это очень далеко от того, чтобы быть простым трансформером. Эта область — одна из, я бы сказал, очень немногих областей прикладного машинного обучения, где у нас всё ещё есть очень специализированные архитектуры. И многие пытались заменить эти архитектуры простыми трансформерами. В области много споров, но я думаю, что большинство сходится во мнении, что производительность, которую мы получаем от специализированной архитектуры, значительно превосходит то, что мы получаем через одиночный трансформер. Ещё одна интересная вещь, оставаясь на стороне моделирования и машинного обучения, которая, как мне кажется, несколько контринтуитивна по сравнению с некоторыми другими областями и приложениями, — это что масштабирование сработало в этой области не совсем так. При этом такие модели, как AlphaFold 2 и AlphaFold 3, всё же очень большие модели.

RJ [00:29:14]: in a place, I think, where we had, you know, some experience working in, you know, with the data and working with this type of models. And I think that put us already in like a good place to, you know, to produce it quickly. And, you know, and I would even say, like, I think we could have done it quicker. The problem was like, for a while, we didn’t really have the compute. And so we couldn’t really train the model. And actually, we only trained the big model once. That’s how much compute we had. We could only train it once. And so like, while the model was training, we were like, finding bugs left and right. A lot of them that I wrote. And like, I remember like, I was like, sort of like, you know, doing like, surgery in the middle, like stopping the run, making the fix, like relaunching. And yeah, we never actually went back to the start. We just like kept training it with like the bug fixes along the way, which was impossible to reproduce now. Yeah, yeah, no, that model is like, has gone through such a curriculum that, you know, learned some weird stuff. But yeah, somehow by miracle, it worked out.

RJ [00:29:14]: …в положении, думаю, где у нас был некоторый опыт работы с данными и с этим типом моделей. И, думаю, это уже поставило нас в хорошее положение, чтобы произвести это быстро. И я бы даже сказал, думаю, мы могли бы сделать это и быстрее. Проблема была в том, что какое-то время у нас по-настоящему не было вычислительных мощностей. И поэтому мы не могли толком обучить модель. И вообще-то большую модель мы обучили лишь один раз. Вот сколько у нас было вычислительных ресурсов. Мы могли обучить её только один раз. И поэтому, пока модель обучалась, мы находили баги направо и налево. Многие из них написал я. И помню, я как бы делал хирургическую операцию посреди процесса — останавливал прогон, вносил исправление, перезапускал. И да, мы так и не вернулись к началу. Мы просто продолжали её обучать с исправлениями багов по ходу, что теперь невозможно воспроизвести. Да, да, нет, эта модель прошла через такую программу обучения, что усвоила какие-то странные вещи. Но да, каким-то чудом всё получилось.

Gabriel [00:30:13]: The other funny thing is that the way that we were training, most of that model was through a cluster from the Department of Energy. But that’s sort of like a shared cluster that many groups use. And so we were basically training the model for two days, and then it would go back to the queue and stay a week in the queue. Oh, yeah. And so it was pretty painful. And so we actually kind of towards the end with Evan, the CEO of Genesis, and basically, you know, I was telling him a bit about the project and, you know, kind of telling him about this frustration with the compute. And so luckily, you know, he offered to kind of help. And so we, we got the help from Genesis to, you know, finish up the model. Otherwise, it probably would have taken a couple of extra weeks.

Gabriel [00:30:13]: Другая забавная вещь в том, что большую часть этой модели мы обучали на кластере от Министерства энергетики (Department of Energy). Но это вроде как общий кластер, которым пользуется много групп. И поэтому мы по сути обучали модель два дня, а потом она возвращалась в очередь и оставалась там на неделю. О, да. И поэтому было довольно мучительно. И вот ближе к концу мы с Evan, CEO компании Genesis, — я рассказывал ему немного о проекте и об этой фрустрации с вычислениями. И, к счастью, он предложил помочь. И мы получили помощь от Genesis, чтобы доделать модель. Иначе это, наверное, заняло бы пару лишних недель.

Brandon [00:30:57]: Yeah, yeah.

Brandon [00:30:57]: Да, да.

Brandon [00:31:02]: And then, and then there’s some progression from there.

Brandon [00:31:02]: И затем, и затем оттуда есть некоторое развитие.

Gabriel [00:31:06]: Yeah, so I would say kind of that, both one, but also kind of these other kind of set of models that came around the same time, were kind of approaching were a big leap from, you know, kind of the previous kind of open source models, and, you know, kind of really kind of approaching the level of AlphaVault 3. But I would still say that, you know, even to this day, there are, you know, some... specific instances where AlphaVault 3 works better. I think one common example is antibody antigen prediction, where, you know, AlphaVault 3 still seems to have an edge in many situations. Obviously, these are somewhat different models. They are, you know, you run them, you obtain different results. So it’s, it’s not always the case that one model is better than the other, but kind of in aggregate, we still, especially at the time.

Gabriel [00:31:06]: Да, я бы сказал, что и эта, но и другой набор моделей, появившихся примерно в то же время, были большим скачком по сравнению с предыдущими открытыми моделями и по-настоящему приближались к уровню AlphaFold 3. Но я бы всё же сказал, что даже по сей день есть некоторые конкретные случаи, где AlphaFold 3 работает лучше. Думаю, один распространённый пример — предсказание антитело-антиген, где AlphaFold 3 во многих ситуациях, кажется, по-прежнему имеет преимущество. Очевидно, это несколько разные модели. Вы их запускаете и получаете разные результаты. Так что не всегда так, что одна модель лучше другой, но в совокупности мы всё же, особенно в то время…

Brandon [00:32:00]: So AlphaVault 3 is, you know, still having a bit of an edge. We should talk about this more when we talk about Boltzgen, but like, how do you know one is, one model is better than the other? Like you, so you, I make a prediction, you make a prediction, like, how do you know?

Brandon [00:32:00]: …то есть AlphaFold 3 всё ещё имеет некоторое преимущество. Нам стоит поговорить об этом подробнее, когда будем обсуждать BoltzGen, но как вы узнаёте, что одна модель лучше другой? Вот вы — я делаю предсказание, вы делаете предсказание — как вы узнаёте?

Gabriel [00:32:11]: Yeah, so easily, you know, the, the great thing about kind of structural prediction and, you know, once we’re going to go into the design space of designing new small molecule, new proteins, this becomes a lot more complex. But a great thing about structural prediction is that a bit like, you know, CASP was doing, basically the way that you can evaluate them is that, you know, you train... You know, you train a model on a structure that was, you know, released across the field up until a certain time. And, you know, one of the things that we didn’t talk about that was really critical in all this development is the PDB, which is the Protein Data Bank. It’s this common resources, basically common database where every biologist publishes their structures. And so we can, you know, train on, you know, all the structures that were put in the PDB until a certain date. And then... And then we basically look for recent structures, okay, which structures look pretty different from anything that was published before, because we really want to try to understand generalization.

Gabriel [00:32:11]: Да, в общем легко, знаете, — отличная вещь в предсказании структуры (и когда мы перейдём в пространство дизайна новых малых молекул, новых белков, это станет гораздо сложнее), но отличная вещь в предсказании структуры в том, что — немного как делал CASP — по сути способ оценить их в том, что вы обучаете модель на структурах, которые были опубликованы в области вплоть до определённого момента. И, знаете, одна из вещей, о которой мы не говорили и которая была по-настоящему критически важна во всём этом развитии, — это PDB, Protein Data Bank. Это общий ресурс, по сути общая база данных, куда каждый биолог публикует свои структуры. И поэтому мы можем обучаться на всех структурах, что были помещены в PDB до определённой даты. А затем мы ищем недавние структуры — окей, какие структуры выглядят довольно непохожими на всё, что было опубликовано раньше, потому что мы по-настоящему хотим попытаться понять обобщение.

Brandon [00:33:13]: And then on this new structure, we evaluate all these different models. And so you just know when AlphaFold3 was trained, you know, when you’re, you intentionally trained to the same date or something like that. Exactly. Right. Yeah.

Brandon [00:33:13]: А затем на этой новой структуре мы оцениваем все эти разные модели. И вы просто знаете, когда был обучен AlphaFold 3, — вы намеренно обучаете до той же даты или что-то в этом роде. Именно. Верно. Да.

Gabriel [00:33:24]: And so this is kind of the way that you can somewhat easily kind of compare these models, obviously, that assumes that, you know, the training. You’ve always been very passionate about validation. I remember like DiffDoc, and then there was like DiffDocL and DocGen. You’ve thought very carefully about this in the past. Like, actually, I think DocGen is like a really funny story that I think, I don’t know if you want to talk about that. It’s an interesting like... Yeah, I think one of the amazing things about putting things open source is that we get a ton of feedback from the field. And, you know, sometimes we get kind of great feedback of people. Really like... But honestly, most of the times, you know, to be honest, that’s also maybe the most useful feedback is, you know, people sharing about where it doesn’t work. And so, you know, at the end of the day, it’s critical. And this is also something, you know, across other fields of machine learning. It’s always critical to set, to do progress in machine learning, set clear benchmarks. And as, you know, you start doing progress of certain benchmarks, then, you know, you need to improve the benchmarks and make them harder and harder. And this is kind of the progression of, you know, how the field operates. And so, you know, the example of DocGen was, you know, we published this initial model called DiffDoc in my first year of PhD, which was sort of like, you know, one of the early models to try to predict kind of interactions between proteins, small molecules, that we bought a year after AlphaFold2 was published. And now, on the one hand, you know, on these benchmarks that we were using at the time, DiffDoc was doing really well, kind of, you know, outperforming kind of some of the traditional physics-based methods. But on the other hand, you know, when we started, you know, kind of giving these tools to kind of many biologists, and one example was that we collaborated with was the group of Nick Polizzi at Harvard. We noticed, started noticing that there was this clear, pattern where four proteins that were very different from the ones that we’re trained on, the models was, was struggling. And so, you know, that seemed clear that, you know, this is probably kind of where we should, you know, put our focus on. And so we first developed, you know, with Nick and his group, a new benchmark, and then, you know, went after and said, okay, what can we change? And kind of about the current architecture to improve this pattern and generalization. And this is the same that, you know, we’re still doing today, you know, kind of, where does the model not work, you know, and then, you know, once we have that benchmark, you know, let’s try to, through everything we, any ideas that we have of the problem.

Gabriel [00:33:24]: И вот это, по сути, способ, которым можно довольно легко сравнить эти модели — что, очевидно, предполагает, что обучение… Ты всегда был очень увлечён валидацией. Помню DiffDock, а потом был DiffDockL и DockGen. Ты очень тщательно об этом думал в прошлом. На самом деле, думаю, DockGen — это довольно забавная история, и, не знаю, хочешь ли ты о ней рассказать. Это интересный… Да, думаю, одна из удивительных вещей в выкладывании всего в open source — это что мы получаем огромную обратную связь от области. И иногда мы получаем отличную обратную связь от людей, которым очень нравится… Но, честно говоря, чаще всего, и это, может, и есть самая полезная обратная связь, — это когда люди делятся тем, где оно не работает. И поэтому, в конце концов, это критически важно. И это ещё и то, что есть и в других областях машинного обучения: чтобы делать прогресс в машинном обучении, всегда критически важно задавать чёткие бенчмарки. И по мере того как вы делаете прогресс на определённых бенчмарках, вам нужно улучшать бенчмарки и делать их всё сложнее и сложнее. И это, по сути, и есть прогрессия того, как работает область. И вот пример DockGen: мы опубликовали эту первоначальную модель под названием DiffDock на первом году моей аспирантуры, которая была одной из ранних моделей, пытавшихся предсказать взаимодействия между белками и малыми молекулами, — мы выпустили её через год после публикации AlphaFold 2. И с одной стороны, на тех бенчмарках, что мы использовали в то время, DiffDock работал очень хорошо, превосходя некоторые традиционные методы на основе физики. Но с другой стороны, когда мы начали давать эти инструменты многим биологам, — и один пример, с которым мы сотрудничали, это группа Nick Polizzi в Harvard, — мы стали замечать чёткую закономерность: для белков, очень отличающихся от тех, на которых мы обучались, модель испытывала трудности. И поэтому стало ясно, что, вероятно, именно сюда нам стоит направить фокус. И мы сначала разработали вместе с Nick и его группой новый бенчмарк, а затем взялись и сказали: окей, что мы можем изменить в текущей архитектуре, чтобы улучшить эту закономерность и обобщение? И это то же самое, что мы делаем и сегодня: где модель не работает — и затем, как только у нас есть этот бенчмарк, давайте попробуем прогнать любые идеи о проблеме, которые у нас есть.

RJ [00:36:15]: And there’s a lot of like healthy skepticism in the field, which I think, you know, is, is, is great. And I think, you know, it’s very clear that there’s a ton of things, the models don’t really work well on, but I think one thing that’s probably, you know, undeniable is just like the pace of, pace of progress, you know, and how, how much better we’re getting, you know, every year. And so I think if you, you know, if you assume, you know, any constant, you know, rate of progress moving forward, I think things are going to look pretty cool at some point in the future.

RJ [00:36:15]: И в области много здорового скептицизма, что, думаю, прекрасно. И, думаю, совершенно очевидно, что есть масса вещей, на которых модели по-настоящему хорошо не работают, но, думаю, одна вещь, которая, вероятно, неоспорима, — это просто темп прогресса и то, насколько лучше мы становимся каждый год. И поэтому, думаю, если предположить какой-либо постоянный темп прогресса в дальнейшем, то в какой-то момент в будущем всё будет выглядеть довольно круто.

Gabriel [00:36:42]: ChatGPT was only three years ago. Yeah, I mean, it’s wild, right?

Gabriel [00:36:42]: ChatGPT появился всего три года назад. Да, это безумие, верно?

RJ [00:36:45]: Like, yeah, yeah, yeah, it’s one of those things. Like, you’ve been doing this. Being in the field, you don’t see it coming, you know? And like, I think, yeah, hopefully we’ll, you know, we’ll, we’ll continue to have as much progress we’ve had the past few years.

RJ [00:36:45]: Ну да, да, да, это одна из таких вещей. Когда ты этим занимаешься, находишься в области, ты не видишь, как оно надвигается, понимаете? И, думаю, да, надеюсь, мы продолжим иметь столько же прогресса, сколько было за последние несколько лет.

Brandon [00:36:55]: So this is maybe an aside, but I’m really curious, you get this great feedback from the, from the community, right? By being open source. My question is partly like, okay, yeah, if you open source and everyone can copy what you did, but it’s also maybe balancing priorities, right? Where you, like all my customers are saying. I want this, there’s all these problems with the model. Yeah, yeah. But my customers don’t care, right? So like, how do you, how do you think about that? Yeah.

Brandon [00:36:55]: Это, может, отступление, но мне очень любопытно: вы получаете эту отличную обратную связь от сообщества, верно, благодаря тому что вы open source. Мой вопрос отчасти в том — окей, да, если вы открываете исходники, и все могут скопировать то, что вы сделали, но это ещё и, может, балансирование приоритетов, верно? Когда все мои клиенты говорят: я хочу вот это, в модели есть все эти проблемы. Да, да. Но моим клиентам всё равно, верно? Так как вы об этом думаете? Да.

Gabriel [00:37:26]: So I would say a couple of things. One is, you know, part of our goal with Bolts and, you know, this is also kind of established as kind of the mission of the public benefit company that we started is to democratize the access to these tools. But one of the reasons why we realized that Bolts needed to be a company, it couldn’t just be an academic project is that putting a model on GitHub is definitely not enough to get, you know, chemists and biologists, you know, across, you know, both academia, biotech and pharma to use your model to, in their therapeutic programs. And so a lot of what we think about, you know, at Bolts beyond kind of the, just the models is thinking about all the layers. The layers that come on top of the models to get, you know, from, you know, those models to something that can really enable scientists in the industry. And so that goes, you know, into building kind of the right kind of workflows that take in kind of, for example, the data and try to answer kind of directly that those problems that, you know, the chemists and the biologists are asking, and then also kind of building the infrastructure. And so this to say that, you know, even with models fully open. You know, we see a ton of potential for, you know, products in the space and the critical part about a product is that even, you know, for example, with an open source model, you know, running the model is not free, you know, as we were saying, these are pretty expensive model and especially, and maybe we’ll get into this, you know, these days we’re seeing kind of pretty dramatic inference time scaling of these models where, you know, the more you run them, the better the results are. But there, you know, you see. You start getting into a point that compute and compute costs becomes a critical factor. And so putting a lot of work into building the right kind of infrastructure, building the optimizations and so on really allows us to provide, you know, a much better service potentially to the open source models. That to say, you know, even though, you know, with a product, we can provide a much better service. I do still think, and we will continue to put a lot of our models open source because the critical kind of role. I think of open source. Models is, you know, helping kind of the community progress on the research and, you know, from which we, we all benefit. And so, you know, we’ll continue to on the one hand, you know, put some of our kind of base models open source so that the field can, can be on top of it. And, you know, as we discussed earlier, we learn a ton from, you know, the way that the field uses and builds on top of our models, but then, you know, try to build a product that gives the best experience possible to scientists. So that, you know, like a chemist or a biologist doesn’t need to, you know, spin off a GPU and, you know, set up, you know, our open source model in a particular way, but can just, you know, a bit like, you know, I, even though I am a computer scientist, machine learning scientist, I don’t necessarily, you know, take a open source LLM and try to kind of spin it off. But, you know, I just maybe open a GPT app or a cloud code and just use it as an amazing product. We kind of want to give the same experience. So this front world.

Gabriel [00:37:26]: Я бы сказал пару вещей. Во-первых, частью нашей цели с Boltz — и это также закреплено как миссия public benefit company, которую мы основали — является демократизация доступа к этим инструментам. Но одна из причин, почему мы поняли, что Boltz должна быть компанией, а не просто академическим проектом, в том, что выложить модель на GitHub определённо недостаточно, чтобы химики и биологи — как в академии, так и в биотехе и фарме — стали использовать вашу модель в своих терапевтических программах. И поэтому многое из того, о чём мы думаем в Boltz помимо просто моделей, — это размышления обо всех слоях, которые ложатся поверх моделей, чтобы перейти от этих моделей к чему-то, что может по-настоящему дать возможности учёным в индустрии. И это идёт в построение правильных рабочих процессов, которые берут, например, данные и пытаются напрямую отвечать на те задачи, которые ставят химики и биологи, а также в построение инфраструктуры. И всё это к тому, что даже при полностью открытых моделях мы видим огромный потенциал для продуктов в этом пространстве, и критическая часть про продукт в том, что даже, например, с открытой моделью её запуск не бесплатен — как мы говорили, это довольно дорогие модели, особенно… и, может, мы к этому ещё перейдём, в эти дни мы наблюдаем довольно резкое масштабирование на этапе инференса этих моделей, где чем больше вы их запускаете, тем лучше результаты. Но тут вы начинаете доходить до точки, где вычисления и их стоимость становятся критическим фактором. И поэтому вложение большой работы в построение правильной инфраструктуры, оптимизаций и так далее по-настоящему позволяет нам предоставлять, возможно, гораздо лучший сервис, чем открытые модели. Это к тому, что хотя с продуктом мы можем предоставить гораздо лучший сервис, я всё же считаю — и мы продолжим выкладывать много наших моделей в open source, — потому что критическая роль open source-моделей, как мне кажется, в том, чтобы помогать сообществу двигать исследования вперёд, от чего все мы выигрываем. И поэтому мы, с одной стороны, продолжим выкладывать некоторые из наших базовых моделей в open source, чтобы область могла на них строить, и, как мы обсуждали ранее, мы многому учимся из того, как область использует и строит поверх наших моделей, — но при этом будем пытаться построить продукт, дающий учёным наилучший возможный опыт. Так, чтобы химику или биологу не нужно было разворачивать GPU и настраивать нашу открытую модель определённым образом, а можно было просто, немного как я, — хотя я и компьютерный учёный, специалист по машинному обучению, я не обязательно беру открытую LLM и пытаюсь её разворачивать, а просто, может, открываю приложение GPT или Claude Code и использую как отличный продукт. Мы хотим дать тот же опыт. Так что вот эта область.

Brandon [00:40:40]: I heard a good analogy yesterday that a surgeon doesn’t want the hospital to design a scalpel, right?

Brandon [00:40:40]: Вчера я услышал хорошую аналогию, что хирург не хочет, чтобы больница проектировала скальпель, верно?

Brandon [00:40:48]: So just buy the scalpel.

Brandon [00:40:48]: Так что просто купите скальпель.

RJ [00:40:50]: You wouldn’t believe like the number of people, even like in my short time, you know, between AlphaFold3 coming out and the end of the PhD, like the number of people that would like reach out just for like us to like run AlphaFold3 for them, you know, or things like that. Just because like, you know, bolts in our case, you know, just because it’s like. It’s like not that easy, you know, to do that, you know, if you’re not a computational person. And I think like part of the goal here is also that, you know, we continue to obviously build the interface with computational folks, but that, you know, the models are also accessible to like a larger, broader audience. And then that comes from like, you know, good interfaces and stuff like that.

RJ [00:40:50]: Вы не поверите, какое количество людей — даже за моё короткое время, между выходом AlphaFold 3 и концом аспирантуры, — сколько людей обращались просто чтобы мы запустили для них AlphaFold 3, или что-то в этом роде. Просто потому что, знаете, Boltz в нашем случае, — просто потому что это не так-то легко сделать, если ты не вычислительный человек. И, думаю, часть цели здесь ещё и в том, чтобы мы продолжали, очевидно, строить интерфейс для вычислительных специалистов, но чтобы модели были доступны и более широкой аудитории. А это идёт от хороших интерфейсов и тому подобного.

Gabriel [00:41:27]: I think one like really interesting thing about bolts is that with the release of it, you didn’t just release a model, but you created a community. Yeah. Did that community, it grew very quickly. Did that surprise you? And like, what is the evolution of that community and how is that fed into bolts?

Gabriel [00:41:27]: Думаю, одна по-настоящему интересная вещь в Boltz в том, что с его выпуском вы выпустили не просто модель, а создали сообщество. Да. Это сообщество очень быстро выросло. Это вас удивило? И какова эволюция этого сообщества и как оно повлияло на Boltz?

RJ [00:41:43]: If you look at its growth, it’s like very much like when we release a new model, it’s like, there’s a big, big jump, but yeah, it’s, I mean, it’s been great. You know, we have a Slack community that has like thousands of people on it. And it’s actually like self-sustaining now, which is like the really nice part because, you know, it’s, it’s almost overwhelming, I think, you know, to be able to like answer everyone’s questions and help. It’s really difficult, you know. The, the few people that we were, but it ended up that like, you know, people would answer each other’s questions and like, sort of like, you know, help one another. And so the Slack, you know, has been like kind of, yeah, self, self-sustaining and that’s been, it’s been really cool to see.

RJ [00:41:43]: Если посмотреть на его рост, то это очень похоже на то, что когда мы выпускаем новую модель, происходит большой-большой скачок, но да — в общем, это было здорово. У нас есть Slack-сообщество, в котором тысячи людей. И оно теперь по-настоящему самоподдерживающееся, что и есть по-настоящему приятная часть, потому что отвечать на вопросы всех и помогать — это почти ошеломляюще. Это по-настоящему трудно для тех нескольких человек, которыми мы были, но в итоге оказалось, что люди стали отвечать на вопросы друг друга и как бы помогать один другому. И поэтому Slack стал самоподдерживающимся, и это было по-настоящему круто видеть.

RJ [00:42:21]: And, you know, that’s, that’s for like the Slack part, but then also obviously on GitHub as well. We’ve had like a nice, nice community. You know, I think we also aspire to be even more active on it, you know, than we’ve been in the past six months, which has been like a bit challenging, you know, for us. But. Yeah, the community has been, has been really great and, you know, there’s a lot of papers also that have come out with like new evolutions on top of bolts and it’s surprised us to some degree because like there’s a lot of models out there. And I think like, you know, sort of people converging on that was, was really cool. And, you know, I think it speaks also, I think, to the importance of like, you know, when, when you put code out, like to try to put a lot of emphasis and like making it like as easy to use as possible and something we thought a lot about when we released the code base. You know, it’s far from perfect, but, you know.

RJ [00:42:21]: И, знаете, это что касается Slack-части, но затем, очевидно, и на GitHub тоже. У нас было хорошее сообщество. Думаю, мы также стремимся быть ещё активнее в нём, чем были последние полгода, что было немного непросто для нас. Но да, сообщество было по-настоящему отличным, и вышло много статей с новыми развитиями поверх Boltz, и это нас в некоторой степени удивило, потому что там много моделей. И, думаю, то, что люди как бы сходятся вокруг этого, было по-настоящему круто. И, думаю, это говорит и о важности того, что когда вы выкладываете код, нужно стараться сделать большой акцент на том, чтобы он был как можно проще в использовании, — о чём мы много думали, когда выпускали кодовую базу. Она далеко не идеальна, но, знаете.

Brandon [00:43:07]: Do you think that that was one of the factors that caused your community to grow is just the focus on easy to use, make it accessible? I think so.

Brandon [00:43:07]: Как вы думаете, это был один из факторов, благодаря которым ваше сообщество выросло, — просто фокус на простоте использования, на доступности? Думаю, да.

RJ [00:43:14]: Yeah. And we’ve, we’ve heard it from a few people over the, over the, over the years now. And, you know, and some people still think it should be a lot nicer and they’re, and they’re right. And they’re right. But yeah, I think it was, you know, at the time, maybe a little bit easier than, than other things.

RJ [00:43:14]: Да. И мы слышали это от нескольких человек за эти годы. И, знаете, некоторые люди всё ещё считают, что должно быть намного приятнее, и они правы. И они правы. Но да, думаю, в то время это было, может, чуть проще, чем другие варианты.

Gabriel [00:43:29]: The other thing part, I think led to, to the community and to some extent, I think, you know, like the somewhat the trust in the community. Kind of what we, what we put out is the fact that, you know, it’s not really been kind of, you know, one model, but, and maybe we’ll talk about it, you know, after Boltz 1, you know, there were maybe another couple of models kind of released, you know, or open source kind of soon after. We kind of continued kind of that open source journey or at least Boltz 2, where we are not only improving kind of structure prediction, but also starting to do affinity predictions, understanding kind of the strength of the interactions between these different models, which is this critical component. critical property that you often want to optimize in discovery programs. And then, you know, more recently also kind of protein design model. And so we’ve sort of been building this suite of, of models that come together, interact with one another, where, you know, kind of, there is almost an expectation that, you know, we, we take very at heart of, you know, always having kind of, you know, across kind of the entire suite of different tasks, the best or across the best. model out there so that it’s sort of like our open source tool can be kind of the go-to model for everybody in the, in the industry. I really want to talk about Boltz 2, but before that, one last question in this direction, was there anything about the community which surprised you? Were there any, like, someone was doing something and you’re like, why would you do that? That’s crazy. Or that’s actually genius. And I never would have thought about that.

Gabriel [00:43:29]: Другая вещь, которая, думаю, способствовала сообществу и в некоторой степени, как мне кажется, доверию сообщества к тому, что мы выпускаем, — это тот факт, что это была не просто одна модель, и, может, мы об этом поговорим, после Boltz 1 было, может, ещё пару моделей, выпущенных или открытых вскоре после. Мы как бы продолжили этот open source-путь, по крайней мере с Boltz 2, где мы не только улучшаем предсказание структуры, но и начинаем делать предсказание аффинности — понимание силы взаимодействий между этими разными молекулами, что является критическим свойством, которое часто хочется оптимизировать в программах разработки. А затем, совсем недавно, ещё и модель дизайна белков. И вот так мы как бы строили этот набор моделей, которые сочетаются и взаимодействуют друг с другом, где есть почти ожидание, что мы очень близко к сердцу принимаем то, чтобы всегда иметь по всему набору разных задач лучшую или одну из лучших моделей, доступных где-либо, — чтобы наш open source-инструмент мог быть моделью по умолчанию для всех в индустрии. Я очень хочу поговорить о Boltz 2, но перед этим последний вопрос в этом направлении: было ли что-то в сообществе, что вас удивило? Было ли так, что кто-то делал что-то, и вы такие: зачем ты это делаешь, это безумие? Или: это на самом деле гениально, и я бы никогда об этом не подумал?

RJ [00:45:01]: I mean, we’ve had many contributions. I think like some of the. Interesting ones, like, I mean, we had, you know, this one individual who like wrote like a complex GPU kernel, you know, for part of the architecture on a piece of, the funny thing is like that piece of the architecture had been there since AlphaFold 2, and I don’t know why it took Boltz for this, you know, for this person to, you know, to decide to do it, but that was like a really great contribution. We’ve had a bunch of others, like, you know, people figuring out like ways to, you know, hack the model to do something. They click peptides, like, you know, there’s, I don’t know if there’s any other interesting ones come to mind.

RJ [00:45:01]: В смысле, у нас было много вкладов. Думаю, один из интересных — у нас был этот один человек, который написал сложное GPU-ядро для части архитектуры, и забавная вещь в том, что эта часть архитектуры существовала ещё со времён AlphaFold 2, и я не знаю, почему понадобился именно Boltz, чтобы этот человек решил это сделать, но это был по-настоящему отличный вклад. У нас был ещё ряд других — например, люди придумывали способы «хакнуть» модель, чтобы сделать что-то. Они делали клик-пептиды, и, не знаю, приходят ли на ум ещё какие-то интересные.

Gabriel [00:45:41]: One cool one, and this was, you know, something that initially was proposed as, you know, as a message in the Slack channel by Tim O’Donnell was basically, he was, you know, there are some cases, especially, for example, we discussed, you know, antibody-antigen interactions where the models don’t necessarily kind of get the right answer. What he noticed is that, you know, the models were somewhat stuck into predicting kind of the antibodies. And so he basically ran the experiments in this model, you can condition, basically, you can give hints. And so he basically gave, you know, random hints to the model, basically, okay, you should bind to this residue, you should bind to the first residue, or you should bind to the 11th residue, or you should bind to the 21st residue, you know, basically every 10 residues scanning the entire antigen.

Gabriel [00:45:41]: Один классный, и это было что-то, что изначально предложил как сообщение в Slack-канале Tim O'Donnell: бывают случаи, особенно, например, мы обсуждали взаимодействия антитело-антиген, где модели не обязательно дают правильный ответ. Он заметил, что модели как бы застревали на предсказании антител. И поэтому он, по сути, провёл эксперименты в этой модели — её можно обусловливать, то есть можно давать подсказки. И он по сути дал модели случайные подсказки: окей, ты должна связаться с этим остатком, ты должна связаться с первым остатком, или ты должна связаться с 11-м остатком, или с 21-м остатком, — по сути сканируя весь антиген каждые 10 остатков.

Brandon [00:46:33]: Residues are the...

Brandon [00:46:33]: Остатки — это…

Gabriel [00:46:34]: The amino acids. The amino acids, yeah. So the first amino acids. The 11 amino acids, and so on. So it’s sort of like doing a scan, and then, you know, conditioning the model to predict all of them, and then looking at the confidence of the model in each of those cases and taking the top. And so it’s sort of like a very somewhat crude way of doing kind of inference time search. But surprisingly, you know, for antibody-antigen prediction, it actually kind of helped quite a bit. And so there’s some, you know, interesting ideas that, you know, obviously, as kind of developing the model, you say kind of, you know, wow. This is why would the model, you know, be so dumb. But, you know, it’s very interesting. And that, you know, leads you to also kind of, you know, start thinking about, okay, how do I, can I do this, you know, not with this brute force, but, you know, in a smarter way.

Gabriel [00:46:34]: Аминокислоты. Аминокислоты, да. То есть первые аминокислоты. 11-я аминокислота, и так далее. То есть это как бы выполнение сканирования, а затем обусловливание модели, чтобы она предсказала все из них, и затем рассмотрение уверенности модели в каждом из этих случаев и выбор лучшего. То есть это как бы очень грубый способ выполнения поиска на этапе инференса. Но, что удивительно, для предсказания антитело-антиген это на самом деле довольно сильно помогло. И вот есть некоторые интересные идеи, которые, очевидно, по мере разработки модели заставляют сказать: вау, почему модель такая глупая? Но это очень интересно. И это приводит вас ещё и к тому, чтобы начать думать: окей, как я могу сделать это не таким перебором, а более умным способом.

RJ [00:47:22]: And so we’ve also done a lot of work on that direction. And that speaks to, like, the, you know, the power of scoring. We’re seeing that a lot. I’m sure we’ll talk about it more when we talk about BullsGen. But, you know, our ability to, like, take a structure and determine that that structure is, like... Good. You know, like, somewhat accurate. Whether that’s a single chain or, like, an interaction is a really powerful way of improving, you know, the models. Like, sort of like, you know, if you can sample a ton and you assume that, like, you know, if you sample enough, you’re likely to have, like, you know, the good structure. Then it really just becomes a ranking problem. And, you know, now we’re, you know, part of the inference time scaling that Gabby was talking about is very much that. It’s like, you know, the more we sample, the more we, like, you know, the ranking model. The ranking model ends up finding something it really likes. And so I think our ability to get better at ranking, I think, is also what’s going to enable sort of the next, you know, next big, big breakthroughs. Interesting.

RJ [00:47:22]: И мы тоже проделали много работы в этом направлении. И это говорит о силе скоринга. Мы видим это очень часто. Уверен, мы поговорим об этом подробнее, когда будем обсуждать BoltzGen. Но наша способность взять структуру и определить, что эта структура хороша, в некотором смысле точна, — будь то одиночная цепь или взаимодействие, — это по-настоящему мощный способ улучшать модели. Это как бы — если можно насэмплировать массу и предположить, что если сэмплировать достаточно, то вы, вероятно, получите хорошую структуру, тогда всё по-настоящему сводится к задаче ранжирования. И теперь часть того масштабирования на этапе инференса, о котором говорил Gabby, — это во многом именно это. Это как: чем больше мы сэмплируем, тем больше модель ранжирования в итоге находит что-то, что ей по-настоящему нравится. И поэтому, думаю, наша способность стать лучше в ранжировании — это тоже то, что обеспечит следующие большие прорывы. Интересно.

Brandon [00:48:17]: But I guess there’s a, my understanding, there’s a diffusion model and you generate some stuff and then you, I guess, it’s just what you said, right? Then you rank it using a score and then you finally... And so, like, can you talk about those different parts? Yeah.

Brandon [00:48:17]: Но, как я понимаю, есть диффузионная модель, и вы генерируете какие-то варианты, а затем, видимо, — это как раз то, что вы сказали, верно? — вы ранжируете их с помощью оценки и затем в итоге… И вот, можете рассказать об этих разных частях? Да.

Gabriel [00:48:34]: So, first of all, like, the... One of the critical kind of, you know, beliefs that we had, you know, also when we started working on Boltz 1 was sort of like the structure prediction models are somewhat, you know, our field version of some foundation models, you know, learning about kind of how proteins and other molecules interact. And then we can leverage that learning to do all sorts of other things. And so with Boltz 2, we leverage that learning to do affinity predictions. So understanding kind of, you know, if I give you this protein, this molecule. How tightly is that interaction? For Boltz 1, what we did was taking kind of that kind of foundation models and then fine tune it to predict kind of entire new proteins. And so the way basically that that works is sort of like instead of for the protein that you’re designing, instead of fitting in an actual sequence, you fit in a set of blank tokens. And you train the models to, you know, predict both the structure of kind of that protein. The structure also, what the different amino acids of that proteins are. And so basically the way that Boltz 1 operates is that you feed a target protein that you may want to kind of bind to or, you know, another DNA, RNA. And then you feed the high level kind of design specification of, you know, what you want your new protein to be. For example, it could be like an antibody with a particular framework. It could be a peptide. It could be many other things. And that’s with natural language or? And that’s, you know, basically, you know, prompting. And we have kind of this sort of like spec that you specify. And, you know, you feed kind of this spec to the model. And then the model translates this into, you know, a set of, you know, tokens, a set of conditioning to the model, a set of, you know, blank tokens. And then, you know, basically the codes as part of the diffusion models, the codes. It’s a new structure and a new sequence for your protein. And, you know, basically, then we take that. And as Jeremy was saying, we are trying to score it and, you know, how good of a binder it is to that original target.

Gabriel [00:48:34]: Итак, прежде всего, одно из критических убеждений, которое у нас было, ещё когда мы начинали работать над Boltz 1, было в том, что модели предсказания структуры — это, в некотором смысле, наша версия foundation models в нашей области, узнающих о том, как белки и другие молекулы взаимодействуют. И затем мы можем использовать это обучение для всевозможных других вещей. И вот с Boltz 2 мы используем это обучение для предсказаний аффинности. То есть понимание: если я даю вам этот белок, эту молекулу, насколько прочное это взаимодействие? Для Boltz 1 мы взяли эту foundation model и затем дообучили её, чтобы предсказывать целые новые белки. И, по сути, это работает так: для белка, который вы проектируете, вместо того чтобы вставить реальную последовательность, вы вставляете набор пустых токенов. И вы обучаете модель предсказывать как структуру этого белка, так и то, какими являются разные аминокислоты этого белка. И поэтому, по сути, Boltz 1 работает так: вы подаёте белок-мишень, с которым, возможно, хотите связаться, или другую ДНК, РНК. А затем вы подаёте высокоуровневую спецификацию дизайна — каким вы хотите видеть свой новый белок. Например, это может быть антитело с определённым каркасом. Это может быть пептид. Это может быть много другого. И это с помощью естественного языка или? И это, по сути, промптинг. И у нас есть вот эта спецификация, которую вы задаёте. И вы подаёте эту спецификацию модели. А затем модель переводит это в набор токенов, набор обусловливания для модели, набор пустых токенов. И затем, по сути, в рамках диффузионной модели декодирует новую структуру и новую последовательность для вашего белка. И затем мы берём это. И, как говорил Jeremy, мы пытаемся его оценить — насколько хороший это связыватель для той исходной мишени.

Brandon [00:50:51]: You’re using basically Boltz to predict the folding and the affinity to that molecule. So and then that kind of gives you a score? Exactly.

Brandon [00:50:51]: Вы используете, по сути, Boltz, чтобы предсказать сворачивание и аффинность к этой молекуле. Так что, и это как бы даёт вам оценку? Именно.

Gabriel [00:51:03]: So you use this model to predict the folding. And then you do two things. One is that you predict the structure and with something like Boltz2, and then you basically compare that structure with what the model predicted, what Boltz2 predicted. And this is sort of like in the field called consistency. It’s basically you want to make sure that, you know, the structure that you’re predicting is actually what you’re trying to design. And that gives you a much better confidence that, you know, that’s a good design. And so that’s the first filtering. And the second filtering that we did as part of kind of the Boltz2 pipeline that was released is that we look at the confidence that the model has in the structure. Now, unfortunately, kind of going to your question of, you know, predicting affinity, unfortunately, confidence is not a very good predictor of affinity. And so one of the things that we’ve actually done a ton of progress, you know, since we released Boltz2.

Gabriel [00:51:03]: Итак, вы используете эту модель, чтобы предсказать сворачивание. И затем вы делаете две вещи. Одна — вы предсказываете структуру чем-то вроде Boltz 2, а затем, по сути, сравниваете эту структуру с тем, что предсказала модель, что предсказал Boltz 2. И это, в некотором роде, в области называется consistency (согласованность). По сути, вы хотите убедиться, что структура, которую вы предсказываете, действительно является тем, что вы пытаетесь спроектировать. И это даёт вам гораздо большую уверенность, что это хороший дизайн. И вот это первая фильтрация. А вторая фильтрация, которую мы делали в рамках выпущенного пайплайна Boltz 2, — это что мы смотрим на уверенность, которую модель имеет в структуре. Так вот, к сожалению, отвечая на ваш вопрос о предсказании аффинности, к сожалению, уверенность не является очень хорошим предсказателем аффинности. И поэтому одна из вещей, в которой мы на самом деле проделали огромный прогресс с момента выпуска Boltz 2…

Brandon [00:52:03]: And kind of we have some new results that we are going to kind of announce soon is kind of, you know, the ability to get much better hit rates when instead of, you know, trying to rely on confidence of the model, we are actually directly trying to predict the affinity of that interaction. Okay. Just backing up a minute. So your diffusion model actually predicts not only the protein sequence, but also the folding of it. Exactly.

Brandon [00:52:03]: …и у нас есть некоторые новые результаты, которые мы скоро объявим, — это способность получать гораздо более высокие hit rate, когда вместо того чтобы полагаться на уверенность модели, мы напрямую пытаемся предсказать аффинность этого взаимодействия. Окей. Просто немного возвращаясь назад: то есть ваша диффузионная модель предсказывает не только последовательность белка, но и его сворачивание. Именно.

Gabriel [00:52:32]: And actually, you can... One of the big different things that we did compared to other models in the space, and, you know, there were some papers that had already kind of done this before, but we really scaled it up was, you know, basically somewhat merging kind of the structure prediction and the sequence prediction into almost the same task. And so the way that Boltz2 works is that you are basically the only thing that you’re doing is predicting the structure. So the only sort of... Supervision is we give you a supervision on the structure, but because the structure is atomic and, you know, the different amino acids have a different atomic composition, basically from the way that you place the atoms, we also understand not only kind of the structure that you wanted, but also the identity of the amino acid that, you know, the models believed was there. And so we’ve basically, instead of, you know, having these two supervision signals, you know, one discrete, one continuous. That somewhat, you know, don’t interact well together. We sort of like build kind of like an encoding of, you know, sequences in structures that allows us to basically use exactly the same supervision signal that we were using to Boltz2 that, you know, you know, largely similar to what AlphaVol3 proposed, which is very scalable. And we can use that to design new proteins. Oh, interesting.

Gabriel [00:52:32]: И на самом деле можно… Одна из больших отличающихся вещей, которые мы сделали по сравнению с другими моделями в этом пространстве, — и были некоторые статьи, которые уже это делали раньше, но мы по-настоящему масштабировали это, — это, по сути, в некотором роде слияние предсказания структуры и предсказания последовательности почти в одну и ту же задачу. И поэтому Boltz 2 работает так, что вы, по сути, единственное, что делаете, — это предсказываете структуру. То есть единственная супервизия — мы даём вам супервизию по структуре, но поскольку структура атомарна и разные аминокислоты имеют разный атомный состав, по сути из того, как вы размещаете атомы, мы также понимаем не только структуру, которую вы хотели, но и идентичность аминокислоты, которая, как модель считала, там была. И поэтому мы, по сути, вместо того чтобы иметь эти два сигнала супервизии — один дискретный, один непрерывный, — которые в некотором роде плохо взаимодействуют вместе, мы как бы построили кодирование последовательностей в структурах, которое позволяет нам, по сути, использовать ровно тот же сигнал супервизии, что мы использовали в Boltz 2 — в целом похожий на то, что предложил AlphaFold 3, что очень масштабируемо. И мы можем использовать это, чтобы проектировать новые белки. О, интересно.

RJ [00:53:58]: Maybe a quick shout out to Hannes Stark on our team who like did all this work. Yeah.

RJ [00:53:58]: Может, быстрый респект Hannes Stark из нашей команды, который проделал всю эту работу. Да.

Gabriel [00:54:04]: Yeah, that was a really cool idea. I mean, like looking at the paper and there’s this is like encoding or you just add a bunch of, I guess, kind of atoms, which can be anything, and then they get sort of rearranged and then basically plopped on top of each other so that and then that encodes what the amino acid is. And there’s sort of like a unique way of doing this. It was that was like such a really such a cool, fun idea.

Gabriel [00:54:04]: Да, это была по-настоящему классная идея. В смысле, смотришь на статью, и это вроде как кодирование, или вы просто добавляете кучу, я думаю, как бы атомов, которые могут быть чем угодно, а затем они как бы переупорядочиваются и затем, по сути, накладываются друг на друга так, что это кодирует, какая это аминокислота. И есть как бы уникальный способ это сделать. Это была такая по-настоящему классная, увлекательная идея.

RJ [00:54:29]: I think that idea was had existed before. Yeah, there were a couple of papers.

RJ [00:54:29]: Думаю, эта идея существовала и раньше. Да, было пару статей.

Gabriel [00:54:33]: Yeah, I had proposed this and and Hannes really took it to the large scale.

Gabriel [00:54:33]: Да, я предложил это, и Hannes по-настоящему довёл это до большого масштаба.

Brandon [00:54:39]: In the paper, a lot of the paper for Boltz2Gen is dedicated to actually the validation of the model. In my opinion, all the people we basically talk about feel that this sort of like in the wet lab or whatever the appropriate, you know, sort of like in real world validation is the whole problem or not the whole problem, but a big giant part of the problem. So can you talk a little bit about the highlights? From there, that really because to me, the results are impressive, both from the perspective of the, you know, the model and also just the effort that went into the validation by a large team.

Brandon [00:54:39]: В статье большая часть статьи для BoltzGen посвящена собственно валидации модели. На мой взгляд, все люди, с которыми мы по сути говорим, считают, что вот эта валидация в мокрой лаборатории или как там уместно назвать — валидация в реальном мире — это вся проблема или не вся проблема, но огромная часть проблемы. Так что можете немного рассказать о самых ярких моментах оттуда? Потому что для меня результаты впечатляющие — как с точки зрения модели, так и просто с точки зрения усилий, которые ушли в валидацию большой командой.

Gabriel [00:55:18]: First of all, I think I should start saying is that both when we were at MIT and Thomas Yacolas and Regina Barzillai’s lab, as well as at Boltz, you know, we are not a we’re not a biolab and, you know, we are not a therapeutic company. And so to some extent, you know, we were first forced to, you know, look outside of, you know, our group, our team to do the experimental validation. One of the things that really, Hannes, in the team pioneer was the idea, OK, can we go not only to, you know, maybe a specific group and, you know, trying to find a specific system and, you know, maybe overfit a bit to that system and trying to validate. But how can we test this model? So. Across a very wide variety of different settings so that, you know, anyone in the field and, you know, printing design is, you know, such a kind of wide task with all sorts of different applications from therapeutic to, you know, biosensors and many others that, you know, so can we get a validation that is kind of goes across many different tasks? And so he basically put together, you know, I think it was something like, you know, 25 different. You know, academic and industry labs that committed to, you know, testing some of the designs from the model and some of this testing is still ongoing and, you know, giving results kind of back to us in exchange for, you know, hopefully getting some, you know, new great sequences for their task. And he was able to, you know, coordinate this, you know, very wide set of, you know, scientists and already in the paper, I think we. Shared results from, I think, eight to 10 different labs kind of showing results from, you know, designing peptides, designing to target, you know, ordered proteins, peptides targeting disordered proteins, which are results, you know, of designing proteins that bind to small molecules, which are results of, you know, designing nanobodies and across a wide variety of different targets. And so that’s sort of like. That gave to the paper a lot of, you know, validation to the model, a lot of validation that was kind of wide.

Gabriel [00:55:18]: Прежде всего, думаю, стоит начать с того, что и когда мы были в MIT в лаборатории Tommi Jaakkola и Regina Barzilay, и в Boltz, мы не биолаборатория и не терапевтическая компания. И поэтому в некоторой степени мы изначально были вынуждены искать за пределами нашей группы, нашей команды, чтобы провести экспериментальную валидацию. Одна из вещей, которую по-настоящему пионерски ввёл Hannes в команде, была идея: окей, можем ли мы пойти не только, скажем, к конкретной группе, найти конкретную систему и, может, немного переобучиться под эту систему, пытаясь валидировать, — но как нам протестировать эту модель в очень широком разнообразии разных условий, чтобы любой в области (а дизайн белков — это такая широкая задача со всевозможными разными приложениями, от терапевтики до биосенсоров и многого другого), — можем ли мы получить валидацию, которая охватывает много разных задач? И поэтому он, по сути, собрал, думаю, что-то порядка 25 разных академических и индустриальных лабораторий, которые обязались тестировать некоторые из дизайнов модели, и часть этого тестирования всё ещё продолжается и даёт нам результаты в обмен на, надеемся, получение новых отличных последовательностей для их задачи. И он сумел скоординировать этот очень широкий набор учёных, и уже в статье, думаю, мы поделились результатами, я думаю, от восьми до десяти разных лабораторий, показывающими результаты по дизайну пептидов, дизайну для нацеливания на упорядоченные белки, пептидов, нацеленных на неупорядоченные белки, — результаты по дизайну белков, которые связываются с малыми молекулами, результаты по дизайну нанотел, и по широкому разнообразию разных мишеней. И вот это дало статье много валидации модели, много валидации, которая была широкой.

Brandon [00:57:39]: And so those would be therapeutics for those animals or are they relevant to humans as well? They’re relevant to humans as well.

Brandon [00:57:39]: И то есть это были бы терапевтики для тех животных или они релевантны и для людей? Они релевантны и для людей.

Gabriel [00:57:45]: Obviously, you need to do some work into, quote unquote, humanizing them, making sure that, you know, they have the right characteristics to so they’re not toxic to humans and so on.

Gabriel [00:57:45]: Очевидно, нужно проделать некоторую работу по, условно говоря, их «гуманизации» — убедиться, что у них правильные характеристики, чтобы они не были токсичны для людей и так далее.

RJ [00:57:57]: There are some approved medicine in the market that are nanobodies. There’s a general. General pattern, I think, in like in trying to design things that are smaller, you know, like it’s easier to manufacture at the same time, like that comes with like potentially other challenges, like maybe a little bit less selectivity than like if you have something that has like more hands, you know, but the yeah, there’s this big desire to, you know, try to design many proteins, nanobodies, small peptides, you know, that just are just great drug modalities.

RJ [00:57:57]: На рынке есть некоторые одобренные лекарства, которые являются нанотелами. Есть общая закономерность, думаю, в попытке проектировать вещи поменьше — их легче производить, но при этом это сопряжено с потенциально другими сложностями, например, может, чуть меньшей селективностью, чем если у вас есть что-то с большим числом «зацепок», — но да, есть это большое желание попытаться спроектировать много белков, нанотел, малых пептидов, которые просто являются отличными лекарственными модальностями.

Brandon [00:58:27]: Okay. I think we were left off. We were talking about validation. Validation in the lab. And I was very excited about seeing like all the diverse validations that you’ve done. Can you go into some more detail about them? Yeah. Specific ones. Yeah.

Brandon [00:58:27]: Окей. Думаю, мы остановились на том, что говорили о валидации. Валидации в лаборатории. И я был очень воодушевлён, увидев все те разнообразные валидации, что вы провели. Можете рассказать подробнее о некоторых из них? Да. Конкретных. Да.

RJ [00:58:43]: The nanobody one. I think we did. What was it? 15 targets. Is that correct? 14. 14 targets. Testing. So we typically the way this works is like we make a lot of designs. All right. On the order of like tens of thousands. And then we like rank them and we pick like the top. And in this case, and was 15 right for each target and then we like measure sort of like the success rates, both like how many targets we were able to get a binder for and then also like more generally, like out of all of the binders that we designed, how many actually proved to be good binders. Some of the other ones I think involved like, yeah, like we had a cool one where there was a small molecule or design a protein that binds to it. That has a lot of like interesting applications, you know, for example. Like Gabri mentioned, like biosensing and things like that, which is pretty cool. We had a disordered protein, I think you mentioned also. And yeah, I think some of those were some of the highlights. Yeah.

RJ [00:58:43]: Та, что с нанотелами. Думаю, мы сделали — сколько это было? 15 мишеней. Верно? 14. 14 мишеней. Тестирование. Так что обычно это работает так: мы делаем много дизайнов. Так, порядка десятков тысяч. А затем мы их ранжируем и выбираем лучшие. И в этом случае было по 15, верно, для каждой мишени, а затем мы как бы измеряем показатели успеха — как сколько мишеней, для которых нам удалось получить связыватель, так и в целом, из всех связывателей, которые мы спроектировали, сколько действительно оказались хорошими связывателями. Некоторые из других, думаю, включали — да, у нас был классный случай, где была малая молекула, и нужно спроектировать белок, который с ней связывается. У этого много интересных приложений, например, как упоминал Gabri, биосенсинг и тому подобное, что довольно круто. У нас был неупорядоченный белок, думаю, вы тоже упоминали. И да, думаю, некоторые из этих были одними из самых ярких моментов. Да.

Gabriel [00:59:44]: So I would say that the way that we structure kind of some of those validations was on the one end, we have validations across a whole set of different problems that, you know, the biologists that we were working with came to us with. So we were trying to. For example, in some of the experiments, design peptides that would target the RACC, which is a target that is involved in metabolism. And we had, you know, a number of other applications where we were trying to design, you know, peptides or other modalities against some other therapeutic relevant targets. We designed some proteins to bind small molecules. And then some of the other testing that we did was really trying to get like a more broader sense. So how does the model work, especially when tested, you know, on somewhat generalization? So one of the things that, you know, we found with the field was that a lot of the validation, especially outside of the validation that was on specific problems, was done on targets that have a lot of, you know, known interactions in the training data. And so it’s always a bit hard to understand, you know, how much are these models really just regurgitating kind of what they’ve seen or trying to imitate. What they’ve seen in the training data versus, you know, really be able to design new proteins. And so one of the experiments that we did was to take nine targets from the PDB, filtering to things where there is no known interaction in the PDB. So basically the model has never seen kind of this particular protein bound or a similar protein bound to another protein. So there is no way that. The model from its training set can sort of like say, okay, I’m just going to kind of tweak something and just imitate this particular kind of interaction. And so we took those nine proteins. We worked with adaptive CRO and basically tested, you know, 15 mini proteins and 15 nanobodies against each one of them. And the very cool thing that we saw was that on two thirds of those targets, we were able to, from this 15 design, get nanomolar binders, nanomolar, roughly speaking, just a measure of, you know, how strongly kind of the interaction is, roughly speaking, kind of like a nanomolar binder is approximately the kind of binding strength or binding that you need for a therapeutic. Yeah. So maybe switching directions a bit. Bolt’s lab was just announced this week or was it last week? Yeah. This is like your. First, I guess, product, if that’s if you want to call it that. Can you talk about what Bolt’s lab is and yeah, you know, what you hope that people take away from this? Yeah.

Gabriel [00:59:44]: Я бы сказал, что способ, которым мы структурировали некоторые из этих валидаций, был, с одной стороны, у нас есть валидации по целому набору разных задач, с которыми к нам приходили биологи, с которыми мы работали. Так, например, в некоторых экспериментах мы пытались спроектировать пептиды, которые нацеливались бы на RAC, мишень, участвующую в метаболизме. И у нас был ряд других приложений, где мы пытались спроектировать пептиды или другие модальности против некоторых других терапевтически релевантных мишеней. Мы спроектировали некоторые белки для связывания с малыми молекулами. А затем часть другого тестирования, что мы провели, по-настоящему пыталась получить более широкое представление: как модель работает, особенно когда тестируется на некотором обобщении? Так, одна из вещей, которую мы обнаружили в области, в том, что многая валидация, особенно помимо валидации на конкретных задачах, проводилась на мишенях, у которых много известных взаимодействий в обучающих данных. И поэтому всегда немного трудно понять, насколько эти модели по-настоящему просто пересказывают то, что видели, или пытаются имитировать то, что видели в обучающих данных, против реальной способности проектировать новые белки. И поэтому один из экспериментов, что мы провели, состоял в том, чтобы взять девять мишеней из PDB, отфильтровав до тех, где нет известного взаимодействия в PDB. То есть по сути модель никогда не видела этот конкретный белок связанным или похожий белок связанным с другим белком. То есть нет способа, которым модель из своего обучающего набора могла бы как бы сказать: окей, я просто немного подправлю что-то и имитирую это конкретное взаимодействие. И поэтому мы взяли эти девять белков. Мы работали с CRO Adaptive и, по сути, протестировали 15 мини-белков и 15 нанотел против каждого из них. И очень классная вещь, которую мы увидели, в том, что для двух третей этих мишеней мы смогли из этих 15 дизайнов получить наномолярные связыватели. Наномолярный — грубо говоря, просто мера того, насколько сильно взаимодействие; грубо говоря, наномолярный связыватель — это примерно та сила связывания, которая нужна для терапевтического средства. Да. Так что, может, немного меняя направление. Boltz Lab только что был анонсирован на этой неделе или это было на прошлой неделе? Да. Это вроде как ваш первый, я думаю, продукт, если это так можно назвать. Можете рассказать, что такое Boltz Lab и что вы надеетесь, что люди из этого вынесут? Да.

RJ [01:02:44]: You know, as we mentioned, like I think at the very beginning is the goal with the product has been to, you know, address what the models don’t on their own. And there’s largely sort of two categories there. I’ll split it in three. The first one. It’s one thing to predict, you know, a single interaction, for example, like a single structure. It’s another to like, you know, very effectively search a space, a design space to produce something of value. What we found, like sort of building on this product is that there’s a lot of steps involved, you know, in that there’s certainly need to like, you know, accompany the user through, you know, one of those steps, for example, is like, you know, the creation of the target itself. You know, how do we make sure that the model has like a good enough understanding of the target? So we can like design something and there’s all sorts of tricks, you know, that you can do to improve like a particular, you know, structure prediction. And so that’s sort of like, you know, the first stage. And then there’s like this stage of like, you know, designing and searching the space efficiently. You know, for something like BullsGen, for example, like you, you know, you design many things and then you rank them, for example, for small molecule process, a little bit more complicated. We actually need to also make sure that the molecules are synthesizable. And so the way we do that is that, you know, we have a generative model that learns. To use like appropriate building blocks such that, you know, it can design within a space that we know is like synthesizable. And so there’s like, you know, this whole pipeline really of different models involved in being able to design a molecule. And so that’s been sort of like the first thing we call them agents. We have a protein agent and we have a small molecule design agents. And that’s really like at the core of like what powers, you know, the BullsLab platform.

RJ [01:02:44]: Знаете, как мы упоминали, думаю, в самом начале, цель с продуктом была в том, чтобы решить то, чего модели сами по себе не делают. И там в целом две категории. Я разделю это на три. Первая. Одно дело — предсказать одно взаимодействие, например, одну структуру. Другое — очень эффективно искать в пространстве, пространстве дизайна, чтобы произвести что-то ценное. Что мы обнаружили, строя этот продукт, — что там задействовано много шагов, и определённо есть необходимость сопроводить пользователя через каждый из этих шагов. Например, один из них — это создание самой мишени. Как нам убедиться, что у модели достаточно хорошее понимание мишени, чтобы мы могли что-то спроектировать? И есть всевозможные трюки, которые можно сделать, чтобы улучшить конкретное предсказание структуры. И вот это как бы первая стадия. А затем есть эта стадия дизайна и эффективного поиска в пространстве. Для чего-то вроде BoltzGen, например, вы проектируете много вариантов, а затем ранжируете их. Для малых молекул процесс немного сложнее. Нам ещё нужно убедиться, что молекулы синтезируемы. И способ, которым мы это делаем, в том, что у нас есть генеративная модель, которая учится использовать подходящие строительные блоки так, чтобы она могла проектировать в пространстве, про которое мы знаем, что оно синтезируемо. И вот это целый пайплайн, по-настоящему, из разных моделей, задействованных в том, чтобы суметь спроектировать молекулу. И вот это как бы первое, что мы называем агентами. У нас есть белковый агент и есть агент дизайна малых молекул. И это по-настоящему в основе того, что приводит в действие платформу Boltz Lab.

Brandon [01:04:22]: So these agents, are they like a language model wrapper or they’re just like your models and you’re just calling them agents? A lot. Yeah. Because they, they, they sort of perform a function on behalf of.

Brandon [01:04:22]: Так эти агенты — это как обёртка над языковой моделью, или это просто ваши модели, и вы просто называете их агентами? Многое. Да. Потому что они как бы выполняют функцию от имени…

RJ [01:04:33]: They’re more of like a, you know, a recipe, if you wish. And I think we use that term sort of because of, you know, sort of the complex pipelining and automation, you know, that goes into like all this plumbing. So that’s the first part of the product. The second part is the infrastructure. You know, we need to be able to do this at very large scale for any one, you know, group that’s doing a design campaign. Let’s say you’re designing, you know, I’d say a hundred thousand possible candidates. Right. To find the good one that is, you know, a very large amount of compute, you know, for small molecules, it’s on the order of like a few seconds per designs for proteins can be a bit longer. And so, you know, ideally you want to do that in parallel, otherwise it’s going to take you weeks. And so, you know, we’ve put a lot of effort into like, you know, our ability to have a GPU fleet that allows any one user, you know, to be able to do this kind of like large parallel search.

RJ [01:04:33]: Они скорее как, знаете, рецепт, если угодно. И, думаю, мы используем этот термин отчасти из-за сложного пайплайнинга и автоматизации, которые входят во всю эту обвязку. Так что это первая часть продукта. Вторая часть — это инфраструктура. Нам нужно уметь делать это в очень большом масштабе для любой одной группы, которая ведёт кампанию по дизайну. Скажем, вы проектируете, я бы сказал, сто тысяч возможных кандидатов, верно? Чтобы найти хорошего — это очень большой объём вычислений. Для малых молекул это порядка нескольких секунд на дизайн, для белков может быть чуть дольше. И поэтому в идеале вы хотите делать это параллельно, иначе это займёт у вас недели. И поэтому мы вложили много усилий в нашу способность иметь GPU-флот, который позволяет любому одному пользователю выполнять этот вид большого параллельного поиска.

Brandon [01:05:23]: So you’re amortizing the cost over your users. Exactly. Exactly.

Brandon [01:05:23]: То есть вы амортизируете стоимость по своим пользователям. Именно. Именно.

RJ [01:05:27]: And, you know, to some degree, like it’s whether you. Use 10,000 GPUs for like, you know, a minute is the same cost as using, you know, one GPUs for God knows how long. Right. So you might as well try to parallelize if you can. So, you know, a lot of work has gone, has gone into that, making it very robust, you know, so that we can have like a lot of people on the platform doing that at the same time. And the third one is, is the interface and the interface comes in, in two shapes. One is in form of an API and that’s, you know, really suited for companies that want to integrate, you know, these pipelines, these agents.

RJ [01:05:27]: И, в некоторой степени, неважно — используете ли вы 10 000 GPU в течение минуты, это та же стоимость, что использование одного GPU бог знает сколько времени. Верно. Так что с тем же успехом можно попытаться распараллелить, если это возможно. Так что много работы ушло в это, в то чтобы сделать это очень устойчивым, чтобы у нас могло быть много людей на платформе, делающих это одновременно. А третье — это интерфейс, и интерфейс приходит в двух формах. Одна — в форме API, и это по-настоящему подходит для компаний, которые хотят интегрировать эти пайплайны, этих агентов.

RJ [01:06:01]: So we’re already partnering with, you know, a few distributors, you know, that are gonna integrate our API. And then the second part is the user interface. And, you know, we, we’ve put a lot of thoughts also into that. And this is when I, I mentioned earlier, you know, this idea of like broadening the audience. That’s kind of what the, the user interface is about. And we’ve built a lot of interesting features in it, you know, for example, for collaboration, you know, when you have like potentially multiple medicinal chemists or. We’re going through the results and trying to pick out, okay, like what are the molecules that we’re going to go and test in the lab? It’s powerful for them to be able to, you know, for example, each provide their own ranking and then do consensus building. And so there’s a lot of features around launching these large jobs, but also around like collaborating on analyzing the results that we try to solve, you know, with that part of the platform. So Bolt’s lab is sort of a combination of these three objectives into like one, you know, sort of cohesive platform. Who is this accessible to? Everyone. You do need to request access today. We’re still like, you know, sort of ramping up the usage, but anyone can request access. If you are an academic in particular, we, you know, we provide a fair amount of free credit so you can play with the platform. If you are a startup or biotech, you may also, you know, reach out and we’ll typically like actually hop on a call just to like understand what you’re trying to do and also provide a lot of free credit to get started. And of course, also with larger companies, we can deploy this platform in a more like secure environment. And so that’s like more like customizing. You know, deals that we make, you know, with the partners, you know, and that’s sort of the ethos of Bolt. I think this idea of like servicing everyone and not necessarily like going after just, you know, the really large enterprises. And that starts from the open source, but it’s also, you know, a key design principle of the product itself.

RJ [01:06:01]: Так что мы уже партнёримся с несколькими дистрибьюторами, которые собираются интегрировать наш API. А вторая часть — это пользовательский интерфейс. И мы вложили много мыслей и в него. И это к тому, о чём я упоминал ранее, — этой идее расширения аудитории. Вот о чём пользовательский интерфейс. И мы встроили в него много интересных функций, например, для совместной работы, когда у вас есть, возможно, несколько медицинских химиков, которые проходят через результаты и пытаются выбрать: окей, какие молекулы мы пойдём и протестируем в лаборатории? Для них мощно иметь возможность, например, каждому предоставить своё ранжирование, а затем выработать консенсус. И поэтому есть много функций вокруг запуска этих больших задач, но также и вокруг совместного анализа результатов, которые мы пытаемся решить этой частью платформы. Так что Boltz Lab — это как бы комбинация этих трёх целей в одну цельную платформу. Кому это доступно? Всем. Сегодня нужно запросить доступ. Мы всё ещё как бы наращиваем использование, но любой может запросить доступ. Если вы академик, в частности, мы предоставляем приличное количество бесплатных кредитов, чтобы вы могли поиграть с платформой. Если вы стартап или биотех, вы тоже можете обратиться, и мы обычно прямо созваниваемся, чтобы понять, что вы пытаетесь сделать, и тоже предоставляем много бесплатных кредитов для начала. И, конечно, с более крупными компаниями мы можем развернуть эту платформу в более защищённой среде. И поэтому это более кастомизируемые сделки, которые мы заключаем с партнёрами, и это как бы этос Boltz. Думаю, эта идея обслуживать всех и не обязательно гнаться только за по-настоящему крупными предприятиями. И это начинается с open source, но это также ключевой принцип дизайна самого продукта.

Gabriel [01:07:48]: One thing I was thinking about with regards to infrastructure, like in the LLM space, you know, the cost of a token has gone down by I think a factor of a thousand or so over the last three years, right? Yeah. And is it possible that like essentially you can exploit economies of scale and infrastructure that you can make it cheaper to run these things yourself than for any person to roll their own system? A hundred percent. Yeah.

Gabriel [01:07:48]: Одна вещь, о которой я думал в отношении инфраструктуры, — как в пространстве LLM стоимость токена снизилась, думаю, в тысячу раз или около того за последние три года, верно? Да. И возможно ли, что вы по сути можете использовать эффект масштаба в инфраструктуре так, что вам станет дешевле запускать всё это самим, чем любому человеку выкатить свою собственную систему? На сто процентов. Да.

RJ [01:08:08]: I mean, we’re already there, you know, like running Bolts on our platform, especially on a large screen is like considerably cheaper than it would probably take anyone to put the open source model out there and run it. And on top of the infrastructure, like one of the things that we’ve been working on is accelerating the models. So, you know. Our small molecule screening pipeline is 10x faster on Bolts Lab than it is in the open source, you know, and that’s also part of like, you know, building a product, you know, of something that scales really well. And we really wanted to get to a point where like, you know, we could keep prices very low in a way that it would be a no-brainer, you know, to use Bolts through our platform.

RJ [01:08:08]: В смысле, мы уже там. Запуск Boltz на нашей платформе, особенно на большом скрининге, значительно дешевле, чем, вероятно, заняло бы у кого угодно выложить открытую модель и запустить её. И поверх инфраструктуры, одна из вещей, над которой мы работали, — это ускорение моделей. Так что наш пайплайн скрининга малых молекул в 10 раз быстрее в Boltz Lab, чем в open source, и это тоже часть построения продукта — того, что хорошо масштабируется. И мы по-настоящему хотели дойти до точки, где могли бы держать цены очень низкими так, чтобы использовать Boltz через нашу платформу было бы решением без раздумий.

Gabriel [01:08:52]: How do you think about validation of your like agentic systems? Because, you know, as you were saying earlier. Like we’re AlphaFold style models are really good at, let’s say, monomeric, you know, proteins where you have, you know, co-evolution data. But now suddenly the whole point of this is to design something which doesn’t have, you know, co-evolution data, something which is really novel. So now you’re basically leaving the domain that you thought was, you know, that you know you are good at. So like, how do you validate that?

Gabriel [01:08:52]: Как вы думаете о валидации ваших агентных систем? Потому что, как вы говорили ранее, модели в стиле AlphaFold по-настоящему хороши, скажем, на мономерных белках, где у вас есть данные коэволюции. Но теперь вдруг весь смысл этого в том, чтобы спроектировать что-то, у чего нет данных коэволюции, что-то по-настоящему новое. То есть теперь вы по сути покидаете область, в которой, как вы думали, вы хороши. Так как вы это валидируете?

RJ [01:09:22]: Yeah, I like every complete, but there’s obviously, you know, a ton of computational metrics. That we rely on, but those are only take you so far. You really got to go to the lab, you know, and test, you know, okay, with this method A and this method B, how much better are we? You know, how much better is my, my hit rate? How stronger are my binders? Also, it’s not just about hit rate. It’s also about how good the binders are. And there’s really like no way, nowhere around that. I think we’re, you know, we’ve really ramped up the amount of experimental validation that we do so that we like really track progress, you know, as scientifically sound, you know. Yeah. As, as possible out of this, I think.

RJ [01:09:22]: Да, мне нравится — всё непросто, но есть, очевидно, масса вычислительных метрик, на которые мы полагаемся, но они заводят вас лишь до определённого предела. Вам по-настоящему нужно идти в лабораторию и тестировать: окей, с этим методом A и этим методом B, насколько мы лучше? Насколько лучше мой hit rate? Насколько сильнее мои связыватели? Также дело не только в hit rate. Дело ещё и в том, насколько хороши связыватели. И тут по-настоящему нет способа это обойти. Думаю, мы по-настоящему нарастили объём экспериментальной валидации, которую делаем, чтобы по-настоящему отслеживать прогресс научно обоснованно, насколько это возможно, как мне кажется.

Gabriel [01:10:00]: Yeah, no, I think, you know, one thing that is unique about us and maybe companies like us is that because we’re not working on like maybe a couple of therapeutic pipelines where, you know, our validation would be focused on those. We, when we do an experimental validation, we try to test it across tens of targets. And so that on the one end, we can get a much more statistically significant result and, and really allows us to make progress. From the methodological side without being, you know, steered by, you know, overfitting on any one particular system. And of course we choose, you know, we always try to choose targets and problems are sort of like at the frontier of what’s possible today. So, you know, you don’t want something too easy. You don’t want something too hard. Otherwise you’re not going to see progress. And so, you know, this is a somewhat evolving set of targets. We talked earlier about the targets that we looked at with, with Boltchan. And now we are even trying kind of, you know, even harder targets, both for small molecule and proteins. And so we try to keep ourselves on the, on the boundary of what’s possible. So do you have like infrastructure or is this is like, you just have a lot of different partnerships with academic labs and you’re just kind of keep pushing on these and driving these. We do partially this through academic labs more and more. We do this through CROs just because of, you know, to some extent is also, we need kind of replicability often kind of, you know, going after the same time. So we try to, we try to keep our, our targets, you know, multiple times and, you know, to see the, the progress from, you know, one month to the next. And speed. And speed. And speed. Speed of execution. Yeah. And, So what happens if you start getting a bunch of like really strong biters against therapeutic targets? What do you do?

Gabriel [01:10:00]: Да, нет, думаю, одна вещь, которая уникальна для нас и, может, компаний вроде нас, в том, что поскольку мы работаем не над, может, парой терапевтических пайплайнов, где наша валидация была бы сфокусирована на них, — мы, когда проводим экспериментальную валидацию, стараемся тестировать её на десятках мишеней. И так, с одной стороны, мы можем получить гораздо более статистически значимый результат и по-настоящему позволяет нам делать прогресс с методологической стороны, не будучи направляемыми переобучением на какую-то одну конкретную систему. И, конечно, мы выбираем — мы всегда стараемся выбирать мишени и задачи, которые как бы на переднем крае того, что возможно сегодня. Так, вы не хотите чего-то слишком лёгкого. Вы не хотите чего-то слишком сложного. Иначе вы не увидите прогресса. И поэтому это в некотором роде эволюционирующий набор мишеней. Мы говорили ранее о мишенях, которые рассматривали с BoltzGen. А теперь мы пробуем даже ещё более сложные мишени, как для малых молекул, так и для белков. И поэтому мы стараемся держать себя на границе того, что возможно. Так у вас есть инфраструктура, или это просто много разных партнёрств с академическими лабораториями, и вы просто как бы продолжаете давить на них и продвигать их? Мы делаем это отчасти через академические лаборатории, всё больше и больше мы делаем это через CRO просто потому что, в некоторой степени, нам нужна воспроизводимость, часто проходя по тем же мишеням. Так что мы стараемся проходить наши мишени несколько раз, чтобы видеть прогресс от месяца к месяцу. И скорость. И скорость. И скорость. Скорость исполнения. Да. И так что происходит, если вы начинаете получать кучу по-настоящему сильных связывателей против терапевтических мишеней? Что вы делаете?

RJ [01:11:43]: Release them. Yeah.

RJ [01:11:43]: Выпускаем их. Да.

Gabriel [01:11:45]: But you can release them in open source? Like,

Gabriel [01:11:45]: Но вы можете выпустить их в open source? Типа,

RJ [01:11:47]: Yeah, I mean, you know, I mean, when we say we have no interest in making dress, we’re serious. Like, you know, uh, I mean, when it, when it was with the academic labs, basically the, you know, I was, they keep it, they do a lot of it.

RJ [01:11:47]: Да, в смысле, знаете, когда мы говорим, что у нас нет интереса в создании лекарств, мы серьёзно. В смысле, когда это было с академическими лабораториями, по сути они их оставляют себе, они делают много этого.

Gabriel [01:12:02]: I will also say, and I think this has been a bit of the issue that I have with some of the things that have been said in the field, is when we say that we design new proteins or we say that we design new molecules, go and bind these particular targets. We should be very clear, these are not drugs. These are not things that are ready to be put into a human. And there is still a lot of development that goes with it. And so this is kind of to us, we see ourselves as building tools for scientists. At the end of the day, it really relies on the scientist having a great therapeutic hypothesis and then pushing through kind of all the stages of development. And, you know, we try to build tools that can accompany them in that journey. It’s not like a magic box where, you know, you can just turn it and get FDA approved drugs.

Gabriel [01:12:02]: Я также скажу, и думаю, это была отчасти проблема, которая у меня есть с некоторыми вещами, что говорились в области, — когда мы говорим, что проектируем новые белки или говорим, что проектируем новые молекулы, которые идут и связываются с этими конкретными мишенями, мы должны быть очень ясны: это не лекарства. Это не вещи, готовые к тому, чтобы их вводить человеку. И с ними по-прежнему идёт много разработки. И поэтому это, в некотором роде, для нас — мы видим себя как создающих инструменты для учёных. В конце концов, всё по-настоящему опирается на то, что у учёного есть отличная терапевтическая гипотеза, и затем он проводит её через все стадии разработки. И мы стараемся строить инструменты, которые могут сопровождать их в этом пути. Это не волшебная коробка, где можно просто повернуть ручку и получить одобренные FDA лекарства.

Brandon [01:13:06]: But actually, that brings up an interesting question that I’ve been wondering about is, do you guys see yourself staying in this, for lack of a better way of saying it, layer? Or do you think that you’ll start to... Yeah. Either on the physical sense, looking at different layers of the virtual cell, so to speak, or also, you know, so there’s like the development process that goes, you know, sort of like design preclinical, clinical approval and thinking about improving the performance throughout that process based on the designs. Is that a direction that you guys are pushing? Yeah.

Brandon [01:13:06]: Но на самом деле это поднимает интересный вопрос, о котором я задумывался: видите ли вы себя остающимися на этом, за неимением лучшего способа сказать, слое? Или вы думаете, что начнёте… Да. Либо в физическом смысле, смотря на разные слои виртуальной клетки, так сказать, или ещё, знаете, — есть процесс разработки, который идёт, как бы, дизайн, доклиника, клиника, одобрение, и размышления об улучшении производительности на протяжении всего этого процесса на основе дизайнов. Это направление, в котором вы, ребята, давите? Да.

Gabriel [01:13:45]: So one of the things, as Jeremy said, you know, we are... We are not a therapeutic company. We want to kind of stay not to be a therapeutic company, always be at the service of, you know, all the different, you know, companies, including therapeutic companies that we serve. And, you know, that to some extent does mean, you know, that we need to try to, you know, go deeper and deeper in getting these models better and better. One of the things that we are doing across, you know, many other in the field is, you know, now that we are really... They’re starting to be good, both for small molecule and... For proteins to design kind of binders, design relatively tight binders, is starting to look at all these other properties, you know, they’re called developpabilities or at me that, you know, we care about when developing a drug and try, can we design them from, from Gageco. The thing about those properties in some of them, you know, you need to, you know, start having an understanding of the cell. And so that’s on the one hand, kind of why we need that understanding. But also, you know, the way... The way that we also think about all different and complex diseases is that these models, then these tools that we’re building have a good understanding of kind of, you know, biomolecular interactions and kind of their interactions. Now, at the same time, every disease is often kind of unique and every therapeutic hypothesis is unique. And so you maybe want to have something that needs to hit the particular, you know, let’s say target in a virus in a particular way, but you don’t maybe know exactly. So you can start to have a more open-minded understanding of what’s, what’s a way you want to do. And so maybe in the first set of designs, you’re going to try to target different epitopes in different ways, and then you’re going to test them in the lab, maybe directly in vivo, and you’re going to see which ones work and which ones don’t. And so then you need to bring those results back into the models. And then the models can start to have a more wider understanding, you know, not just of the biophysical of the antibodies interacting with that target, but also how that is shaped within the cell. And so first of all, you know, that means on the one end that we need, you know, kind of these loops, and this is also partially how we, we designed the platform to be. But that also means that we also need to start understanding more and more kind of higher level things. And, you know, I wouldn’t say that we’re working in any way on like a virtual cell like others are, but we’re definitely thinking kind of very deeply about kind of, you know, how does, you know, kind of the way that we target certain proteins. Interfere, interact with, you know, maybe pathways that are existing in the cell. One question that has come up is you talk a lot about user interface and so on. And I think this is really important, but like my experience with dealing with medicinal chemists, when you get the machine learning models, is they are the most superstitious, skeptical, like pseudo-religious people I’ve ever talked to when it comes to doing science. Sorry for the medicinal chemists listening. Yeah, they’re amazing. Like, they’re absolutely, I’ve worked with some spectacular medicinal chemists who just pull magic out of their hat again and again, and I have no idea how they do it. But when you bring them a machine learning model, it is sometimes quite tricky to get them to deal with it. How has your interaction been with this? And how have you thought about, like, building Bolt’s lab to work with the skeptics? One of the great value unlocks for us and for our product has been when we brought to the team a medicinal chemist. His name is Jeffrey. So I think kind of like on the one hand, you know, day one, you know, he obviously had a lot of opinions on kind of a lot of the ways that we should change, you know, both kind of the way that the agents worked, the way that the platform worked. But it’s been really amazing kind of, you know, once also we started kind of shaping kind of the platform in a better way with this feedback, how we went from, you know, to some extent, you know, a fair skepticism to him, you know, actually using, you know, a lot of the things that we did. Yeah. So he’s doing a lot more compute than any of our computational folks in the team, you know, at times that, you know, he’s, you know, running, you know, he has all these sort of hypotheses. Okay, maybe I can hit this protein this particular way. I can hit in that way. Actually, let me look at for this particular molecular space. Let me try to optimize for this particular interactions. So he ends up, you know, running several screens in parallel, you know, using hundreds of GPUs, you know, on his own. And, you know, so this has been, you know, pretty incredible to see kind of how, you know, maybe the way that I was more thinking about a problem, which is, okay, you’re just trying to design a binder, a small molecule to a particular protein. The way that he thinks about it is, you know, much more deeply and, you know, trying all these different things, these different hypotheses. And then, you know, once he gets the results from the model, he doesn’t just, you know, take the top 15, but he really kind of looks over and, you know, kind of tries to understand, you know, the different things. And then when we select, you know, maybe some designs to bring forth, you know, he has, you know, something where, you know, both the models understand that something’s good, but himself as well. And that’s why we also built kind of the platform to be an interface for, you know, this kind of chemist and, you know, also like engineers. Yeah. Collaborative experience.

Gabriel [01:13:45]: Итак, одна из вещей, как сказал Jeremy, — мы не терапевтическая компания. Мы хотим как бы оставаться не терапевтической компанией, всегда быть на службе всех разных компаний, включая терапевтические компании, которые мы обслуживаем. И это в некоторой степени означает, что нам нужно стараться идти всё глубже и глубже в том, чтобы делать эти модели всё лучше и лучше. Одна из вещей, которую мы делаем, как и многие другие в области, — теперь, когда они по-настоящему начинают быть хороши, как для малых молекул, так и для белков, в проектировании связывателей, проектировании относительно прочных связывателей, — это начать смотреть на все эти другие свойства, они называются developability или другими словами, которые нас волнуют при разработке лекарства, и пытаться — можем ли мы спроектировать их с нуля? Особенность этих свойств в том, что для некоторых из них вам нужно начать иметь понимание клетки. И поэтому это, с одной стороны, как бы почему нам нужно это понимание. Но также способ, которым мы думаем обо всех разных и сложных болезнях, в том, что эти модели, эти инструменты, которые мы строим, имеют хорошее понимание биомолекулярных взаимодействий и их взаимодействий. Но при этом каждая болезнь часто уникальна, и каждая терапевтическая гипотеза уникальна. И поэтому вы, может, хотите иметь что-то, что должно поразить конкретную, скажем, мишень в вирусе определённым образом, но вы, может, не знаете точно. Так что можно начать иметь более открытое понимание того, каким способом вы хотите это сделать. И поэтому, может, в первом наборе дизайнов вы попытаетесь нацелиться на разные эпитопы разными способами, а затем протестируете их в лаборатории, может, напрямую in vivo, и увидите, какие работают, а какие нет. И затем вам нужно вернуть эти результаты в модели. И тогда модели могут начать иметь более широкое понимание — не просто биофизики антител, взаимодействующих с этой мишенью, но и того, как это формируется внутри клетки. И поэтому, во-первых, это означает, с одной стороны, что нам нужны эти петли (и это также отчасти то, как мы спроектировали платформу), но это также означает, что нам нужно начать понимать всё больше и больше вещей более высокого уровня. И я бы не сказал, что мы как-то работаем над виртуальной клеткой, как другие, но мы определённо думаем очень глубоко о том, как способ, которым мы нацеливаемся на определённые белки, вмешивается, взаимодействует с, может, путями, существующими в клетке. Один вопрос, который возник: вы много говорите о пользовательском интерфейсе и так далее. И, думаю, это по-настоящему важно, но мой опыт работы с медицинскими химиками, когда вы приносите модели машинного обучения, — это что они самые суеверные, скептичные, как бы псевдорелигиозные люди, с которыми я когда-либо разговаривал, когда речь идёт о занятии наукой. Извините за медицинских химиков, которые слушают. Да, они потрясающие. В смысле, они абсолютно, — я работал с некоторыми выдающимися медицинскими химиками, которые просто снова и снова достают магию из шляпы, и я понятия не имею, как они это делают. Но когда вы приносите им модель машинного обучения, иногда бывает довольно непросто заставить их с ней работать. Каким было ваше взаимодействие с этим? И как вы думали о том, чтобы строить Boltz Lab для работы со скептиками? Одной из больших ценностных разблокировок для нас и для нашего продукта стало то, когда мы привели в команду медицинского химика. Его зовут Jeffrey. Так что, думаю, с одной стороны, в первый же день у него, очевидно, было много мнений о многих способах, которыми нам стоит изменить как то, как работали агенты, так и то, как работала платформа. Но было по-настоящему потрясающе, как, когда мы тоже начали формировать платформу лучше с этой обратной связью, мы перешли от, в некоторой степени, справедливого скептицизма с его стороны к тому, что он на самом деле использует многое из того, что мы сделали. Да. Так что он делает гораздо больше вычислений, чем кто-либо из наших вычислительных специалистов в команде, временами — он запускает, у него есть все эти гипотезы. Окей, может, я могу поразить этот белок таким конкретным способом. Я могу поразить его тем способом. На самом деле, дай-ка я посмотрю на это конкретное молекулярное пространство. Дай-ка попробую оптимизировать под эти конкретные взаимодействия. Так что он в итоге запускает несколько скринингов параллельно, используя сотни GPU, сам по себе. И поэтому это было довольно невероятно — видеть, как, может, способ, которым я больше думал о задаче, а именно: окей, ты просто пытаешься спроектировать связыватель, малую молекулу к конкретному белку, — способ, которым он об этом думает, гораздо глубже, пробуя все эти разные вещи, эти разные гипотезы. И затем, как только он получает результаты от модели, он не просто берёт топ-15, а по-настоящему просматривает их и пытается понять разные вещи. И затем, когда мы выбираем, может, какие-то дизайны, чтобы продвинуть дальше, у него есть нечто, где и модели понимают, что что-то хорошо, но и он сам тоже. И вот почему мы также построили платформу так, чтобы она была интерфейсом для такого химика, а также инженеров. Да. Совместный опыт.

RJ [01:19:09]: I think at the end of the day, like, you know, for people to be convinced, you have to show them something that they didn’t think was possible. And until you have that aha moment, you know, I think the skepticism will remain. But then when, you know, every once in a while, I think there’s like a result that like really surprises people. And then it’s like, oh, wow, okay, this is actually, I can do something with this. So you just get in their hands, have them try it out, and they’ll be convinced. Yeah, or like maybe once the lab results come back. Or their friends. Yeah, or maybe one of their colleagues is convinced. Yeah. I think it takes going to the lab at some point. There’s no avoiding that, you know, as beautiful as the platform can be, as nice as the molecules might look, you know, that the model predicted. I think what really convinces people is like, you know, hits. Yeah.

RJ [01:19:09]: Думаю, в конце концов, чтобы убедить людей, вам нужно показать им что-то, что они не считали возможным. И пока у вас нет этого момента «ага», скептицизм останется. Но затем, когда время от времени появляется результат, который по-настоящему удивляет людей, тогда это как: о, вау, окей, с этим я на самом деле могу что-то сделать. Так что вы просто даёте им в руки, даёте попробовать, и они убедятся. Да, или, может, когда вернутся результаты из лаборатории. Или их друзья. Да, или, может, один из их коллег убеждается. Да. Думаю, нужно в какой-то момент идти в лабораторию. Этого не избежать — какой бы красивой ни была платформа, какими бы прекрасными ни выглядели молекулы, что предсказала модель. Думаю, что по-настоящему убеждает людей — это, знаете, попадания (hits). Да.

Gabriel [01:19:54]: Yeah. You see the results. Exactly. Yeah. Cool. Thank you for, you know, taking the time to chat with us. Yeah. You know, is there anything that you would like your audience to know? I mean, first of all, you know, we’re just getting started, you know, continuing to build a team. And so definitely always looking for great folks, both on the kind of, you know, software side, you know, machine learning side, but also scientists to join the team and help us, you know, shape. On the infrastructure side, too. Indeed. If you think that if you want a new challenge, because this is not just next token prediction, this is really a new engineering challenge. Exactly. Yeah. If you, if no matter, you know, how much experience you have with, you know, biologists and chemistry, if you want to come, you know, help us in a shape, what, you know, biology and chemistry, hopefully we’ll look like in five, 10 years. We’d love to hear from you. And so go to boltz.bio and, you know, come join the team. Cool. Thank you. Awesome. Thank you so much. Thank you.

Gabriel [01:19:54]: Да. Вы видите результаты. Именно. Да. Круто. Спасибо, что нашли время поговорить с нами. Да. Есть ли что-то, что вы хотели бы, чтобы ваша аудитория знала? В смысле, прежде всего, мы только начинаем, продолжаем строить команду. И поэтому мы определённо всегда ищем отличных людей — как со стороны софта, со стороны машинного обучения, так и учёных, чтобы присоединиться к команде и помочь нам формировать. И со стороны инфраструктуры тоже. Действительно. Если вы думаете, что хотите нового вызова, потому что это не просто предсказание следующего токена, это по-настоящему новый инженерный вызов. Именно. Да. Если вы — неважно, сколько у вас опыта с биологами и химией, — если вы хотите прийти и помочь нам сформировать то, как, надеемся, биология и химия будут выглядеть через пять, десять лет, мы будем рады услышать от вас. И поэтому зайдите на boltz.bio и присоединяйтесь к команде. Круто. Спасибо. Потрясающе. Спасибо большое. Спасибо.

Discussion about this episode

Обсуждение этого эпизода