Mistral: Voxtral TTS, Forge, Leanstral, & what's next for Mistral 4 — w/ Pavan Kumar Reddy & Guillaume Lample

Mistral: Voxtral TTS, Forge, Leanstral, & what's next for Mistral 4 — w/ Pavan Kumar Reddy & Guillaume Lample

Mistral: Voxtral TTS, Forge, Leanstral и что дальше у Mistral 4 — с Pavan Kumar Reddy и Guillaume Lample

Mistral has been on an absolute tear - with frequent successful model launches it is easy to forget that they raised the largest European AI round in history last year. We were long overdue for a Mistral episode, and we were very fortunate to work with Sophia and Howard to catch up with Pavan (Voxtral lead) and Guillaume (Chief Scientist, Co-founder) on the occasion of this week’s Voxtral TTS launch:

Mistral идёт без остановки — частые успешные релизы моделей легко заставляют забыть, что в прошлом году они привлекли крупнейший в истории европейский AI-раунд. Эпизод про Mistral назрел давно, и нам очень повезло поработать с Sophia и Howard, чтобы поговорить с Pavan (руководитель Voxtral) и Guillaume (Chief Scientist, сооснователь) по случаю запуска на этой неделе Voxtral TTS:

Mistral can’t directly say it, but the benchmarks do imply, that this is basically an open-weights ElevenLabs-level TTS model (Technically, it is a 4B Ministral based multilingual low-latency TTS open weights model that has a 68.4% win rate vs ElevenLabs Flash v2.5). The contributions are not just in the open weights but also in open research: We also spend a decent amount of the pod talking about their architecture that combines auto-regressive generation of semantic speech tokens with flow-matching for acoustic tokens (typically only applied in the Image Generation space, as seen in the Flow Matching NeurIPS workshop from the principal authors that we reference in the pod).

Mistral не может сказать это напрямую, но бенчмарки намекают, что это по сути TTS-модель уровня ElevenLabs с открытыми весами (технически это многоязычная low-latency TTS-модель с открытыми весами на 4B параметров на базе Ministral, которая имеет win rate 68.4% против ElevenLabs Flash v2.5). Вклад заключается не только в открытых весах, но и в открытых исследованиях: мы также уделяем приличную часть подкаста обсуждению их архитектуры, которая сочетает авторегрессивную генерацию семантических речевых токенов с flow matching для акустических токенов (что обычно применяется только в области генерации изображений, как показано на воркшопе по Flow Matching на NeurIPS от ведущих авторов, на которых мы ссылаемся в подкасте).

You can catch up on the paper here and the full episode is live on youtube!

Можно ознакомиться с статьёй здесь, а полный эпизод доступен на YouTube!

Timestamps

Таймкоды

00:00 Welcome and Guests
00:22 Announcing Voxtral TTS
01:41 Architecture and Codec
02:53 Understanding vs Generation
05:39 Flow Matching for Audio
07:27 Real Time Voice Agents
13:40 Efficiency and Model Strategy
14:53 Voice Agents Vision
17:56 Enterprise Deployment and Privacy
23:39 Fine Tuning and Personalization
25:22 Enterprise Voice Personalization
26:09 Long-Form Speech Models
26:58 Real-Time Encoder Advances
27:45 Scaling Context for TTS
28:53 What Makes Small Models
30:37 Merging Modalities Tradeoffs
33:05 Open Source Mission
35:51 Lean and Formal Proofs
38:40 Reasoning Transfer and Agents
40:25 Next Frontiers in Training
42:20 Hiring and AI for Science
44:19 Forward Deployed Engineering
46:22 Customer Feedback Loop
48:29 Wrap Up and Thanks

00:00 Приветствие и гости00:22 Анонс Voxtral TTS01:41 Архитектура и кодек02:53 Понимание против генерации05:39 Flow Matching для аудио07:27 Голосовые агенты в реальном времени13:40 Эффективность и стратегия моделей14:53 Видение голосовых агентов17:56 Корпоративное развёртывание и приватность23:39 Файнтюнинг и персонализация25:22 Корпоративная персонализация голоса26:09 Модели длинной речи26:58 Достижения real-time энкодеров27:45 Масштабирование контекста для TTS28:53 Что делает модели маленькими30:37 Компромиссы объединения модальностей33:05 Миссия открытого кода35:51 Lean и формальные доказательства38:40 Перенос reasoning и агенты40:25 Следующие фронтиры в обучении42:20 Найм и AI для науки44:19 Forward Deployed инжиниринг46:22 Цикл обратной связи с клиентами48:29 Завершение и благодарности

Transcript

Расшифровка

swyx: Okay, welcome to Latent Space. We’re here in the studio with our gues co-host Vibh u. Welcome. Thanks. Excited for this one as well as Guillaume and Pavan from Mistral. Welcome. Excited to be here.

swyx: Ок, добро пожаловать в Latent Space. Мы в студии с нашим со-ведущим Vibhu. Добро пожаловать. Спасибо. Тоже взволнован этой беседой, так же как и Guillaume и Pavan из Mistral. Добро пожаловать. Рад быть здесь.

Guillaume: Thank you.

Guillaume: Спасибо.

swyx: Pavan, you are leading audio research at Mistral and Guillaume, you're Chief Scientist,

swyx: Pavan, ты руководишь аудио-исследованиями в Mistral, а Guillaume — ты Chief Scientist,

Announcing Voxtral TTS

Анонс Voxtral TTS

swyx

swyx

Host

Ведущий

(00:05) Okay. (00:05) Welcome to Lean Space. (00:06) We’re here in the studio with trustee co-hosts, Vibhu. (00:09) Welcome.

(00:05) Окей. (00:05) Добро пожаловать в Latent Space. (00:06) Мы в студии с нашим верным со-ведущим Vibhu. (00:09) Добро пожаловать.

Vibhu

Vibhu

Host

Ведущий

(00:11) Very excited for this one.

(00:11) Очень рад этому.

swyx

swyx

Host

Ведущий

(00:12) As well as Guillaume and Pavan from Mistral. (00:15) Welcome. (00:16) Excited to be here. (00:17) Thank you for having us.

(00:12) А также Guillaume и Pavan из Mistral. (00:15) Добро пожаловать. (00:16) Рад быть здесь. (00:17) Спасибо, что пригласили.

(00:18) Pavan, you are leading audio research at Mistral and Guillaume, you’re a chief scientist. (00:23) What are we announcing today where we’re coordinating this release with you guys?

(00:18) Pavan, ты руководишь аудио-исследованиями в Mistral, а Guillaume — ты Chief Scientist. (00:23) Что мы сегодня анонсируем, ради чего мы координируем этот релиз с вами?

Guillaume

Guillaume

Guest

Гость

(00:26) Yeah, so we are releasing Voxtral TTS. So it’s our first audio model that generates speech. It’s not our first audio model. We had a couple of releases before.

(00:26) Да, мы выпускаем Voxtral TTS. Это наша первая аудиомодель, которая генерирует речь. Это не наша первая аудиомодель. У нас было несколько релизов до этого.

(00:35) We had one in the summer that was Voxtral, our first audio model, but it was like a transcription model, ASR. Like a few months later, we released some update on top of this, supporting more languages. Also a lot of table stack features for our customers, context biasing, precision, timestamping and transcription. We also have some real-time model that can transcribe not just at the end of the level.

(00:35) Летом был Voxtral, наша первая аудиомодель, но это была модель для транскрипции, ASR. Несколько месяцев спустя мы выпустили обновление поверх неё с поддержкой большего числа языков. А также много базовых функций для наших клиентов: context biasing, точность, таймстампы и транскрипция. У нас также есть real-time модель, которая может транскрибировать не только в конце уровня.

(00:56) You don’t need to fill your entire audio file, but that can also come in real-time. And here, this is a natural extension in the audio, so basically speech generation. So yeah, so we support nine languages, and this is a pretty small model, 3D model, so very fast, and also state of the art. Performed at the same level as the base model, but it’s much more efficient in terms of cost, and also much, in terms of cost, it’s also much cheaper, only a fraction of the cost of our competitors.

(00:56) Не нужно заполнять весь аудиофайл, она может работать и в реальном времени. А здесь это естественное расширение в аудио — то есть генерация речи. Да, мы поддерживаем девять языков, и это довольно маленькая модель, 3B модель, очень быстрая и при этом state-of-the-art. Работает на том же уровне, что и базовая модель, но гораздо эффективнее по стоимости — лишь часть стоимости наших конкурентов.

(01:22) And we are also releasing the work that this model is running.

(01:22) И мы также выпускаем работу, на которой основана эта модель.

swyx What’s the decision factor?

swyx Какой решающий фактор?

Guillaume It’s a good question.

Guillaume Хороший вопрос.

swyx

swyx

There will be more. Yeah, Pavan, any sort of research notes to add on?

Их будет больше. Да, Pavan, какие-нибудь исследовательские заметки добавишь?

Architecture and Codec

Архитектура и кодек

Pavan: But it’s a novel architecture that we develop inhouse.

Pavan: Это новая архитектура, которую мы разработали внутри.

We traded on several internal architectures and ended up with a auto aggressive flow matching architecture. And also have a new in-house neural audio codec. Which, converts this audio into all point by herds latent [00:02:00] tokens, semantic and acoustic tokens. And yeah, that’s that’s their new part about this model and we’re pretty excited that it’s, it came out with such good quality and Jim was mentioning. Yeah, it’s a three B model. It’s based off of the TAL model that we actually released just a few months back and insert trunk and mainly meant for like the TTS stuff, but they need text capabilities are also there. Yeah.

Мы перепробовали несколько внутренних архитектур и остановились на архитектуре auto-regressive flow matching. А также у нас новый собственный нейросетевой аудиокодек. Который преобразует это аудио в латентные токены — семантические и акустические. И да, это новая часть этой модели, и мы очень рады, что она получилась такого хорошего качества. Как упомянул Guillaume, это 3B модель. Она основана на модели, которую мы выпустили буквально несколько месяцев назад, и в основном предназначена для TTS, но текстовые возможности тоже на месте. Да.

swyx: So there’s a lot to cover.

swyx: Так что есть о чём поговорить.

I always I love any, anything to do with novel encodings and all those things because I think that’s obviously I creates a lot of efficiency, but also maybe bugs that sometimes happen. You were previously a Gemini and you worked on post training for language models, and maybe a lot of people will have less experience with audio models just in general compared to pure language.

Я всегда люблю всё, что связано с новыми кодировками и подобным, потому что это, очевидно, даёт большую эффективность, но также иногда баги. Ты раньше был в Gemini и работал над post-training для языковых моделей, а у многих будет меньше опыта с аудиомоделями в целом по сравнению с чисто языковыми.

What did you find that you have to revisit from scratch as you joined this trial and started doing this? At least

Что тебе пришлось переосмыслить с нуля, когда ты пришёл в Mistral и начал этим заниматься?

Understanding vs Generation

Понимание против генерации

Pavan: when it comes to, for, I think the, there are two buckets, I guess the audio understanding and audio [00:03:00] generation. The audio understanding, like the walkthrough models that Kim was mentioning that we released earlier.

Pavan: когда речь идёт о, я думаю, есть две корзины: понимание аудио и генерация аудио [00:03:00].

The walkthrough chat that we released I think July last year, and the follow up transcription only, models family that we released in January, that would be one bucket, and the generation is another bucket. I think. You can also treat them as a unified set of models, but currently the approaches are a little different between these two.

Понимание аудио — как модели walkthrough, которые упомянул Guillaume, выпущенные ранее. Чат walkthrough, который мы выпустили, кажется, в июле прошлого года, и последующее семейство моделей только для транскрипции, выпущенное в январе, — это одна корзина, а генерация — другая корзина. Я думаю, их можно также рассматривать как единый набор моделей, но сейчас подходы немного различаются между этими двумя.

To your question on how audio is fed to the model? In the understanding model, it’s very similar to actually Pixar models that we also released,

К твоему вопросу о том, как аудио подаётся в модель: в модели понимания это очень похоже на Pixtral модели, которые мы тоже выпустили,

swyx: yes.

swyx: да.

Pavan: That’s

Pavan: Это

swyx: amazing.

swyx: потрясающе.

Pavan: It was pretty, I, that was the first project I worked on after joined Misra. It was pretty, pretty nice. And Wtu was very similar in spirit.

Pavan: Это было довольно... это был первый проект, над которым я работал после прихода в Mistral. Это было очень приятно. И Voxtral был очень похож по духу.

I guess So we feed audio through an audio encoder similar to images through a vision encoder, and it produces continuous embeddings and which are fed as tokens to the main transformer decoded transformer model. Yeah. On the model output is just text. So on the output side, there is nothing that needs to be done in these kinds of mode.

То есть мы подаём аудио через аудио-энкодер, аналогично изображениям через vision-энкодер, и он производит непрерывные эмбеддинги, которые подаются как токены в основную трансформер-модель — декодерный трансформер. Да. На выходе модели просто текст. То есть на стороне вывода ничего делать не нужно в моделях такого типа.

I [00:04:00] guess the interesting part of what the generation stuff is, the output now has to produce audio and. The approach that we have is this neural audio codec, which converts audio into these latent tokens. There is a lot of existing attrition and a lot of models which are based off of this kind of approach.

Я думаю, интересная часть в генерации — это то, что на выходе теперь нужно производить аудио. И подход, который мы используем, — это нейросетевой аудиокодек, который преобразует аудио в эти латентные токены. Существует много исследований и моделей, основанных на этом подходе.

And we took a slightly. A different, design decisions around this. But at the end of the day, the neural audio product converts audio into a 12.5 herdz set of latents. And each latent is, has a semantic token and a set of acoustic tokens. And the idea is that you take these discrete tokens and then feed it on the input side.

И мы приняли несколько иные дизайн-решения вокруг этого. Но в конечном итоге нейросетевой аудиокодек преобразует аудио в набор латентов с частотой 12.5 Гц. И каждый латент содержит семантический токен и набор акустических токенов. И идея в том, что вы берёте эти дискретные токены и подаёте их на вход.

There’s several ways to use this at each frame, but we just sum the embedding. So it’s like having key different vocabularies. Combine all of them because they all correspond to one audio frame on the input side. The output side is the interesting part on the output side, the, it’s not the, I don’t know if it’s the most popular, but one.

Есть несколько способов использовать это на каждом фрейме, но мы просто суммируем эмбеддинги. Это как иметь несколько разных словарей. Объединяем их все, потому что они все соответствуют одному аудиофрейму на стороне ввода. Сторона вывода — это интересная часть. На стороне вывода, не знаю, самая ли это популярная, но одна из

Popular technique is to have a depth transformer [00:05:00] because you have K tokens at each time step, like with a text, you just have one token at each time step. So you just do predict the token from the vocabulary with, yeah, with just, you get probability

популярных техник — это depth transformer [00:05:00], потому что у вас K токенов на каждом шаге времени, тогда как с текстом у вас просто один токен на каждом шаге времени. Так что вы просто предсказываете токен из словаря, да, вы получаете вероятность

swyx: This’s a very straightforward text. Very

swyx: Это очень прямолинейный текст. Очень

Pavan: straightforward.

Pavan: прямолинейный.

swyx: Yeah.

swyx: Да.

Pavan: But if you have K tokens, then the name thing would be to predict all of them in paddle. That doesn’t work. At least that doesn’t work that well because audio has more entropy. And the, one of the techniques people use is this depth transformer where you you almost have a small transformer, or it can be L-S-T-M-R in as well, but people use transformers and you predict the K tokens in auto aggressive fashion in that.

Pavan: Но если у вас K токенов, то наивным подходом было бы предсказать все они параллельно. Это не работает. По крайней мере, работает не очень хорошо, потому что у аудио больше энтропии. И одна из техник, которую используют, — это depth transformer, где у вас есть почти маленький трансформер, или это может быть LSTM, но люди используют трансформеры, и вы предсказываете K токенов авторегрессивно.

So you have two auto reive things going on.

То есть у вас идёт две авторегрессии.

Flow Matching for Audio

Flow Matching для аудио

Pavan: So the thing we did differently is in, instead of having this auto aggressive K step prediction, we have a flow matching model. Instead of modeling this as a discrete token set we trained the codec to be both discrete and continuous to have this flexibility.

Pavan: То, что мы сделали по-другому, — вместо этого авторегрессивного K-шагового предсказания у нас flow matching модель. Вместо моделирования как дискретного набора токенов, мы обучили кодек быть одновременно дискретным и непрерывным, чтобы иметь эту гибкость.

So we did try the discrete stuff too, and which it works well, but the continuous stuff works just better. So yeah, we took this flow matching, so the, it’s a flow [00:06:00] matching head, which takes the latent from the main transformer and like kind in fusion, it’s denoising, but in this flow matching itself, velocity estimate.

Мы пробовали и дискретный вариант, который тоже работает хорошо, но непрерывный работает просто лучше. Да, мы взяли этот flow matching, это [00:06:00] flow matching head, который берёт латент из основного трансформера и, как при диффузии, делает denoising, но в этом flow matching это оценка скорости.

So you go from this noise t all the way to there. Audio latent, which corresponds to the 80 millisecond audio and then, which is sent through the work order to get back the 80 millisecond audio frame.

То есть вы идёте от шума t вплоть до аудио-латента, который соответствует 80-миллисекундному аудио, а затем отправляется через декодер, чтобы получить обратно 80-миллисекундный аудиофрейм.

swyx: Yeah. Is this the first application of flow matching in audio? Because usually I come across this in the image.

swyx: Да. Это первое применение flow matching в аудио? Потому что обычно я встречаю это в области изображений.

Pavan: Yeah. Actually, in some sense there are models flow matching models in audio, but I think this specific combination I could be wrong. There could be somewhat. No. I haven’t seen. I haven’t seen much work in this, so I think it’s novel and a lot of it’s just a way bigger community, so they, I think they pioneer a lot of these diffusion flow matching work, and it’s interesting to adopt some of the ideas there into audio and,

Pavan: Да. В некотором смысле есть flow matching модели в аудио, но я думаю, эта конкретная комбинация — могу ошибаться, может быть. Нет. Я не видел. Я не видел много работ в этом, так что думаю, это ново, и сообщество гораздо больше, они, я думаю, продвигают много этих работ по диффузии и flow matching, и интересно перенять некоторые идеи оттуда в аудио, и

swyx: yeah.

swyx: да.

Pavan: Yeah, I’m, personally that’s the think part which is trying out about. One of more meta point is unlike text, even in vision, I think this is true, but in [00:07:00] audio step literature that there is no.

Pavan: Да, лично для меня это интересная часть, которую интересно пробовать. Один более общий момент — в отличие от текста, даже в vision, думаю, это верно, но в [00:07:00] аудио в литературе нет.

Winner model, yet there is no, okay, this is the way you do things. It’s it’s still by, I think people are still iterating and figuring out like what’s the best overall recipe. I guess the idea. Pretty sure there are models which are also completely end-to-end, like NATO audio. NATO audio, but it’s still not come to a convergence point where this, the right way to think that.

Победителя пока нет, нет такого «вот так нужно делать». Это всё ещё, я думаю, люди итерируют и выясняют, какой общий рецепт лучший. Я уверен, есть модели, которые полностью end-to-end, как NATO audio. NATO audio, но всё ещё не пришли к точке схождения, где это правильный способ думать.

That also makes. A space pretty exciting to explore.

Это и делает эту область довольно интересной для исследования.

Real Time Voice Agents

Голосовые агенты в реальном времени

Vibhu: What are some of the ways to look at it?

Vibhu: Какие способы посмотреть на это?

Vibhu: There are ways where you can do diffusion for audio generation, but if you want like real time generation, that’s a big thing with the approach I’m assuming that you took. Yeah. And also like how do you go about evaluating different axes of what you care about, yeah,

Vibhu: Есть способы, где можно делать диффузию для генерации аудио, но если вы хотите real-time генерацию, это большая вещь с подходом, который, я полагаю, вы взяли. Да. И как вы оцениваете разные оси того, что вам важно?

Pavan: good point. I think we so you can do just flow matching diffusion for the whole audio. We didn’t even go down that path because one of the main applications is voice agents and we want real time streaming, and that’s the use case. That’s not the only use case, but that’s one of the primary use cases we want to get to.

Pavan: Хороший вопрос. Я думаю, мы — можно делать просто flow matching диффузию для всего аудио. Мы даже не пошли по этому пути, потому что одно из основных применений — это голосовые агенты, и мы хотим real-time стриминг, и это сценарий использования. Это не единственный сценарий, но один из основных, к которому мы хотим прийти.

So we [00:08:00] picked the auto aggressive approach for that. And within the auto aggressive space, again, you can do chunk by chunk or you can do so we picked the. I think at least personally prefer the operations, which are the simplest, and so we try to see, can we just add audio as just another head to our regular transformer decode model because that kind of makes it easier for eventual end-to-end modeling of audio text native modeling.

Так что мы [00:08:00] выбрали авторегрессивный подход для этого. И внутри авторегрессивного пространства, опять же, можно делать по чанкам или можно делать... мы выбрали — лично я предпочитаю операции, которые проще, и мы попробовали: можем ли мы просто добавить аудио как ещё одну голову к нашей обычной трансформер-декодер модели, потому что это делает легче в перспективе end-to-end моделирование нативного аудио-текста.

Yeah. And it works pretty well. So I guess we went with that and we tried a little bit, but the flow matching head itself, like we had a discreet. Diffusion kind of approach, which also works well, but the flow matching work better.

Да. И это работает довольно хорошо. Так что мы пошли по этому пути и попробовали немного, но сам flow matching head — у нас был дискретный диффузионный подход, который тоже работает хорошо, но flow matching работает лучше.

swyx: I was just curious about how you also think about this overall direction of research.

swyx: Мне просто было любопытно, как вы вообще думаете об этом общем направлении исследований.

Do you basically, when you work with the audio team, do you set some high level parameters and then let them explore whatever, or how does it work between you guys?

Когда вы работаете с аудио-командой, вы задаёте какие-то high-level параметры и позволяете им исследовать что угодно, или как это устроено между вами?

Guillaume: No I think the way it works is that we are the, we are prioritizing together, I think, what are the most important features because there are many things we can do [00:09:00] in audio.

Guillaume: Нет, я думаю, это работает так, что мы приоритизируем вместе, что является самыми важными фичами, потому что в аудио можно сделать многое [00:09:00].

Yeah, I think we try to. These are like how we should do things, for instance. Ultimately what we want to do is to build this through duplex model, but we are not going to start this start there directly, I think is. Some of the project people are doing, but

Да, я думаю, мы пытаемся. Это как мы должны делать вещи, например. В конечном итоге мы хотим построить полностью дуплексную модель, но мы не собираемся начинать сразу с этого, как делают некоторые в проектах, но

swyx: just to confirm, full effects means it can speak while I’m speaking or,

swyx: просто чтобы подтвердить, full-duplex означает, что она может говорить, пока я говорю, или

Guillaume: yeah.

Guillaume: да.

Okay. Audio. Yeah. Yeah. So intimately we’re going to get there, but for us it was, we decided to take it like a step by step. So we start with whatever is the most important. I think support customers, which is the transcription is the most popular use case. Then the speech generation, Soviet time, just a bit before that.

Окей. Аудио. Да. Да. То есть в итоге мы туда придём, но для нас мы решили идти шаг за шагом. Так что мы начинаем с того, что важнее всего. Я думаю, поддерживать клиентов — транскрипция — самый популярный сценарий. Затем генерация речи, чуть раньше неё.

And then actually to be like more, but try combining everything all together. But but yeah, we thought it was also important to like separate things and optimize each capability one by one before we

А затем уже больше, но попробовать объединить всё вместе. Но мы посчитали важным разделить вещи и оптимизировать каждую способность по одной, прежде чем мы

swyx: measure of that together. And the super omni model. But

swyx: измерим это всё вместе. И супер-omni модель. Но

Guillaume: very interesting because as Par said, it’s when you work on some other domains of this airline and everything, there are many areas where I think it’s not as interesting.

Guillaume: очень интересно, потому что как сказал Pavan, когда работаешь над другими доменами, есть много областей, где, думаю, не так интересно.

For instance. Many places, it’s essentially just around data or like creating new environments on a lot of kind [00:10:00] of easy things. But things were, I think the research is maybe not as interesting. Were in audio. There are so many ways to actually build this model. So many ways to go around it. That’s the sense I think is really interesting.

Например, во многих местах это по сути просто данные или создание новых сред, много [00:10:00] относительно простых вещей. Но вещи, где, думаю, исследование, возможно, не такое интересное. Тогда как в аудио так много способов реально построить эту модель, так много способов подойти к ней. Это и делает её, думаю, действительно интересной.

And what we also tried for speed generation is that we tried multiple approaches. What was interesting that even though they were extremely different, they under the big know the particles but the for matching turned out to be quite more natural. So we are happy with this.

И что мы также пробовали для генерации речи — мы попробовали несколько подходов. Что интересно — даже несмотря на то, что они были чрезвычайно разными, под капотом всё равно похожие частицы, но flow matching оказался гораздо более естественным. Так что мы этим довольны.

swyx: Is there intuition why it maybe like flow matching is just models speech better in some natural fundamental, latent dimension?

swyx: Есть ли интуиция, почему flow matching просто моделирует речь лучше в каком-то естественном фундаментальном латентном измерении?

Pavan: No, I think the main thing is e even at a particular time step, there is a distribution of things.

Pavan: Нет, я думаю, главное в том, что даже на конкретном шаге времени есть распределение вещей.

swyx: Yes.

swyx: Да.

Pavan: To be predicted like the way you inflate. So you already know the word that you’re speaking and Yeah. The intake space, let’s say the word maps register a single token for simplicity.

Pavan: Которые нужно предсказать, как способ интонирования. Вы уже знаете слово, которое произносите. Да. В пространстве ввода слово, скажем, мапится в один токен для простоты.

In most cases it does. So there is not a lot of so you just pick the word, but with within audio, even the same word could, even with your own voice, could be inflicted in so many different ways. And I think [00:11:00] any approach which like models this distribution and. And flow matching is one, one of the take.

В большинстве случаев так и есть. Так что нет большой... вы просто выбираете слово, но в аудио даже одно и то же слово, даже вашим собственным голосом, может быть произнесено [00:11:00] так по-разному. И я думаю, любой подход, который моделирует это распределение, и flow matching — один из них.

It’s not the only one at all, but it’s a one which works pretty reasonably well. I think that’s better. So you have to pick across several different, the intuition I have is it’s, there are some, several different clusters each corresponding to some specific way you would inflict, pronounce that thing.

Он не единственный, но он работает довольно неплохо. Думаю, это лучше. Поэтому надо выбрать среди нескольких разных. Моя интуиция в том, что есть несколько кластеров, каждый соответствует какому-то конкретному способу, как вы интонируете, произносите эту вещь.

And you can’t predict the mean of it because that corresponds to some blurred out speech or something like that. But you have to pick one. And then like sharp

И нельзя предсказать среднее, потому что это соответствует какой-то размытой речи или что-то вроде. Надо выбрать один. И тогда резкая

swyx: conditional inference.

swyx: условная инференция.

Pavan: Yeah, exactly.

Pavan: Да, именно.

swyx: Is that all covered under disfluencies, which is I think the normal term of art. Pauses intonations. By the way, I have to thank Sophia for setting all this up, including like some of these really good notes because

swyx: Это всё покрывается под disfluencies, что, кажется, обычный термин искусства. Паузы, интонации. Кстати, мне нужно поблагодарить Sophia за организацию всего этого, включая некоторые из этих действительно хороших заметок, потому что

Pavan: Yeah.

Pavan: Да.

swyx: I’m less familiar with the audios for me.

swyx: я меньше знаком с аудио.

Pavan: No. I think dis dismisses are definitely one such Eno defenses is more like

Pavan: Нет. Я думаю, disfluencies — это определённо одно из таких. Disfluencies — это больше про

swyx: which is arms are.

swyx: это эмм-ы и подобное.

Pavan: Yeah, arms. And also repeat like you like,

Pavan: Да, эм. И также повторения, как

swyx: yeah.

swyx: да.

Pavan: You do this full of words, your thinking, so you repeat the word.

Pavan: Когда у вас «full of words», вы думаете, и повторяете слово.

swyx: Okay. Whereas intonation is like a diff, it’s up up [00:12:00] speak and all this.

swyx: Окей. Тогда как интонация — это другое, это [00:12:00] uptalk и всё такое.

Okay.

Окей.

Pavan: Yeah. So I think there is a lot of like entropy. And modeling it as a distribution. And a, any technique which helps with it and the depth transformer is a conditional way of modeling this. And Transformers actually really good at it, even though that’s a mini transformers. So I think that worked pretty well too for us too.

Pavan: Да. То есть много энтропии. И моделирование этого как распределения. И любая техника, которая помогает с этим, и depth transformer — это условный способ моделирования. А трансформеры действительно хорошо с этим справляются, даже если это мини-трансформер. Так что это тоже хорошо сработало у нас.

It’s just that the main concentration is when you have a depth transformer. If you have K tokens, you need to do K auto steps, right? Even though it’s a small thing, it’s K steps, which is very vacant, say heavy, but flow matching. We were able to cut it down significantly. So we are able to do the inference in quad steps or 16 steps and it works pretty well.

Просто основное опасение, когда у вас depth transformer: если у вас K токенов, нужно сделать K авто-шагов, верно? Даже если это маленькая штука, это K шагов, что очень тяжело по вакантности, скажем. А с flow matching мы смогли значительно это сократить. Так что мы делаем инференс за квад-шагов или 16 шагов, и это работает довольно хорошо.

And there are more normal techniques to bring it down even further to like, in extreme case, one step like we’re not doing it yet, but it at least the framework, LEDs itself to more efficient and Yes.

И есть ещё более обычные техники, чтобы снизить это ещё больше, в крайнем случае до одного шага — мы пока этого не делаем, но фреймворк хотя бы поддаётся более эффективному. И да.

swyx: And the image guys have done.

swyx: И ребята из image-сообщества это сделали.

Pavan: Yeah.

Pavan: Да.

swyx: Incredible work guys. Yeah.

swyx: Невероятная работа, ребята. Да.

Pavan: It now you just. Send a prompt and you get an image.

Pavan: Теперь вы просто отправляете промпт и получаете изображение.

swyx: Yeah. Surprisingly not enough. I think image model labs use those techniques in production. I think it’s, I feel like it’s a lot of research demos, but [00:13:00] nothing I can use on my phone today.

swyx: Да. Удивительно, но недостаточно. Думаю, image-лаборатории используют эти техники в продакшене. Думаю, ощущение, что много исследовательских демо, но [00:13:00] ничего такого, что я мог бы использовать на телефоне сегодня.

Guillaume: The thing, there’s a thing that would be interesting here is that since, indeed I’ve been so much sure that has been done in the vision community compared to radio dys, stomach, I think there are so many long infra Yeah.

Guillaume: Что было бы интересно — поскольку столько всего сделано в vision-сообществе по сравнению с аудио, есть так много long-infra. Да.

And there are so many things we can do to actually improve this further. So it’s our first version, but we have so many ways to exist, much better and much more efficient, cost efficient, so

И так много вещей, которые мы можем сделать, чтобы улучшить это дальше. Так что это наша первая версия, но у нас столько способов сделать её гораздо лучше и гораздо эффективнее по стоимости, так что

swyx: yeah.

swyx: да.

Guillaume: So really it’s not a new field at all, of course, but there are still so many things that can be done.

Guillaume: Так что это не новая область, конечно, но всё ещё столько всего можно сделать.

Perfect. It’s

Идеально. Это

swyx: nice. I should also mention for those who are newer to flow matching, I think the creator, this guy’s name is Alex, he’s done I think in Europe’s maybe two Europes as ago. There was, there’s a very good workshop. There’s one hour on like this matching is I would recommend people look that up.

swyx: здорово. Я должен также упомянуть для тех, кто новичок в flow matching: создатель, его имя Alex, он провёл на NeurIPS, кажется, две NeurIPS назад очень хороший воркшоп. Один час про flow matching, рекомендую посмотреть.

That’s the other thing, right?

Это другое дело, да?

Efficiency and Model Strategy

Эффективность и стратегия моделей

swyx: The efficiency wise, like I, I imagine like the reason is open weights the reason you pick 3.6 B backbone it you are 3.4 B you are, try to fit to some kinda hardware constraints. You kinda fits some kinda basic constraints. What are they?

swyx: По эффективности — я представляю, что причина, по которой это open weights, причина, по которой вы выбрали бэкбон 3.6B — у вас 3.4B, вы пытаетесь подогнать под какие-то аппаратные ограничения. Какие они?

Guillaume: Not necessarily, I think something we care about in our model that they’re efficient.

Guillaume: Не обязательно, я думаю, нам важно в наших моделях, чтобы они были эффективными.

So we have a [00:14:00] lot of separate model, for instance. So we have this that is very small, very efficient. We also have a small OCR model that is available. Good, highly efficient as well. And I think on a project maybe there, I think companies are going to take is to have a coverage general model that will do a bit of everything.

У нас есть [00:14:00] много отдельных моделей. Например, эта очень маленькая, очень эффективная. У нас также есть маленькая OCR-модель доступная. Очень эффективная. И я думаю, в проекте подход компаний — иметь общую модель, которая делает всего понемногу.

But that is also going to be expensive. On here. What want say is if you care about this specific use case, if you can actually use this model, it just does that. It’s extremely good at it. Survey, very efficient. That’s why we can actually add. We do, but also OCR that are like really good at that.

Но это также будет дорого. Здесь мы говорим: если вас волнует этот конкретный сценарий, можно использовать эту модель, она делает только это. Она в этом чрезвычайно хороша. И очень эффективна. Поэтому мы и можем — мы делаем OCR, действительно хорошие в этом.

And that would be much more cost effective factors and the general model that will contain a lot of capabilities you don’t really need. So yeah. So we’re doing like general model, but also like more customized model. This,

И это будет гораздо более cost-effective, чем общая модель, которая содержит много возможностей, которые вам на самом деле не нужны. Да. Мы делаем общие модели, но также более кастомизированные.

Open Weights and Benchmarks

Открытые веса и бенчмарки

Vibhu: how does it compare to other TTS models? It’s, we are going follow open wave.

Vibhu: Как она сравнивается с другими TTS моделями? Мы выпускаем open weights.

We’re just dropping it. I think it’s pretty good.

Мы просто её выкатываем. Думаю, она довольно хороша.

Pavan: Yeah, I think it’s pretty good. Like it, it’s definitely one of the best. For sure. It’s probably I would say it’s the best open source model, but

Pavan: Да, думаю, довольно хороша. Это определённо одна из лучших. Точно. Я бы сказал, что это лучшая open-source модель, но

Vibhu: decipher themselves.

Vibhu: расшифруйте сами.

swyx: Yeah.

swyx: Да.

Voice Agents Vision

Видение голосовых агентов

Vibhu: Why now? How does it fit into broader ral vision? How do you see voice agents?

Vibhu: Почему сейчас? Как это вписывается в общее видение Mistral? Как вы видите голосовых агентов?

How do you see voice? I think every year I’ve heard, okay, you’re a [00:15:00] voice. You’re a voice. There’s a lot of architectural stuff. There’s a lot of end time that see it, your solving, but where do you see voice setting?

Как вы видите голос? Думаю, каждый год я слышу — окей, ты [00:15:00] голос, ты голос. Много архитектурных штук. Много end-time, которые вы решаете, но где вы видите голос?

Guillaume: We had so many customers asking for voice. That’s also why we wanted to build it.

Guillaume: У нас было столько клиентов, которые просили голос. Поэтому мы тоже хотели его построить.

What’s interesting in this domain is that. In a sense, if you take something simple like transcription it doesn’t seem like something that should be very hard to do for a model. It’s essentially, it’s pattern recognition. It’s classification on this. Models are very good at classifying, right?

Что интересно в этой области — в каком-то смысле, если взять что-то простое вроде транскрипции, не похоже, что это что-то очень сложное для модели. По сути, это распознавание паттернов. Это классификация — модели очень хорошо классифицируют, верно?

Or nonetheless, when you talk to them it’s not there yet, right? It’s not, you don’t talk to them the same way you talk to a person. On something, maybe people don’t realize it. It’s in English it’s still much better than in any user language, even compared to French instance. If you talk to this million in French, when you see people talking to this they’ll talk very slow.

Тем не менее, когда вы с ними разговариваете, это ещё не на том уровне, верно? Вы не говорите с ними так же, как с человеком. О чём-то люди, возможно, не осознают — на английском всё ещё гораздо лучше, чем на любом другом языке, даже по сравнению с французским. Если говорить с моделью на французском, видишь, как люди разговаривают — они говорят очень медленно.

They’ll articulate as much as they can. So it’s not natural, right? We’re not yet to this. And I think, yeah, maybe the next generation will not know this, but yeah, I think people that. But our edge will actually always keep this bias speaking very slowly when they talk to this model. Even if maybe, probably in a couple of years, maybe next year it’ll not be necessary anymore.

Они артикулируют максимально. Так что это не естественно, верно? Мы ещё не дошли до этого. И думаю, может быть, следующее поколение этого не будет знать. Но люди... наш век будет всегда сохранять эту склонность говорить очень медленно, когда они разговаривают с этой моделью. Хотя, может быть, года через два, может, в следующем году это уже не будет нужно.

But yeah. But what’s interesting is to see that yeah, even for like languages [00:16:00] like yeah, French and Spanish Germans that are not no, no resource on religion. You have a lot of audios there on still it’s not as good. And I think a consequence. Because then for this, I suppose just is not as much energy, as much effort that has been put done in some other mod that for some vision or like coding.

Но интересно видеть, что даже для языков [00:16:00] вроде французского, испанского, немецкого, где нет проблем с ресурсами для распознавания. Аудио там полно, но всё равно не так хорошо. И как следствие. Потому что для этого, я полагаю, было вложено не столько энергии и усилий, как в других модальностях, таких как vision или coding.

But but yeah, there’s still a lot of progress to be done. I think it’s just a question of doing the work and it’s clear path I think to get there.

Но прогресса ещё много можно сделать. Думаю, это просто вопрос работы, и путь к этому ясен.

Pavan: It’s a little fascinating because I worked on Google Assistant I think while back at this point, but it’s, I think it’s, it like when you take a step back, it’s fascinating.

Pavan: Это немного завораживает, потому что я работал над Google Assistant какое-то время назад, но если шагнуть назад, это завораживает.

It’s not that long ago. It was like four years ago or five years ago, and it’s now it’s completely audio in, audio out and the function calling and the whole thing happens completely end to end. And in a very natural,

Это было не так давно. Лет четыре или пять назад, а теперь это полностью audio in, audio out, и function calling, и всё происходит полностью end-to-end. И очень естественно,

swyx: yeah,

swyx: да,

Pavan: natural way and still ways to go. Kim was telling, even despite all the previous, it’s not like you’re speaking to a person.

Pavan: естественно. И ещё есть куда расти. Guillaume говорил, даже несмотря на всё предыдущее, это не как разговор с человеком.

When you talk to any of these agents, bots, or voice mode kind of situation, it’s still like a gap. I think that’s the great part and I feel like with even the existing [00:17:00] stack, we should be able to get to this very natural speech conversational abilities soon enough I guess.

Когда вы говорите с любым из этих агентов, ботов или voice-режимов, всё равно есть разрыв. Думаю, это отличная часть, и я чувствую, что даже с существующим [00:17:00] стеком мы должны вскоре быть способны прийти к очень естественным разговорным способностям.

And we’ll also hope. I get that

И мы тоже надеемся туда добраться.

Guillaume: on this kind of the next step, right? Because when you talk to these agents, like usually people are just writing to them and sometimes they’ll this very clear, for instance, you are, you want to write code, but you are, you have a very clear idea of how you want the model to implement what you in mind.

Guillaume: Это как бы следующий шаг, верно? Потому что когда вы разговариваете с этими агентами, обычно люди просто пишут им, и иногда им это очень ясно — например, вы хотите написать код, но у вас есть очень чёткое представление о том, как вы хотите, чтобы модель реализовала задуманное.

But so here you are able to spend a lot of time writing. So it’s not really efficient on audio is really like a natural interface that is just not there yet, but I think it’s just gonna be the place.

Так что здесь вы можете тратить много времени на написание. Это не очень эффективно, тогда как аудио — это действительно естественный интерфейс, которого пока нет, но думаю, это просто станет нормой.

Vibhu: How’s it like building, serving, inferencing, like we see a lot about, it’s very easy to take LMS off the shelf, serve them.

Vibhu: Каково это — строить, обслуживать, делать инференс — мы много видим, что очень легко взять LLM с полки, обслуживать их.

Fine tuning, deploying. I know you guys have a whole you have Ford, you have a whole stack of customizing, deploying. Is there a lag in getting that. Like distribution channel. Are you helping? There is. So like prompting, lms, you can have them be concise, verbose, all that.

Файнтюнить, развёртывать. Знаю, у вас есть Forge, у вас целый стек кастомизации, развёртывания. Есть ли задержка в получении этого канала дистрибуции. Вы помогаете? То есть промптинг — LLM можно сделать краткими, многословными, всё такое.

They’re built on LM backbones, these models. How do you see all that?

Они построены на LLM бэкбонах, эти модели. Как вы видите всё это?

Enterprise Deployment and Privacy

Корпоративное развёртывание и приватность

Guillaume: Yeah, I think this is a lot of what we’re doing with our own customers. Very [00:18:00] often they come to us, so it’s for different reasons. I think one reason is sometimes they have this lot of privacy concerns.

Guillaume: Да, это многое из того, что мы делаем с нашими клиентами. Очень [00:18:00] часто они приходят к нам по разным причинам. Думаю, одна причина — иногда у них много опасений по приватности.

They have this data that it’s very sensitive. They don’t want data to leave. The companies, they wanted to stay. Inside the company. So we have them deploy model in-house. So either on a, either on premise or on private cloud. So they’re not worried that it’s given to a third party on the there some leakage.

У них есть данные, которые очень чувствительны. Они не хотят, чтобы данные покидали компании, хотят, чтобы они оставались внутри компании. Так что мы развёртываем модель у них в-house. На premise или в private cloud. Чтобы они не беспокоились, что они переданы третьей стороне с возможностью утечки.

Sometimes they have this kind of many companies have this different, sensitivity of data they have like sometimes channel chat can send it to the cloud has to stay there. So then it creates some kind of heterogeneous workflows where it’s annoying. You cannot send some data to the cloud.

Иногда у многих компаний есть разная чувствительность данных. Иногда канальный чат может отправить в облако, должен там оставаться. Это создаёт гетерогенные workflows, которые раздражают. Эти данные нельзя отправлять в облако, эти можно. Здесь, когда мы развёртываем модель для них, у них нет этой заботы. Они не беспокоятся, что это утечёт. Всё намного проще. Мы помогаем им сделать это, в основном. Это одно из value proposition. Но другое — очень часто, когда клиенты используют off-the-shelf закрытую модель, очень грустно, что они не используют данные, которые они собирали четыре года или десятилетия.

This one you can, so here, when we actually deploy the model for them, they don’t have this consideration. They are like not worried that, this is going to leak. Everything is much easier. So we help them basically do this on the, so it’s one of the very proposition. But but the other is very often, when customers use this off the shelf close model, but very sad is that they are not leveraging, these data that have been collecting for four years or something for decades.

Так много данных. Иногда триллионы токенов [00:19:00] данных в очень специфическом домене. Их домен — данные, которые вы не найдёте в публичном интернете. Данные, к которым закрытые модели не имеют доступа, на которых было бы действительно хорошо обучить. Если используются closed-source модели, они по сути не пользуются всеми этими знаниями.

So much data. Sometimes it’s trillions of tokens of [00:19:00] data in a very specific domain. Their domain, which is data that you’ll not find in the public, on the public internet. So data on which, like close model, we actually not have access to one, which that’s going to be really good. So if they’re using like closed source models are basically not benefiting from all these insights.

Всеми этими данными, которые они собирали годами, можно всегда подавать в контекст во Франции, но это никогда не так хорошо, как если действительно обучить модель на анализе. Это, по сути, то, что мы помогаем им делать. Мы предоставляем покупки, в основном то, что мы анонсировали на GTC на этой неделе.

All these data they have collected three years, they can always give it into the context that in France, but is never as good as if you actually train the modern analysis. So yes, that’s basically what we help them to do. We actually provide them some purchase, basically what we announced at GTC this week.

Мы предоставляем им платформу с множеством инструментов для обработки данных, обучения на них. Да, это на самом деле то же самое, что мы используем в команде science. Так что это действительно протестированная инфраструктура с эффективным training cut base.

So we provide them with this, it’s basically like a platform with a lot of tools to actually help them process data. Trained on that. Yeah, it’s actually the same thing that we’re using in the science team. So it’s actually very better tested infrastructure, like a lot of efficient training cut base.

Для качественного pre-training, fine-tuning, даже делая SFT, RL. Мы помогаем им делать это, используя те же инструменты, что строит и использует наша команда science. Поскольку это инструменты, которые мы используем уже два года, они хорошо протестированы, действительно сложные.

For a quality pre-training like a fine tuning, even doing S-F-T-I-L. So we help them do this using the same tools as what our science team is building is using. So since it’s tools that we’ve been using for two years now, it’s really better tested. It’s really sophisticated.

Это то же самое, что мы даём им, давая компании то же самое [00:20:00], что мы используем внутри для построения собственного AI, и это действительно делает огромную разницу. Думаю, иногда клиенты и многие в целом не осознают, насколько модель становится лучше, когда вы дообучаете её на собственных данных.

So it’s the same thing. We are giving to them, giving the company the same thing [00:20:00] that what are same still using internally actually build their own ai and it makes a really big difference. I think sometimes customers. And many in general don’t realize how much better the model becomes when you fine tune it on your own data.

И вы можете — ваша модель здесь, вы начинаете оттуда. У вас есть closed source модель примерно здесь, но если вы действительно дообучите, можете уйти гораздо дальше. И тогда у вас огромное преимущество. Модель обучена на всех знаниях вашей компании, она знает всё.

And you can have a, your model is here. You start from there. You have a cross source model, which is sort here, but if you actually fine tune it can actually really go much further than this. And then you have a very big advantage. The model is trained on your entire company knowledge, so it knows everything.

Не нужно подавать 10K токенов контекста при каждом запросе. Это намного проще. Использование closed source модели — это действительно грустно, потому что вы не используете все эти данные и будете использовать ту же модель, что и все ваши старые конкуренты, тогда как вы используете всё, что собирали годами, что действительно ценно.

You don’t have to feed like 10 K tokens of contact at every query. So it’s it’s much easier. It’s a bit, I think using a closed source model is really sad because it basically puts. You are not leveraging all this data and you are going to be using the same model as all your old competitors when you’re actually using, everything you have been collected for years, which is really valuable.

Так что мы помогаем клиентам это делать. У нас много решений. Я имею в виду, у нас инженеры, которые приходят в компанию и смотрят на проблемы, с которыми сталкиваются клиенты, смотрят, с чем они борются, что нужно сделать, чтобы решить. Мы помогаем им решать вместе.

So yeah. So we help basically customers do this. We have a lot of solution I mean deployed for engineers that go in the company that basically look at the problem customers are facing to look at what they’re struggling to do what we should do to solve it. So we help them solve them together.

То есть наш подход немного другой, но здесь, [00:21:00] в некоторых других компаниях и конкурентах, мы не просто релизим endpoint и продаём что-то поверх, или не просто даём checkpoint. Мы действительно работаем очень тесно с клиентами. Смотрим на их проблемы, помогаем их решать.

So it’s I think our approach is a bit different, but here. [00:21:00] Some of their companies and competitors, it’s, we don’t just release an endpoint on sale, do some stuff on top of that, or we don’t just give a checkpoint. We really look very closely with customers. We look at the issues they have, we had them solve them.

Делаем действительно индивидуальные решения для клиентов. Несколько примеров — иногда у нас клиенты, которые хотели действительно хорошую модель, действительно производительную в некоторых, например, азиатских языках. Если взять модели с полки, они могут говорить, могут писать на этом языке, но не потрясающе.

We really make some tailored solution for the client are facing. Some example are also going to be, sometime we have some customers. They really wanted to have a really good model, really performance on some, like Asian languages on the, if you take some of the shelf models, they can speak it, they can write in this language, but it’s not amazing.

Этот язык был бы около нуля или 1% от смеси. Так что он был включён во время обучения, но очень мало. Что мы сделали — мы обучили новую модель для них, но этот язык составил 50% смеси, так что он гораздо сильнее. Она знает диалекты, знает всё.

This language would be like maybe zero 1% of the mixture. So it has been included during training, but very little. So what we did here is upgrade. We trained a new model for them, but so this language was 50% of the mix, so it’s much, much stronger. It knows of the dialects, it knows the, so it’s yeah.

Это пример того, что мы можем делать, и это действительно индивидуально. У нас были клиенты, которые хотели 3B модель, которая делает аудио с очень хорошим function calling. Что-то, что хотели поставить в машину. Они хотели, чтобы это было офлайн, потому что в машине не всегда есть доступ к интернету.

So it’s some example of things we can do and it’s really arbitrary, custom. I think you had some of their customers, for instance, they wanted some. They wanted some 3D model that can do audio with a very good function cable. So something you wanted to put in the car in particular, they wanted this to be offline because in a car you don’t necessarily have access to internet.

Так что [00:22:00] мы можем строить решения. В интернете нет модели из коробки на этот счёт. У вас есть очень общая модель, generalist, сильная модель. Но для таких вещей всегда нужны конкретные решения. И по другим причинам.

So [00:22:00] yeah. So here we can actually build the solutions. There is no like model out of the box on this. In the internet you have this very, you have this very general model generalist, like he’s strong model. But for things like this, they always want at specific solutions and on some other reasons.

Иногда они приходят к нам, потому что они экспериментировали с какой-то closed source моделью, сделали прототип, довольны тем, что построили. Работает хорошо, довольны производительностью, и потом хотят пойти в продакшен и анализируют. Но это чрезвычайно дорого.

Sometimes they come to us is because, like they, they experiment with some closed source model. They get some prototype. They’re happy with what they build. They, it works well. They’re happy with the performance, and then they want to go to production and then they analyze. But it’s extremely expensive.

Не получится это пушить. Тогда они возвращаются к нам, что мы можем помочь им построить то же самое, но используя что-то гораздо более дешёвое. И здесь иногда можем сделать что-то в 10 раз дешевле, просто дообучив модель, и это будет лучше on-prem на их старом сервере и также гораздо дешевле.

You cannot push this. It’s so then they come back to us on this. They can help us build the same thing as this, but using something much cheaper on here. And here we can sometime be something 10 x cheaper by just functioning a model and it’ll be better OnPrem on their old server and also much cheaper as well.

Так что да,

So yeah,

swyx: вот и pitch. Бери все

swyx: that’s the drop pitch right there. Take all the

деньги.

money.

Vibhu: И помимо этого, вы выпускаете open weight модели, чтобы люди могли делать это сами. Чувствую, недостаточно людей выходят из своей зоны комфорта.

Vibhu: And outside of that you do, we do put open wave models so people can do this themselves. I feel like not enough people go outta their way.

swyx: Они не пойдут, они попросят его сделать как эксперта. Я

swyx: They’re not going to, they’re gonna ask them to do it as the expert. I

Guillaume: думаю, изначально мы не знали, [00:23:00] мы хотели полностью этого в начале компании. Думаю, наша стратегия была не совсем такой, как сегодня, но мы недооценили изначально сложность развёртывания этих моделей и подключения их ко всему, чтобы быть уверенными, что у них есть доступ к знаниям компании. И это было — мы видели, как клиенты борются с этим, но это было ещё три года назад, и теперь всё гораздо сложнее, потому что теперь у вас не просто текст SFT на простом instruction following.

Guillaume: think initially we didn’t know, [00:23:00] we wanted completely short at the beginning of the company because, I think our study was not exactly the same as what it is today, but what we underestimated initially is the complexity of deploying this model and connecting them to everything to be sure it has access to the company knowledge on the, and it was, yeah, on, we were seeing customers struggling with this, but it was even, that was three years ago and no, things are much more complicated because now you don’t just have, text on SFT on a simple instruction following.

У вас reasoning, агенты, инструменты. У вас мультимодальность, аудио, так что всё гораздо сложнее, чем раньше. И даже тогда клиентам было сложно. Так что им действительно нужна поддержка, и поэтому мы предоставляем forward deployed позиции. Процесс

You have reasoning like your agents, you have like tools. You have a multimodal audio, so it’s much more complicated than before. And even back then it was hard for customers. So they really need, have some support and this is why actually providing like always some four D position as well. The process

Файнтюнинг и персонализация

Fine Tuning and Personalization

swyx: Мне любопытно — есть ли также фaйнтюнинг голоса, который люди делают?

swyx: I’m curious is there also voice fine tuning that people do?

Pavan: В этом Forge у нас также единый фреймворк. И надежда — speech-to-text, который мы выпустили ранее в этом году. И даже Voxtral chat, который мы выпустили в прошлом году. И я думаю, есть [00:24:00] большая, богатая экосистема людей, делающих fine-tuning Whisper, и люди хотят того же с Voxtral, потому что он гораздо сильнее, чем Whisper.

Pavan: So in this forge we also have a say unified framework. And the hope is like the er speech to text that we released earlier this year. And even the ER chart that we released last year. And I think a big people, I think there’s a big, rich ecosystem [00:24:00] of people fine tuning whisper, and people want the same thing with w so it’s much stronger than Whisper.

И платформа предлагает такой fine-tuning, который может быть любого типа. Например, иногда люди хотят поддержать новые языки для этого — tail-языки, которые мы надеемся покрыть нативно, но если есть язык, где есть данные, и вы хотите дообучить, думаю, это хороший сценарий.

And yeah, the the platform offers that kind of fine tuning yeah, which could be any kind of fine tuning. Like for instance, even sometimes people want to support new languages to this, which are tail languages, which we hope to cover. Certain natively, but if there is a language where you data and you want to frank you, I think this is a good use case.

Или другие сценарии — тот же язык, например английский, но в очень domain-specific виде.

Or the other use cases, you, it’s the same language, like even English but it’s in a very domain specific way.

swyx: Да. Терминология, жаргон, медицинские штуки.

swyx: Yeah. Terminology, jargon, medical stuff.

Pavan: Именно. И также специфические акустические условия — много шума или что-то. И модель будет работать прилично в большинстве условий, но всегда можно сделать лучше.

Pavan: Exactly. And also there’s specific acoustic conditions like there’s a lot of noise or the, and. The model will do decently in most conditions, but you can always make it better.

Это некоторые сценарии, где можно улучшить ещё больше. Это хороший сценарий, а для text-to-speech — мы только что выпускаем, так что поддержка скоро будет. Думаю, похожий сценарий.

And that those are some of the use cases where you can improve it e even further. And that’s one good use case for this and for text to speech. We’re just releasing it so we’ll have support for that soon too. I think it’s similar use case.

Персонализация голоса

Voice Personalization

Pavan: Немного другое — то, как вы хотите расширить [00:25:00] text-to-speech модель: персонализация голоса, voice adaptation для предприятий.

Pavan: It’s little different the kind of things that you want to extend a [00:25:00] text to speech model to, which could be like voice personalization, voice adaptation for enterprises.

Многим предприятиям нужен очень специфический тон, очень специфическая личность для такого голоса. И всё это — хорошие сценарии для fine-tuning.

Many enterprises need very specific kind of tone, very specific kind of like personality for this kind of voice. And all of those are like good use cases for fine tuning.

swyx: Это я хотел спросить — мы никогда не говорили о клонировании голоса. Насколько это важно?

swyx: This one I was gonna ask you, we never talked about cloning voice clothing here. How important is it, right?

Я могу клонировать голос известного человека. Окей. Но

Like I can clone a famous person’s voice. Okay. But

Pavan: основной сценарий был бы для корпоративной персонализации. Предприятиям нужно много кастомизации. Вы не хотите один и тот же голос для всех предприятий. Каждое предприятие хочет кастомизированный, специализированный голос, представляющий и их бренд, и их соображения безопасности. Думаю, то, что вы развернули бы как эмпатического ассистента в контексте healthcare, будет очень отличаться от того, что было бы в customer support боте, и отличаться от более разговорных аспектов.

Pavan: the main use case would be like for enterprise personalization, like enterprises need like a lot of customization. You don’t want the same. Voice for all the enterprises. Each enterprise want a customized, specialized something which is representative both their brand and also their, I guess safety considerations and the use case I think the kind of thing that you would deploy as a empathetic assistant in the context of a healthcare domain would be very different from the kind of thing that would be in a customer support bot and would be different from like more conversational aspects.

Я думаю, такие [00:26:00] кастомизации можно ожидать от предприятий. И это основной сценарий, по крайней мере с нашей стороны.

I think those are the. [00:26:00] Customizations you would expect from enterprise. And that’s the main use case, at least from our side.

Vibhu: Мой базовый пример — вы не хотите звонить в customer service и слышать тот же самый голос. Это будет странно.

Vibhu: My, my basic example is you don’t want to call to customer services and have the same exact voice. It’s just, it’s gonna be weird.

Модели длинной речи

Long-Form Speech Models

Модели длинной речи

Long-Form Speech Models

Vibhu: Но также на технической стороне — в Voxtral было несколько вещей, которые показались мне интересными.

Vibhu: But also on the technical side of this, so there’s like a few things in TRO that I thought were pretty interesting.

Он большой фанат этой статьи. Он сказал, очень хорошая статья. Сказал, это лучшая ASR-статья, которую он когда-либо читал. Я достаточно хайпил эту voice статью. Мы её освещали. Где-то, но большая вещь — Whisper известен 30-секундной генерацией, 30-секундной обработкой. Вы расширили это до 40 минут. В статье было много хороших деталей о том, как это сделано.

He’s a big fan of this paper. Oh, he said very good paper. He said this is the best SR paper he’s ever read. Yeah. I’ve hyped up this voice paper enough. We covered it. Somewhere, but a big thing. So Whisper is known for 32nd generation a 32nd processing. You extended this to 40 minutes. There was a lot of good detail in the paper about how this was done.

Даже мелкие ниши — например, padding. Нужно иметь этот padding, генерация синтетических данных вокруг этого. Хочу узнать, можете ли поделиться тем же про новую text-to-speech. Как вы генерируете long-form, связную речь?

Even little niches of how the padding is. So it’s very much needed. You need to have that padding in there, the synthetic data generation around this. I’m wondering if you can share the same about the new speech to text, right? Text to speech. So how do you. How do you generate long form, coherent?

Как вы это делаете? И есть ли gems? Будет статья?

How do you generate, how do you do that? And then any gems? Is there gonna be a paper?

Pavan: Да. Будет технический отчёт. Окей. Да, там будет много деталей.

Pavan: Yeah. Yeah. They would be a technical report. Okay. Yeah. I think I could have a lot of details.

Real-time достижения энкодеров

Real-Time Encoder Advances

Pavan: Но я думаю, [00:27:00] резюме — некоторые соображения в этой статье были потому, что мы начали с Whisper-энкодера как отправной точки, а теперь у нас собственные энкодеры — например, real-time модель, которую мы выпустили в январе.

Pavan: But me I think the [00:27:00] summary of it, actually, some of the considerations in this paper were, because we started with the wipa encoder as the starting point, and now we have in-house encoders, like the bigger time model, for instance, which we released in January.

Также есть технический отчёт для этой real-time модели, это dual-stream архитектура. Интересная архитектура, стоит посмотреть. И там у нас causal-энкодер, и я не думаю, что в сообществе есть сильный многоязычный causal-энкодер. Так что мы посчитали, это хороший вклад.

Also release a technical report for that real time model as well, which is this dual stream architecture. It’s an interesting architecture. You should check it out. And there we have a causal encoder and I don’t think there’s any strong, multilingual causal encoder out in the community. So we thought it’s a good contribution.

Это хороший энкодер, который люди могут адаптировать. И мы обучили его с нуля. Думаю, наш стек теперь достаточно зрел, что мы можем обучать супер-сильные энкодеры. И некоторые соображения, вроде padding и подобного, — это функция Whisper-энкодера.

So that’s one nice encoder there. Other people want to adapt. That’s a good end code. And we train it from scratch. I think her. Post stack is now mature enough that we are able to train super strong ENC codes. And some of these considerations, like spatting and stuff, is a function of the Whisper ENC code.

А теперь, когда мы обучаем энкодеры in-house, дизайн-соображения другие.

And now that we train encoders, inhouse the design concentrations are different.

Масштабирование контекста для TTS

Scaling Context for TTS

Pavan: А на вопрос о text-to-speech, думаю, это также опирается на оригинальный авторегрессивный декодер-бэкбон. Думаю, очень похожие соображения. Long-context — это даже не long con [00:28:00], потому что модель обрабатывает аудио на 12.5 Гц, так что одна секунда мапится в 12.5 токенов.

Pavan: And for the question on text to speech, I think that’s also leans onto the original auto aggressive decoder backbone. I think, it says very, almost identical considerations. I think the long context in it’s not even long con, [00:28:00] so the model processes audio at 12.5 herds, so one second maps to like 12.5 tokens.

Так что одна минута — это около 7.8 токенов... до 10 минут в контекстном окне 8K, а полчаса — в 30K. Это 32K контекст — то, на чём мы очень комфортно обучаемся. Можем расширить даже дольше. 148K. Окей. Можно естественно видеть, как это можно расширить до даже более длинных генераций.

So I think one minute is like 7.8 tokens. You can get like up to 10 minutes in eight K context window and get half an hour and 30 K context window. So that’s and 30 2K context is something that’s we are very comfortable training on. We can extend it even much longer. 1 48 K. Okay. You can naturally see how it can extend to even our long generations.

Да. Нам нужен правильный рецепт данных и алгоритм, чтобы работать связно через такой длинный контекст. Техники в чём-то очень похожи на моделирование long-context для текста. Ключевые отличия — просто делать flow matching авторегрессивно вместо предсказания текстового токена.

Yeah. We need the. Like data recipe and the whole algorithm to work coherently enough through such long context. But the techniques are some way very similar to the text, long context modeling. And the key differences, it’s just doing flow matching order regressively instead of a text open prediction.

swyx: Окей. Думаю, это большая часть голосовых вопросов, которые у нас были. Но

swyx: Okay. I think that was most, most of the sort of voice questions that we had. But

Что делает модель маленькой

What Makes a Model Small

Vibhu: У меня большой вопрос про Mistral Small. Что такое small? Как мы определяем [00:29:00] small? Что это? Помню дни Mistral 7B на моём ноутбуке. Едва влезала на ноутбук. Я мог запустить её на большом ноутбуке, но

Vibhu: I have a big question on Mr. Al, Mr. Small. So what is small? How do we define [00:29:00] small? What is this? What is this? I remember the days of Misal seven B on my laptop. The snuff fitting on my laptop. I could run it on the big laptop, but

Guillaume: это просто вопрос терминологии. Здесь то, что мы сделали — это базовое количество активных параметров, но правда, не дали ему другое имя, но да, мы могли назвать medium, только я,

Guillaume: it’s just additional.

я полагаю, это модель, которую мы выпустили, mixture-of-experts. Это модель, которая объединяет разные модели, которые раньше мы делали так же — у нас была одна модель, общая модель для Mistral, делающая instruction following, отдельная модель для девелопмента, специфичная для кода, и другая модель для reasoning Mistral.

Question of terminology, like here what we did, baseball is north active parameters, but it’s true. Really not give it another name, but yeah, we could have called it medium, but only, I,

Это были отдельные артефакты, построенные разными командами в Mistral. И что мы делаем — мы по сути сливаем всё это. Был Pixtral Mistral — первая vision-модель, отдельная модель, но способ, которым мы делаем вещи внутри — у нас одна команда фокусируется на одной способности, строит одну модель.

I suppose it’s a model that we released mixture of experts. It’s a model that combines different model before which we were doing the same, is that we had one model, general model for Israel. Doing instruction following, were like a separate model that was Devrel trial. So qu coding specify specific to code with another model for Reason Maal.

Когда она достаточно зрелая, мы решаем слить это в [00:30:00] матрицу. Здесь это был первый раз, когда мы по сути соединили всё это в одно. Но есть некоторые вещи, которые мы делали впервые тогда, для объединения, например, больше способностей или function calling — это будет гораздо, гораздо лучше на платформе Mistral Small.

So this were separate artifacts built by different team at trial on what we’re doing is basically merging all of this. It was, you had pixel trial was the first vision model. We was like a separate model on the way we do things internally is that we have one team focus on one capability, build one model.

Это наша последняя модель, над которой мы работаем.

On the means mature, mature enough, we decide to merge this into the [00:30:00] matrix. But here it was the first time we basically match all of this into one. But there are some other things we did at first time to merge time, for instance, like more capabilities or function coding I think would be, are, it’s going to be much, much better in this trial, small platform.

Vibhu: И да, ключевые штуки — она очень разреженная, 6B активных, довольно эффективно обслуживать. 256K контекст. Да,

But but yeah, so it’s our latest model on the working is,

Объединение способностей vs специалисты

Vibhu: and yeah, key things is it’s very sparse. Six, be active pretty efficient to serve. 2 56 K context. Yeah,

swyx: Что интересно — это общая теория разработки индивидуальных способностей в разных командах и затем объединения их.

Merging Capabilities vs Specialists

Куда это приведёт?

swyx: I think what’s interesting is just this general theory of developing individual capabilities in different teams and then merging them.

Vibhu: Мы видели пять вещей, собранных вместе. Да. Какие следующие пять команд?

Where is this going gonna end up?

swyx: Думаю, на самом деле OpenAI отошёл от оригинального видения 4o omni-модели. Это то, что они продавали. Все модальности на вход и все модальности на выход.

Vibhu: Like we’ve seen the five things put together in this. Yeah. What are the next five teams?

Но чувствую, вы можете это сделать.

swyx: I think actually OpenAI has gone away from the original four Oh. Vision of the Omni model. This was what they were selling. All modalities and all modalities out.

Guillaume: Думаю, есть некоторые модальности, где это не конкурентоспособно. Например, для аудио. Здесь, если вы хотите делать транскрипцию, нет смысла использовать большую модель. Если вы просто хотите транскрибировать, это будет очень неэффективно. Если хотите делать аудио, вы, вероятно, хотите быть [00:31:00] 3B-моделью с такой же производительностью

But I feel like you might do it.

swyx: по сути одинаковой.

Guillaume: I think there’s some mod where it’s not competitive use, for instance for audio. For audio here, if you want to do transcription, I think it makes no sense to use a model. If you just want to trans tech it, it’ll be very inefficient. If you want to do audio, you probably just want to be the [00:31:00] one VR 3D model performance essentially

Это будет невероятно дешевле. Так что здесь мы хотим иметь

swyx: the same.

Guillaume: отдельную, которая делает только это. Да, думаю, вопрос просто — если вы хотите задать модели по речи очень сложный вопрос, как это сделать — каскадировать вещи. Хотите ли вы засунуть всё в модель с одним ключом вокруг? Это не конкурентная дискуссия, не уверен, что вы идёте в этом направлении, но это возможно. Конечно. Но думаю, для нас следующие способности, которые мы хотим интегрировать в эти модели — это, например, маркетинг, или reasoning лучше, больше способностей, о которых не так много говорят, но они на дне, я думаю, для наших клиентов в разных индустриях, например, вещи вокруг legal computer. Эти все вещи модели из коробки не делают хорошо. Потому что люди, если вы не приоритизируете это, нет бенчмарка на это.

It’s going to be incredibly cheaper. So here, that’s why we want

swyx: Это сделано как

Guillaume: to have a separate but just does this. Yeah, I think the question is just, yeah. If you are to, to your model. By speech and you asking like a very complex questions on how you do this on the, just to cascade things. Do you want to put a d in a model that has like a one key around it?

Guillaume: сделать это хорошим — нужно просто делать работу. Извлекать что-то, обрабатывать [00:32:00] выражения. Да.

It’s like a, not a competitive discussion, I think unaware if you doing into the direction, but that’s possible. Of course. But yeah. But I think for us, the next capabilities we want to try to integrate into these models when we are going to be yes, like marketing or no reasoning better, I think more capabilities that people don’t talk too much about, but at high bottom, I think for our customers in our, on different industries, for instance, things are around like a legal computer.

Но мы предлагаем подумать об этом.

I design all these things that is this males out of the box are to put at that. Because people, if you don’t prioritize this, there is not like too benchmark on that. But

swyx: Думаю, для голоса. Да. Ключевая вещь, наверное, за последний год или около того с Veo, Grok Imagine и всем этим — это соединение голоса с видео, верно? Чего люди не понимают — пространственный звук, потому что большинство TTS — это просто «я говорю в микрофон в идеальном студийном качестве».

swyx: this done how to

Но когда есть видео, голос движется.

Guillaume: make this good and this just start to do the work. Extracting some that processing it [00:32:00] expression. So yeah.

Pavan: Это правда. Соображение было немного другим в том смысле, что там это standalone артефакт, где вы получаете всё и потребляете. Но в разговорной обстановке нужна экстремально низкая задержка.

But we are offering the imagine to this.

swyx: Да,

swyx: I think for voice. Yeah. The key thing I think over maybe like the last year or so with VO and gr Imagine and all these things is joining voice with video, right? Which people don’t understand spatial audio because like most TTS is just oh, I’m speaking to a microphone in perfect studio quality.

Pavan: стриминг был бы одним из основных соображений.

But when you have video, like the voice moves around.

swyx: Можно построить гигантскую компанию, делая только это. Так что не нужно делать голос, но я просто говорил на тему слияния модальностей — это то, что меня удивляет, я как «вау». Все до, скажем, середины прошлого года просто делали эти пайплайны: окей, мы соединим TTS-модель с voice штукой и lip sync [00:33:00] штукой, и что там ещё.

Pavan: That’s true. The constitution was a little different in the sense that there it’s like a a standalone artifact where you get the whole thing and you consume it. But in a conversational setting, it’s a, you need the extreme low latency.

Нет. Просто гигантская модель. Да.

swyx: Yeah,

Миссия open source

Pavan: streaming would be one of the primary concentrations.

Vibhu: У меня вопрос из двух частей. Первая — это всё ещё открыто. Похоже, open source всё ещё очень важен для того, что вы делаете, и я просто должен упомянуть вашу статью. Январь 2024. Это одна Mistral of experts. Очень фундаментальное исследование, как делать хорошо.

swyx: You can build a giant company just doing that, right? So you don’t need to do the voice, but I was just know on the theme of merging modalities, that is something I, I am like, wow. Like I didn’t, everyone up till, let’s say mid last year was just doing these like pipelines of okay, we’ll stitch a TTS model with a voice thing and a lip sync [00:33:00] thing and what have you.

MoE-статья выходит — очень хорошая статья для каждого. Это просто side tangent. Нет.

Nope. Just giant model. Yeah.

swyx: Эта штука была — мы вернули, 8x22 была как ядерная бомба для open source. Думаю, нужно больше 7B. Да. Да. Но эта стала больше противоположности нам.

Open Source Mission

Да. Я не помню это, помню — не думаю, что это был январь, верно? Это было на NeurIPS, и все на NeurIPS были декабрь, кажется, 25. Да. Модель тоже была.

Vibhu: I have a two part question. So one is, it’s still open. It seems like open source is still very core to what you guys do and I just have to plug your paper. Jan 2024. This is the one trial of experts like. Very fundamental research on how to do good.

Vibhu: Это, наверное, просто маленькое обновление.

Moes paper comes out very good paper for anyone. That’s just side tangent. No.

swyx: Да. Нет, но у тебя есть точка.

swyx: This thing caused, we bring back, eight by 22 was like the nuclear bomb for open source. I think it takes Shouldn be more seven B more. Yeah. Yeah. But this is a bigger opposite than me.

Vibhu: Нет, надо это проверить. Но я хочу услышать больше широко об open source у вас, ребят, и когда вы спросили ранее [00:34:00] о том, что дальше, какие другие, side tapes вы делаете. Вы выпустили Leanstral. Это,

Yeah. Yeah I don’t remember this. I remember, I don’t think it was January, right? It was like new reps it was, it dropped during new reps and everyone in Europes was December of 25th, I think. Yeah. The model was did as well.

swyx: это не обязательно сюрприз. Я был — это не вписывается в моё представление о Mistral.

Vibhu: It’s just a little update probably.

Guillaume: Да. Сначала по open source в целом — это действительно что-то, что относится к генезису компании. Думаю, мы начинали потому, что мы делали open source с самого начала и даже до этого. До этого мы с Tim были в Meta, мы выпустили LLaMA, и думаю, что было действительно приятно.

swyx: Yeah. No, but you have a point to make.

Увидеть, что до этого для большинства исследователей, например университетов, было невозможно работать с LLM. Не было LLM снаружи. И если посмотреть на многие техники, которые были разработаны после, например, open source все эти post-training подходы, например DPO, preference optimization — всё это было сделано людьми, у которых был доступ к этой модели.

Vibhu: No, you gotta check that. But then, I just want to hear more broadly on open source for you guys, and when you had asked earlier [00:34:00] about what’s next, what are the other, side tapes working on you. You put out Lean straw. This,

И это было бы невозможно без этого. Так что это действительно делает движение быстрее. Мы действительно хотим внести вклад в эту экосистему. Думаю, это глубоко и также имеет большое влияние. Все эти статьи в open source community действительно помогают научному сообществу в целом двигаться быстрее.

swyx: it’s not necessarily surprise. I was like, I don’t, this doesn’t fit my mental model or Misra.

Так что [00:35:00] мы хотим внести вклад в эту экосистему. Поэтому мы выпускаем очень детальные технические отчёты. Mistral и наша первая reasoning модель — куча результатов, что работает, что не работает. Думаю, полезно. Да, для аудиомоделей тоже делиться многими деталями, делиться ими для real-time модели.

Guillaume: Yeah. First for open source in general, I think it’s really something which looks to the January of the company. I think we started it per once, is we so we have open sourcing with, since the beginning and even before this. So before this, so me and Tim were at Meta, we released LA and I think what was really nice.

И да, мы хотим продолжать это, по сути принадлежать к этому сообществу людей, которые делятся наукой. Мы действительно не хотим жить в мире, где самые умные модели, лучшие модели только за закрытыми дверями, доступны только нескольким компаниям, которые имеют власть решать, как мы можем их использовать.

To see that before this, for most researchers like universities, it was impossible to work on elements. There was no alien outside. And if you look at many of the techniques that were developed after, for instance, was open source all this post-training approaches like even DPOD, like preference optimization, all of this were done by people that had access to this portal.

Это страшное будущее. Мы не хотим в нём жить, мы действительно хотим, чтобы эти модели были доступны каждому. Интеллект должен быть доступен любому, кто может его использовать. Так что мы продвигаем эту миссию open source модели. Да. Не первая модель, не лучшая на свете. Да.

And it’ll have been impossible to do without this. So it’s really making sense, move faster. So we really want to contribute to this ecosystem. I think like the deep and also like very lot of impact. All these papers that are I think in the open source community are really helping the science community as a whole to move faster.

Lean и формальные доказательства

So [00:35:00] we want contribute to this ecosystem. That’s why we’re releasing very detailed technical reports. So ma trial and our first reason model, and ation, lot of results, things that work, things that did not work as well. Think helpful on the, yeah, so for the audio model also to share a lot of details, share of them for real time model.

Guillaume: Leanstral, я думаю, это тоже шаг в этом направлении. Это немного отличается от того, что мы обычно выпускаем. Но у нас небольшая команда внутри [00:36:00] работает над этим. Формальное доказательство, формальная математика. Думаю, это тема, которая нас в целом волнует, и мы работаем над reasoning. Думаю, мы начали слишком рано — делать reasoning без LLM очень сложно, особенно когда работаешь с формальными системами, потому что количество данных ничтожно.

And the, yeah, so we really want to continue this, basically belong to this community of people who share science. I think we really don’t want to be, leading in a world where the smartest model, the best models are only behind, close doors. Only accessible to a shoe companies that we, as a power to decide we can use them on it.

Это address-able сообщество людей, пишущих формальные доказательства. Но причина, по которой нам это нравится — если посмотреть на то, что люди делают с reasoning, проблемы, которые можно использовать. Обычно это будут проблемы, где можно верифицировать вывод. Например, все эти AIME проблемы, где решение — число от 1 до 1000.

I think it’s a scary future. We don’t want to live in, we really want this model to be accessible to anyone that want. Intelligence to be used unaccessible by anyone who can use it. So yeah, so that’s why we are pushing this mission and source model. Yeah. So not, so yeah, no strategy. So it’s open source, not the first model, so not the best on the Yeah.

Можно верифицировать, сравнить с эталоном или с выражением. Можно сравнить вывод выражения, сгенерированный с эталоном. Но во многих, в большинстве проблем и в большинстве reasoning проблем нет лёгкого способа верифицировать решение. Если вопрос — покажите, что F непрерывна — нельзя сравнить с эталоном, верно?

Lean and Formal Proofs

Если это доказательство, что это верно, или доказательство свойств, нет способа просто верифицировать корректность вашего доказательства. Так что сложно применить — здесь нет верифицируемого вознаграждения. Так что [00:37:00] то, что вы могли бы предоставить, это, конечно, судью, который будет смотреть на ваше доказательство. Но это очень сложно, и может произойти reward hacking.

Guillaume: LIN trial I think is also one step into this direction. So it’s yeah, a bit different than what we are usually releasing. But we have a small team internally [00:36:00] working on them. Formal proofing, formal math. So I think a subject we care about in general and we were working on reasoning. I think we started too early before doing reasoning without LMD is very hard, especially when you work with formal systems because the amount of data you have is negligible.

Так что это сложно. Можно предоставить эталонное доказательство, но есть много способов доказать одно и то же. Если модель даёт негативное вознаграждение, потому что это другое доказательство, может быть, это всё равно валидное доказательство, просто другое. Так что не сработает хорошо. Что приятно с Lean и с формальным доказательством — не нужно беспокоиться об этом вообще.

It’s addressable community of people writing like formal proofs. But the reason why we like it is because I think there is if you look at what people are doing with reasoning, is there, the problems that you can use. Are usually going to be problems where you can verify the output. So for instance, all this ai ME problem where the solution is a number between 100, like a thousand.

Мы просто,

So you can verify, compare this with a reference or it’s an expression. You can actually compare the output expression generic with the reference. But there are many, most of them have problem and most of the reason problem. There is no like way to easily verify the solution. If the question is show that F is continuous, cannot compare in the reference, right?

swyx: функция, которая в основном компилируется в Lean, функционально та же самая. Именно.

If it’s a probe that this is true or probes is properties, there is no way to. You cannot act, simply verify the correctness of your proof. So it’s hard to apply the, there is no referable reward here. So [00:37:00] what you could provide is of course, like a judge and judge that will look at your proof. But it’s very hard and it’s very, you could do certain, some reward hacking happening there.

Guillaume: Если она компилируется, она корректна. Это очень легко. И можно применить, и тогда можно,

So it’s difficult. You could provide like a reference proof, but then there are also many ways to prove the same thing. So if the model says give negative reward because it’s a different poop, maybe it was still digit proof, just different. So it’s not going to work well. What’s nice with lean and with formal probing is that you don’t have to worry about this whatsoever.

swyx: это просто слишком маленькое. Так что ни один человек не пойдёт и не сделает это.

We just,

Guillaume: Да, именно.

swyx: they’re all function is largely compiles in lean is functionally the same. Exactly.

Это могут сделать только люди — очень маленький круг людей, делающих PhD на эту тему. Так что это супер мало. И это грустно, потому что это очень полезно не только для матема, но и для верификации программного обеспечения. Например, верификация ПО сегодня — крошечный рынок. Очень мало индустрий работают над этим, и нам это нужно.

Guillaume: It’s like a problem if it compiles it’s correct. It’s very easy. And you can apply this and then you can,

Обычно это компании, строящие самолёты, аэро-робототехнику,

swyx: it’s just way too small. So no human will actually go and do it.

swyx: вроде

Guillaume: Yeah, that’s exactly.

Guillaume: вещей [00:38:00], где они абсолютно хотят быть уверены. Жизнь зависит от этого, но очень редко люди формально верифицируют корректность своего ПО. Думаю, одна из причин — это просто сложно делать.

It’s the only people can do it. It’s like a very small committee of people doing a PhD on that. So it’s super small. And it’s sad because it’s actually very useful on not just mat, but also in software verification. So for instance, software verification today. So tiny market. Very few industries work on this and we need that.

swyx: Вы думаете о TLA+? Это язык, который некоторые люди используют для верификации ПО? Нет. Что люди используют в [не уверен], но да, причина, по которой люди не используют это больше и почему индустрия не такая большая, как могла бы быть — это очень сложно. Но теперь с cutting edge, которые есть, всё будет очень иначе.

It’s usually going to be like companies like building airplanes, air robotics,

Guillaume: Мы увидим гораздо больше этого. Так что да, индустрия будет гораздо больше в будущем — эти модели. Так что да. Здесь, предвосхищая это немного, мы хотели работать над этим, потому что доказательство математической теоремы и, по сути, те же инструменты.

swyx: like

swyx: Да.

Guillaume: things [00:38:00] where they absolutely want to be sure. Life depend on this, but it’s very rare that people formally verify the correctness of their software. But I think one of the reasons for this is simply that it’s just hard to do.

Перенос reasoning и агенты

swyx: Are you think of TLA plus? It’s the language that some people do for software verification? No. That people use in a ference, but but yeah, it’s the reason I think why people don’t use it more and why this industry is not as big as could be is because it’s very hard. But now with cutting edges that are there, it’s going to be very different.

swyx: Одна из моих теорий — поскольку доказательства занимают так много времени, это на самом деле просто прокси для long horizon reasoning, связности и планирования. Многие, возможно, скажут — окей, это для людей, которые любят математику. Это для — окей, это нишевый математический язык. Кому какое дело? Но на самом деле, и если вы используете это как часть data mixture для [00:39:00] post-training и reasoning, это на самом деле может всплеснуть везде.

Guillaume: We’re going to see much more of this. So I think yes, industry there is going to be much larger in the future that we, these models. So yeah. Here also anticipating this a little bit, we wanted to work on that because it’s proving like a math theory and like a, essentially the same tools.

Да. И думаю, это недоисследовано, или никто реально не выпустил окончательную статью о том, как это обобщается.

swyx: Yeah.

Guillaume: Да, абсолютно. И

Reasoning Transfer and Agents

Pavan: Думаю, даже

swyx: One of my theories is that because the proofs takes so long, it’s actually just a proxy for long horizon reasoning and coherence and planning. Maybe a lot of people will say okay, it’s for people who like math. It’s for being okay. It’s like a niche math language. Who cares? But actually, and you use this as part of your data mixture for [00:39:00] post-training and reasoning, actually, it might spike everywhere else.

Guillaume: это то, что мы уже видим. Например, делайте reasoning на математике — американец должен делать reasoning ещё.

Yeah. And I think that’s un under explored or no one’s like really put out a definitive paper on how this generalizes.

Да. На ранней стадии. Есть некоторый перенос, какая-то эмерджентность происходит. И интересно, это не просто тема в целом, но есть много связей с этим, включая агентов. Потому что иногда модель может видеть теорему, которую нужно доказать, она очень сложная, но затем может взять инициативу и сказать — я докажу эту теорему через леммы.

Guillaume: Yeah, absolutely. And

Я предложу леммы, и я в параллели докажу каждую. Три из них параллельно с sub-agents, но я также докажу их в теории и тулом. Так что можно делать это тоже. Довольно интересно. Даже если не получится доказать одну из лемм, можно, может, успешно доказать обычную лемму, так что получаете возможное вознаграждение здесь.

Pavan: I think even

Так что это немного менее спартанский вопрос — просто получить ноль или один за всё. [00:40:00] Так что довольно интересно. Думаю, мы можем,

Guillaume: that’s what we’re seeing already. For instance, you should do some reasoning on math as then the American should do reason even.

Vibhu: да, это также интересный случай просто для специализированных моделей в целом, верно? Cost-вещь, которую вы показываете, довольно интересна — похожий счёт, вы 30, 70, 100, 50, 300 баксов. Меньше.

Yeah. In the early stage. So we, the, there is some transfer, some sort of emergence that happens. And I think some, it’s also interesting, it’s not just I think the topic in general, but it’s, there is a lot of connection with this on including agents because. Sometimes the model can see like a three that it has to prove it’s very complex, but then it can take the initiative to say, I’m going to prove this three lr.

swyx: Думаю, cost немного несправедлив, верно? Потому что это inference cost. Всегда сверху их маржа сверху. Но мы не знаем ничего другого, так что должны разобраться.

I’m going to suggest three Rs, and I’m going to in parallel prove each R. So three of them in parallel with sub agents, but I’m also going to prove them in theory and the three tool so you can do this also. Pretty interesting. You can, even if you fail to put one of the LeMar, you can actually, maybe you succeed to put the normal lema too, so you get some possible reward here.

Vibhu: Окей.

So it’s a bit less Spartan issue, just get to zero one for the entire thing. [00:40:00] So it’s pretty interesting. I think we can actually,

Следующие фронтиры в обучении

Vibhu: yeah, it’s also an interesting case just for specialized models in general, right? Like the cost thing you show is pretty interesting yeah, similar score wise, you are, thirty, seventy, a hundred fifty, three hundred bucks.

Vibhu: Хотел на самом деле надавить на это больше. Не по cost, но вы упомянули — окей, это отличный способ иметь верифицируемый long-context reasoning.

Smaller.

Какие другие фронтиры — уверен, вы работаете внутри — много pushback на pre-training scaling, RL push, compute в сторону того, чтобы более половины training-бюджета было на RL. Где вы видите фронтир исследований в этом?

swyx: I think cost is a bit unfair, right? ‘cause this one is at like inference cost. It’s always there on top with their margins on top of it. But, we don’t know anything else, so we gotta figure it out.

Guillaume: Вы имеете в виду

Vibhu: Okay.

Vibhu: просто в foundation model training в следующем — одна вещь, которую вы делаете, — это фундаментальное исследование с нуля, верно? Так что у вас, наверное, есть действительно хороший взгляд, где [00:41:00] можно это прогнозировать.

Next Frontiers in Training

Guillaume: Да. Думаю, для нас мы всё ещё много работаем на стороне pre-training.

Vibhu: I did wanna actually push on that more. Not on cost, but you mentioned about, okay, it’s a great way to have verifiable long context reasoning.

Думаю, мы очень далеки от ситуации в pre-training. Думаю, ML для pre-training будет большим шагом по сравнению со всем, что мы делали до этого. Мы очень рады этому. И думаю, на другой стороне теперь нужно думать всё больше об этом алгоритме, который будет поддерживать эти очень длинные траектории.

What are other frontiers that, I’m sure you guys are working on internally, there’s a lot of push of people pushing back on pre-training. Scaling, RL pushing, compute towards having more than half of your training budget. All on rl. Where are you guys seeing the frontier of research in that?

Когда было, например, GRPO — это не работает с любой off-policy, что было окей изначально, потому что вы решаете math-проблемы, которые решаются за несколько тысяч токенов. Так что модель может рандомизировать их довольно быстро. Когда делаете обновление, модель никогда не слишком далеко.

Guillaume: You mean the

Она никогда слишком далеко. Но теперь, когда движетесь к таким проблемам, где определённо занимает часы, например, шесть часов, чтобы получить вознаграждение, тогда ваша модель... co pick places. Так что у вас есть новая инфраструктура, которая поддерживает это, но также новые А. Сейчас всё, что мы делаем внутри, мы пытаемся строить инфру, которая предвосхищает то, что у нас будет через шесть месяцев, что является этими [00:42:00] чрезвычайно длинными сценариями. Думаю, когда мы начинали Mistral, часть меня и мы хотели — очень приятный underlying элемент, где люди могут заниматься исследованиями, как, с большим количеством ресурсов.

Vibhu: just in foundation model training in the next, one thing that you guys do actually is you do fundamental research from the ground up, right? So you probably have a really good look at where you can [00:41:00] forecast this out.

Так что было приятно. Думаю, многое изменилось, когда ChatGPT вышел. Думаю, после этого опять то же самое. Но было приятно. И мы тоже хотим работать в этой части скрипта раньше

Guillaume: Yeah. I think for us we’re still working a lot on the pre-training side.

swyx: подходя к концу.

I think we are very far from situational, the pre-training. I think ML four preprinting will be like big step compared to everything we have done before. So we are pretty excited about this. And I think on the other side, I think now we have more and more to think about this algorithm that will actually support this very long trajectories.

Найм и след команды

I think when it was, for instance, GRPO for it doesn’t really work this any bit of policy. Which was okay initially because you are solving math problem that can be solved in like a few thousand tokens. So the model can alize them pretty quickly. So when you do your update, the model is never too far off.

swyx: Мы просто, очевидно, я думаю, вы делаете невероятную работу.

It’s never too far off. But now when you are moving towards this kind of problems where certain takes hours, like six hours to get a reward, then your model is co pick places. So you have bi new infrastructure that supports this, but also new A, so now everything we’re doing internally, we’re trying to. Build some infra that we actually anticipate is what we have in six months, one now, which is this extremely no scenarios on the, I think when we started Missal, part of me and [00:42:00] we wanted to, is very nice under element where people are there, they can do research, they like with a lot of resources.

У вас очень впечатляющее видение для open source и для голоса. На что вы нанимаете? Что вы ищете в тех, кто пытается присоединиться к компании?

So it was nice. I think things changed a lot when I think when J Pity came out. I think after that I think was. This one is same again. But but yeah, but it was nice. And I think we also want to work part of this descrip before

Guillaume: Да, мы нанимаем много людей в нашу команду. Нанимаем во всех наших офисах. Наш HQ во Франции в Париже.

swyx: coming to the end.

У нас небольшая команда в Лондоне. У нас команда в Пало-Альто тоже. Открыли офисы в SAU, в Польше. Один в Цюрихе. Также есть некоторое присутствие в Нью-Йорке тоже, и один в Сан-Франциско. Так что мы в любом случае также нанимаем удалённо. Мы строим команду, пытаясь нанимать очень сильных людей.

Hiring and Team Footprint

Думаю, мы хотим остаться — команда не. Достаточно небольшая команда [00:43:00]. Но думаю, мы хотим сохранить её такой, потому что нам это кажется довольно эффективным. Маленькая команда — они agile, так что да.

swyx: We’re just, obviously, I think you guys are doing incredible work.

swyx: Окей.

You’ve, they are a very impressive vision for open source and for voice. What are you hiring for? What’s the what are you looking for that you are trying to join the company?

AI для науки и партнёрства

Guillaume: Yeah, so we are hiring a lot of people in our sense team. We’re hiring, in all our offices. So we have a, our H two is in France in Paris.

swyx: Сосредоточимся на науке и forward-deployed. Мы на самом деле сильные верующие в науку.

We have a small team in London. We like a team in Pato as well. Co we open some offices in in SAU, in Poland. So one in Zurich. We also like some presence in New York as well on Sooner one in San Francisco. So we all bit either way also like hiring remotely. So we’re going the team trying to hire like very strong people.

Запустили наш новый science-подкаст, который фокусируется специально на AI для науки. Какие области вы считаете самыми перспективными?

I think we want to stay, so the team is not. Instead of fairly small team. [00:43:00] But I think we want to keep it that way. ‘Cause we we find it quite efficient. So like a small team they agile so yeah.

Guillaume: Что нас сейчас очень волнует и что мы уже начали делать — мы, наверное, сможем поделиться больше об этом через пару месяцев — мы исследуем AI для науки.

swyx: Okay.

И есть много областей, где мы думаем, что можно получить чрезвычайно перспективные результаты, если применить AI в этих доменах. Есть много long-inputs. Нужно просто найти эти домены, где AI ещё не был применён, и это обычно сложно делать, потому что люди, работающие в этих доменах, не обязательно знают возможности этих моделей.

AI for Science Partnerships

Они не знают. Я бы просто соединил их. Да, именно. С исследователем — что на самом деле сложно сделать. Но это соединение мы делаем естественно с нашими клиентами. У нас есть компания, с которой мы работаем очень тесно. Например, IBM Andreessen — один из наших партнёров, и мы делаем исследования с ними по другим, тоннам чрезвычайно интересных проблем.

swyx: Let’s focus on science and the forward deployed. We actually are strong believers in science.

Колонки в физике, [00:44:00] в материаловедении, в которых они по сути единственные, кто работает. Потому что они делают что-то, что больше никто не делает. Так что да, есть много доменов, где AI может реально революционизировать вещи. Просто нужно подумать об этом, быть знакомым с тем, что можно сделать или применить.

We started the our new science pod that focuses specifically on the air for science. What areas do you think are the most promis.

Это что-то, где больше моделирования с нашими партнёрами, с нашими клиентами sort AI for science.

Guillaume: What we’re pretty excited about right now, and something we have already started doing or that we’d probably be able to share more about this in a couple of months, is that we are exploring AI for science.

swyx: Да. Окей.

And there are a lot of areas where we think that you could get some extremely promising buzz. If you were to apply AI in these domains. There are a lot of long inputs. You just have to find these domains where actually AI has not been yet applied, and it’s usually hard to do because the people working in those domains don’t necessarily know the capability of these models.

Навыки Forward Deployed

They don’t know. How I would just have to pair them with Yeah, exactly. Your researcher slashing, which is actually hard to do. But this matching, we’re doing it naturally with our customers. So we have some company we are very closely with. So for instance, ISM Andreesen are one of our partners, so we’re doing some research with them on their other, like tons of extremely interesting problems.

swyx: А для forward deployed — что делает хорошего forward deployed engineer, что им нужно? Где люди терпят неудачу?

Columns in physics, in [00:44:00] science matter science that they’re essentially the only ones to work on. ‘cause they’re doing something No, no one else is doing on the, yeah. So there are many domains where AI can actually revolutionize things. Just you have to think about it on you familiar with what can do or to apply it.

Guillaume: Думаю, обычно нужны люди, очень знакомые с технологией и не обязательно с большой исследовательской экспертизой, но которые действительно хорошо используют эти модели — знают как делать fine-tuning, как запустить error pipeline.

So yeah, it’s something where more modeling with our partners, with our customers sort AI for s, but.

И это не просто. Это что-то, что большинство компаний не сможет сделать самостоятельно. Так что здесь нужны люди, которые любят решать проблемы, которые принимают решение сложных, очень конкретных проблем. Это applied science, по сути.

swyx: Yeah. Okay.

Да, думаю, не слишком отличается, думаю, от того, что нужно в исследованиях, потому что вы пытаетесь найти решения проблем, [00:45:00] которые у клиентов ещё нет. Иногда легко, иногда вы здесь, чтобы делать работу. Нужно создавать синтетические данные.

Forward Deployed Skills

Находить edge case. Может быть, да. Зависит от проблемы. Но нужно, думаю, также немного терпения, быть креативным. Думаю, очень похожий навык, азиатский,

swyx: And then for deployed what it makes a good four deployed engineer, what do they need? Where do people fail?

Pavan: разнообразие работы, которую они делают. Это всегда меня удивляет. Это идёт во весь спектр от вещей, с которыми они сталкиваются в индустриях.

Guillaume: I think it’s usually you need people that are very familiar with the tech and not necessarily with a lot of research expertise, but that are actually pretty good at using this model that can actually like that know how to do functioning, that know how to like, start some error pipeline.

Это просто очень интересно. Думаю.

And it’s it’s not easy. It’s something that mucus. Majority of companies will not be able to do this on their own. So here I think we need people that are, that like to solve problems that are accept solving some complex, very concrete problem. It’s applied science basically.

swyx: Какие-нибудь забавные success anecdotes?

And yeah, so I think it’s not too different. I think from the case you need in research because it’s essentially you are trying to find solutions to problems that in [00:45:00] customers have not yet. So sometimes it’s easy. Sometimes you’re here to do the work. You have to like create synthetic data.

Guillaume: Да, это может быть на самом деле обучение этой маленькой модели на edge, которая делает одну конкретную вещь, может быть, как обучение очень большой модели на специфических языках. Сделать модели действительно хорошими в каких-то use case, например, computer-aided design, эти вещи.

Find some edge case. So it can be, yeah. Depends on the problem. But but yeah, you have to, I think it also a bit of patience on the be creative. I think very similar skill is Asian,

Это сочетание с vision. Да,

Pavan: the diversity of the work they do. It always surprises me. It’s it’s, it goes all the way from the kind of stuff they encounter in industries.

Pavan: и обнаружение дефектов для чипов или на заводах — идентификация вещей. Разнообразие может быть в чём угодно, где можно развернуть эти foundation модели. Так что да, работа, чтобы заставить это работать в конкретной обстановке, по сути всё, что нужно, чтобы это добавило ценности в этом workflow.

It’s just very interesting. I think.

Vibhu: Да. [00:46:00] И это идёт через весь стек, верно? Даже просто подтянуть веб-сайт.

swyx: Any fun like success anecdotes.

swyx: Это так широко. По compute это так широко.

Guillaume: Yeah, it can be actually training this small model on edge that just we do one specific thing can be like training some very large model without some specific languages as well. Making models really good at some tube use, like for instance, computer ID design, these kind of things.

Vibhu: Мы даже не затронули — у вас есть coding CLI tool. Одна вещь, которую вы делали, — думаю, первым инструментом были агенты, Mistral agents. У вас был agent builder, можно обслуживать через API и всё такое.

Is that pairing with vision as well? Yeah,

И, полагаю, forward deployed люди.

Pavan: and the fact detection for chips or like in, in factories identifying things like it, the. Diversity could be anything where you can deploy these foundation models. So yeah the work to make it work in that specific setting, basically whatever it takes to make it like add value in that, by the way, workflow.

Guillaume: Да.

Vibhu: Yeah. [00:46:00] And it goes across the stack, right? Like even just pulling up the website like.

Vibhu: Помогают это строить и подобное.

swyx: It’s so broad on compute. It is so broad.

Цикл обратной связи с клиентами

Vibhu: We didn’t even touch on if you have a coding CLI tool. One thing you guys were actually like, I think the first tool was agents, ral agents. You had the agent builder, you can serve it via API and all that.

Guillaume: Это также часть того, почему мы — мы делаем много вещей, но думаю, это также часть value proposition, что иногда клиенты. Они всегда очень осторожны со своими данными и им не нравится доверять стольким партнёрам, доверять одному партнёру для кода, давать данные другой третьей стороне для аудио и ещё одной.

And I’m guessing forward deploy people.

Им это не нравится. Здесь им действительно нравится наш подход, что мы можем помочь им с чем угодно, так что им не нужно отправлять данные стольким облакам. Так что да,

Guillaume: Yeah.

swyx: думаю, FD может быть на много порядков больше, чем research scientists, и им не нужен ваш полный опыт, но они всё равно очень ценны для клиентов.

Vibhu: Help build that out and stuff.

Guillaume: На практике эти две команды [00:47:00] всё ещё довольно переплетены, очень часто. Да. Прежде всего, они используют те же инструменты, тот же data pipeline и всё. Это очень полезно для команды science — получать обратную связь, и solution команды, потому что они могут смотреть, что эти клиенты пытаются делать, это не работает. Это действительно может пойти в следующую версию.

Customer Feedback Loop

Да. Но это по сути real world eval. Да, это real world eval, и это не то, что — например, если вы просто работаете в лаборатории, это просто отгрузка модели. Но вы не делаете эту работу для клиентов. Вы понятия не имеете, хороша ли ваша модель в этом edge case.

Guillaume: It is also why we are, so we’re doing many things, but I think that’s also part of the value proposition that sometime know customers. They’re always very. Extremely careful about their data and they don’t want to, they don’t like, trusting so many partners, trusting one partner for code, giving the data to another third party for like audios and another one.

Например, даже в год вы это обнаружили, верно? Так что да, есть огромный разрыв между публичными бенчмарками, которые очень академичны. На

So they don’t like this here. What they really like with our approach that we can help them on anything so they don’t have to send the data to so many clouds. So yeah,

Pavan: редких случаях — они просто очень разнообразны, и в конкретном контексте клиента можно дообучить и сделать так, чтобы сначала оценить, создать solid eval бенчмарк, и затем измерить в контексте их типа аудио.

swyx: I think that there can be many orders of magnitude more. F Ds then research scientists and they don’t need your full experience, but they’re still super variable to customers

Например, один use case буквально — есть слово для детей, и они должны просто произнести его. Это очень конкретная вещь. Вы просто говорите одно слово и затем ставите оценку, правильно ли ребёнок сделал. [00:48:00] Это очень разнообразные use cases, и идея, что прикладной scientist engineer пойдёт и сделает это лучше.

Guillaume: in practice.

И затем из обучения мы включаем это в саму базовую модель. Так что она просто лучше из коробки.

These two teams [00:47:00] are still quite intertwine, very often. Yeah. So first of all, they’re using the same tools, the same data pipeline and everything on the, it’s it’s very helpful for the science team to get the feedback and the solution team ‘cause they can. Look at these customers are trying to do this.

Vibhu: Да. Это хорошая full circle система. Foundation model evals — это все просто прокси того, что вам действительно нужно. У вас никогда не будет такого, не имеет смысла, чтобы был one-word transcription как этот.

This is not working. It can really be show in the next version. Yeah. But this is basically a real world eval. Yeah, it’s real world eval and it’s not something, for instance, if you’re just working in the lab, it’s just ships model. But you don’t do this work of for customers. You have no idea for whether your model is good at this H case.

Это не то, на что хочется подгонять. Идеально.

For instance, you even in year found this, right? So yeah, there is a very gap, big gap between the public benchmarks that are very like academic. On

Завершение и благодарности

Pavan: the rare cases are just very diverse and in the specific concept of a customer, you can fine tune and make it like first evaluate, create a solid eval, benchmark, and then measure in the context of their, the kind of audio.

swyx: Всем надо посмотреть всё, что Mistral предлагает, и попробовать TTS-модель — линк будет в show notes. Огромное спасибо, что пришли. Спасибо. Такой растяжкой.

Like for instance, one use case is literally just, there’s the word for kids and they have to just say it out. It’s a very specific thing. You’re just saying one word and then you have to you, you’ll grade the kid whether they did it right or not. It’s [00:48:00] like R for, but so there’re very diverse use cases and the idea is that they, the.

Обсуждение этого эпизода

Applied scientist engineer will go and make it better. And then from the learnings we incorporate it into the base model itself. So it’s it’s just better out of the box.

Vibhu: Yeah. It’s a good full circle system. Like the foundation model evals are all just proxies of what you really, you’re never gonna have one that says it, it doesn’t make sense for there to be, a one word transcription like that.

It’s not something you wanna fit on. Perfect.

Wrap Up and Thanks

swyx: Everyone should go check out everything that Michelle has to offer and try the TTS model, which will link in the show notes. But thank you so much for coming tha thanks. Such a stretch.

Discussion about this episode