Why Video Agent models are next — Ethan He, xAI Grok Imagine

Why Video Agent models are next — Ethan He, xAI Grok Imagine

Почему модели видеоагентов — следующий рубеж — Ethan He, xAI Grok Imagine

We’re announcing AIEWF speakers this week! Take the AI Engineering Survey!

На этой неделе мы объявляем спикеров AIEWF! Пройдите опрос AI Engineering!

Today’s guest Ethan first joined us for the LS Paper Club as the lead on NVIDIA Cosmos World Model, but then joined xAI and built Grok Imagine in 3 months:

Сегодняшний гость Итан впервые присоединился к нам на LS Paper Club как ведущий по NVIDIA Cosmos World Model, но затем перешёл в xAI и за 3 месяца построил Grok Imagine:

He comes back on Latent Space with some nuclear hot takes: that Video Models primarily get their intelligence from LLMs, not from training on video data, and that the next frontier for truly interactive, realtime, long-horizon world models is to work on LLMs (perhaps Interaction Models as well…)

Он возвращается на Latent Space с парой ядерно-горячих тезисов: что видеомодели получают свой интеллект главным образом от LLM, а не от обучения на видеоданных, и что следующий рубеж для по-настоящему интерактивных, работающих в реальном времени, рассчитанных на длинный горизонт world models — это работать над LLM (возможно, и над Interaction Models тоже…)

Put it this way: In the near term, the next Sora won’t be a better video model, but a video agent.

Скажем так: в ближайшей перспективе следующая Sora будет не лучшей видеомоделью, а видеоагентом.

Generative Media may more closely follow the evolution of AI coding which went from focusing on one-shot output performance and cost, to multiturn reasoning and planning models for agents and systems that can plan, edit, test, debug, and submit PRs.

Генеративные медиа могут пойти по пути, более близкому к эволюции AI-кодинга, который сместился с фокуса на one-shot-выдачу по качеству и стоимости к многоходовым reasoning- и планирующим моделям для агентов и систем, способных планировать, редактировать, тестировать, отлаживать и отправлять PR.

At a certain point, coding models got so good that the only significant next step to improve performance was handling the orchestration of these models.

В какой-то момент кодинг-модели стали настолько хороши, что единственным значимым следующим шагом для повышения производительности стало управление оркестрацией этих моделей.

Now as the performance of video models increases significantly across realism, consistency, & prompt adherence while becoming more cost efficient, the next evolution of video generation may also be systems that can plan, generate, edit, critique, and iterate across an entire creative task.

Теперь, по мере того как производительность видеомоделей значительно растёт по реализму, консистентности и следованию промпту, при этом становясь более экономичной по стоимости, следующей ступенью эволюции видеогенерации тоже могут стать системы, способные планировать, генерировать, редактировать, критиковать и итерировать на протяжении всей творческой задачи.

In this episode, Ethan joins swyx and Vibhu to unpack what it actually takes to build frontier image and video systems: data, VAEs, diffusion transformers, audio-video alignment, inference speedups, and the hidden cost of storing and moving massive video datasets. From building NVIDIA’s Cosmos world model to joining xAI as Grok Imagine was being built from zero to one, Ethan He has been at the center of some of the most important work in video generation, multimodal models, and real-time world models.

В этом выпуске Итан вместе с swyx и Vibhu разбирают, что на самом деле нужно, чтобы строить фронтирные image- и video-системы: данные, VAE, diffusion transformers, выравнивание аудио и видео, ускорение инференса и скрытую стоимость хранения и перемещения огромных видеодатасетов. От создания NVIDIA Cosmos world model до прихода в xAI, когда Grok Imagine строился с нуля, Ethan He был в центре одной из самых важных работ в области видеогенерации, мультимодальных моделей и world models реального времени.

We go deep on Grok Imagine, how a small xAI team shipped its first multimodal video model in three months, why iteration speed matters more than almost anything in model development, and why many of the biggest gains come from fixing tiny bugs in data and training pipelines.

Мы подробно говорим о Grok Imagine, о том, как небольшая команда xAI выпустила свою первую мультимодальную видеомодель за три месяца, почему скорость итераций важнее почти всего остального в разработке моделей и почему многие из крупнейших улучшений приходят из исправления крошечных багов в пайплайнах данных и обучения.

Flipbook: The future of Videomaxxing

Flipbook: будущее videomaxxing

Video agents are almost a sure bet to be the trend in the coming year. We end with a glance at what’s beyond video agents:

Видеоагенты — почти стопроцентная ставка на главный тренд следующего года. Мы завершаем взглядом на то, что лежит за пределами видеоагентов:

Flipbook caused a minor sensation this year when it was released, but most treat it as a fun demo. Ethan takes it very seriously — with the speed and cost of inference coming down every year, the future of custom video JIT UI is closer than you think. We talked about why videogen models may become the front end of AI, how generative UI could replace traditional HTML/CSS, why world models need to be real-time, interactive, and long-horizon, and why the future of video generation may depend more on language models and agents than on diffusion alone.

Flipbook произвёл небольшую сенсацию в этом году, когда вышел, но большинство воспринимает его как забавную демку. Итан же относится к нему очень серьёзно: с учётом того, что скорость и стоимость инференса снижаются каждый год, будущее кастомного видео-JIT-UI ближе, чем вы думаете. Мы поговорили о том, почему videogen-модели могут стать фронтендом AI, как генеративный UI может заменить традиционный HTML/CSS, почему world models должны быть в реальном времени, интерактивными и с длинным горизонтом, и почему будущее видеогенерации может зависеть от языковых моделей и агентов больше, чем от одной только диффузии.

We discuss:

Мы обсуждаем:

Почему быстрые итерации важнее встречПочему мелкие баги в обучении могут давать огромный прирост качества моделиПочему кодинг-модели могут снова сделать compute узким местомКак image- и video-модели обучаются на синтетических подписяхРоль VAE и латентного пространства во фронтирных видеомоделяхПочему image-модели — это фундамент для видеомоделейКомпромисс между временной компрессией и интерактивностью в реальном времениFlipbook, Neural OS и будущее генеративного UIПочему будущие интерфейсы могут идти от намерения пользователя к пикселямСкрытая стоимость обучения видеомоделей: хранение, egress и GPU-часыКак дистилляция шагов и consistency-модели (вроде OpenAI sCM) ускоряют видеоинференс на порядкиGrok Imagine 0.9 и крупномасштабная аудио-видео генерацияПочему выравнивание аудио и видео сложнее, чем выравнивание текста и видеоОпределение world models по версии ИтанаReference-to-video, видеорасширение и видеогенерация с длинным контекстомПочему исследовательская коммуникация xAI недооценивает Grok ImagineКак культура xAI сформировала скорость разработкиAI-водяные знаки, SynthID и детектирование сгенерированных медиаПочему переписывание промптов важно для видеомоделейGrok Imagine Agent и подъём видеоагентовПочему языковые модели могут открыть лучшую видеогенерациюРобототехника, физический AI и воплощённые world modelsПочему Итан ушёл из xAI и переключился на LLMСамоуправляемый контекст, память и следующий рубеж для языковых моделей

Ethan He

Ethan He

LinkedIn: https://www.linkedin.com/in/ethanhe42X: https://x.com/EthanHe_42

Timestamps

Тайм-коды

00:00:00 Introduction

00:00:00 Введение

00:01:25 From NVIDIA Cosmos to xAI

00:01:25 От NVIDIA Cosmos к xAI

00:03:24 Building Grok Imagine from Zero to One

00:03:24 Создание Grok Imagine с нуля

00:10:07 How Image and Video Models Are Trained

00:10:07 Как обучают image- и video-модели

00:18:53 Video Compression, VAEs, and Real-Time Tradeoffs

00:18:53 Видеокомпрессия, VAE и компромиссы реального времени

00:22:10 Generative UI, Flipbook, and Neural OS

00:22:10 Генеративный UI, Flipbook и Neural OS

00:32:10 The Cost of Training Large Video Models

00:32:10 Стоимость обучения больших видеомоделей

00:37:04 Distillation, GANs, and Fast Video Inference

00:37:04 Дистилляция, GAN и быстрый видеоинференс

00:41:21 Audio-Video Generation and Grok Imagine 0.9

00:41:21 Аудио-видео генерация и Grok Imagine 0.9

00:48:34 What Makes a World Model?

00:48:34 Что делает модель world model?

00:55:51 Reference Videos, Long Context, and Video Memory

00:55:51 Reference-видео, длинный контекст и видеопамять

01:00:11 xAI Culture, Research, and First-Principles Building

01:00:11 Культура xAI, исследования и построение от первых принципов

01:09:45 AI Safety, Watermarking, and Prompt Rewriting

01:09:45 AI-безопасность, водяные знаки и переписывание промптов

01:13:10 Video Agents and AI-Assisted Creation

01:13:10 Видеоагенты и создание контента с помощью AI

01:27:32 Why Language Models Unlock Better Video

01:27:32 Почему языковые модели открывают лучшее видео

01:31:15 Robotics, Physical AI, and Embodied World Models

01:31:15 Робототехника, физический AI и воплощённые world models

01:32:38 Why Ethan Left xAI

01:32:38 Почему Итан ушёл из xAI

01:34:16 Self-Managed Context and the Future of LLMs

01:34:16 Самоуправляемый контекст и будущее LLM

01:38:43 Ethan’s Career Path and Closing Thoughts

01:38:43 Карьерный путь Итана и заключительные мысли

Transcript

Расшифровка

Introduction: Ethan He, Latent Space, and the Path to xAI

Введение: Ethan He, Latent Space и путь к xAI

Swyx [00:00:00]: We’re here in the studio with Ethan He, most recently of xAI. Welcome.

Swyx [00:00:00]: Мы здесь в студии с Ethan He, недавно работавшим в xAI. Добро пожаловать.

Ethan [00:00:10]: Thank you. Glad being here.

Ethan [00:00:10]: Спасибо. Рад быть здесь.

Swyx [00:00:11]: We’re also here with Vibhu. you were first coming to us or joining the latent space world because you were working on Kosmos at NVIDIA, and you did a paper. We loved it. you presented it as well, so thank you for doing that.

Swyx [00:00:11]: С нами также Vibhu. Ты впервые пришёл к нам, попал в мир Latent Space, потому что работал над Cosmos в NVIDIA и сделал статью. Нам она очень понравилась. Ты её ещё и презентовал, так что спасибо за это.

Ethan [00:00:23]: I’ve actually, I also presented the MoEs twice at latent space.

Ethan [00:00:23]: Я на самом деле ещё и про MoE дважды рассказывал на Latent Space.

Swyx [00:00:29]: How did you actually hear about us? Did we reach out to you? Is that how it worked?

Swyx [00:00:29]: А как ты вообще о нас узнал? Мы сами с тобой связались? Так это было?

Ethan [00:00:33]: No, actually, I-- the community. Like I realized, oh, there is this online community that people talk about AI and also learn from each other through papers every week through the Paperclip. It’s very nice.

Ethan [00:00:33]: Нет, на самом деле я — через сообщество. Я как-то осознал: о, есть же это онлайн-сообщество, где люди говорят об AI и учатся друг у друга по статьям каждую неделю, на Paper Club. Это очень приятно.

Ethan [00:00:49]: I learned a lot.

Ethan [00:00:49]: Я много чему научился.

Swyx [00:00:49]: I think three years stop. We haven’t stopped even on Christmas and New Years. many weeks I want to stop but it keeps going.

Swyx [00:00:49]: Думаю, три года не останавливаемся. Не прерывались даже на Рождество и Новый год. Многие недели хочется остановиться, но оно всё продолжается.

Vibhu [00:00:58]: No, that was good. I think you had posted that you worked on a paper, and I was “Oh, very cool. We have Paperclip. Present then.”

Vibhu [00:00:58]: Нет, это было здорово. Помню, ты выложил, что работал над статьёй, и я такой: «О, очень круто. У нас есть Paper Club. Расскажи тогда».

Vibhu [00:01:04]: But I might have reached out to you after.

Vibhu [00:01:04]: Но, возможно, я связался с тобой уже после.

Swyx [00:01:05]: you-- because it’s an amateur club, right?

Swyx [00:01:05]: Ты — потому что это любительский клуб, так?

Swyx [00:01:08]: so it’s very unusual and but we have sometimes paper authors come by and actually explain the paper. Today we just did, the poolside paper, which was apparently very good.

Swyx [00:01:08]: Так что это очень необычно, но иногда к нам заходят авторы статей и сами их объясняют. Сегодня мы как раз разобрали статью poolside, которая, судя по всему, была очень хороша.

Vibhu [00:01:18]: Came out yesterday.

Vibhu [00:01:18]: Вышла вчера.

Vibhu [00:01:19]: pretty interesting, right? Fully open. They talk about everything, systems. So it’s a good one. We’ll, we’ll recommend people to read it.

Vibhu [00:01:19]: Довольно интересная, да? Полностью открытая. Они рассказывают всё, и про системы. Так что хорошая. Будем рекомендовать людям почитать.

Swyx [00:01:25]: Bring us up to speed on your transition to xAI, ‘cause I actually don’t even know when you joined. just like tell the, tell the story about the sort of transition.

Swyx [00:01:25]: Введи нас в курс своего перехода в xAI, потому что я даже не знаю, когда ты присоединился. Просто расскажи историю этого перехода.

From NVIDIA Cosmos to xAI: Scaling Video and World Models

От NVIDIA Cosmos к xAI: масштабирование видео и world models

Ethan [00:01:34]: Before xAI, I was working on Kosmos world model as in-- at NVIDIA. So Kosmos is, it’s a giant video foundation models that can-- that aims to simulate the world and for-- it serves as a foundation of-- for all of the roboticists to build on top of. There, once I built the Kosmos one, I realized as this thing also has a scaling law similar to language model, we need to scale up the video models further. that’s, that’s why I realized I need to move to somewhere with much more compute resources. That’s how I

Ethan [00:01:34]: До xAI я работал над world model Cosmos в NVIDIA. Cosmos — это гигантская видео-foundation-модель, которая стремится симулировать мир и служит фундаментом для всех робототехников, чтобы строить поверх неё. Когда я построил первый Cosmos, я понял, что у этой штуки тоже есть scaling law, похожий на языковые модели, и нам нужно дальше масштабировать видеомодели. Вот почему я понял, что мне нужно перейти куда-то, где гораздо больше вычислительных ресурсов. Вот как я

Swyx [00:02:13]: Than NVIDIA?

Swyx [00:02:13]: Чем в NVIDIA?

Vibhu [00:02:14]: The GPU rich came themselves.

Vibhu [00:02:14]: GPU-богачи сами пришли.

Vibhu [00:02:19]: And timeline-wise, when was Kosmo? It was pretty early, right? It was open world model, open paper, everything.

Vibhu [00:02:19]: А по срокам, когда был Cosmos? Это же было довольно рано, да? Открытая world model, открытая статья, всё.

Ethan [00:02:25]: It was end of twenty-four.

Ethan [00:02:25]: Это был конец двадцать четвёртого.

Vibhu [00:02:28]: End of twenty-four.

Vibhu [00:02:28]: Конец двадцать четвёртого.

Ethan [00:02:30]: Then at mid twenty-five, I moved to xAI. At that time-- I joined about the time when xAI was about to build video models and in multi-model models. There were no infra, no data, and no model, and it just-- as a few engineers, we built it in three months and released the first model, Grok Imagine zero point nine.

Ethan [00:02:30]: Потом в середине двадцать пятого я перешёл в xAI. К тому моменту — я присоединился примерно тогда, когда xAI как раз собиралась строить видеомодели и мультимодальные модели. Не было ни инфраструктуры, ни данных, ни модели, и буквально силами нескольких инженеров мы построили это за три месяца и выпустили первую модель, Grok Imagine ноль точка девять.

Ethan [00:02:55]: And since then, I keep working on video models and move more from training and to post-training of the video models. For example, like a reference to videos, kind of like the cameo feature and, video extensions. And, before I left, I worked on a world model, leading a small team to focus on the real-time long horizon video generation.

Ethan [00:02:55]: И с тех пор я продолжаю работать над видеомоделями и сместился больше от обучения к пост-обучению видеомоделей. Например, reference-to-video — что-то вроде функции камео — и видеорасширения. А перед уходом я работал над world model, возглавляя небольшую команду, сфокусированную на видеогенерации в реальном времени с длинным горизонтом.

Building Grok Imagine From Scratch in Three Months

Создание Grok Imagine с нуля за три месяца

Swyx [00:03:24]: Can you give like a rough roadmap of okay, you’re on a brand-new team. Grok previously was only text, or they partnered with BFL for their image gen stuff. What do you-- what are the building blocks, right? You have compute, data you can procure somewhere. Like just what are like the sequence of things that people should think about when you’re setting up a new team?

Swyx [00:03:24]: Можешь дать примерный roadmap: окей, ты в совершенно новой команде. Grok раньше был только текстовым, или они партнёрились с BFL для генерации изображений. Какие — что за строительные блоки? У тебя есть compute, данные можно где-то добыть. Просто какова последовательность вещей, о которых стоит думать, когда настраиваешь новую команду?

Vibhu [00:03:43]: actually even deeper, not just data you can procure. You guys had to go through getting the data too, right? So you shipped it pretty fast, but yeah

Vibhu [00:03:43]: На самом деле даже глубже, не просто данные, которые можно добыть. Вам же ещё пришлось проходить через получение данных, так? То есть вы выпустили это довольно быстро, но да.

Swyx [00:03:51]: three months is like

Swyx [00:03:51]: три месяца — это как

Vibhu [00:03:52]: From everything

Vibhu [00:03:52]: От всего

Swyx [00:03:52]: actually like very surprisingly fast.

Swyx [00:03:52]: на удивление быстро.

Ethan [00:03:55]: One thing I say like thanks to my experience at NVIDIA, ‘cause first time when we were building Kosmos together, we built it, for about a year. So this is like the second time I do it. Roughly have an idea, what to do. I say the most important thing is the talent. Everyone were very strong and clever, very close with each other towards a common goal. So that speed up things a lot. So you reduce the communication bandwidth among people, and everyone can work towards the same goal. It’s, it’s like every day there’s not that much meetings on the calendar, like maybe like a, like a sync a day, and after that it’s, it’s just all building. It was pretty fun at that time.

Ethan [00:03:55]: Одно я скажу: спасибо моему опыту в NVIDIA, потому что в первый раз, когда мы вместе строили Cosmos, мы делали это около года. Так что это уже второй раз, как я это делаю. Примерно представляю, что нужно делать. Я бы сказал, самое важное — это таланты. Все были очень сильными и умными, очень близкими друг к другу, к общей цели. Это сильно ускоряет дело. Ты снижаешь объём коммуникации между людьми, и каждый может работать на одну и ту же цель. Это как — каждый день в календаре не так много встреч, может, один синк в день, а после этого всё — просто строишь. Тогда было очень весело.

Ethan [00:04:47]: And another thing is that xAI has very strong foundations of like data inference, model inference, and the supporting there can help the model develop a lot. When I look at, training models, I don’t so actually the top important thing is like how many, how many iterations can you do, per day? and the more iteration can you do, you can, you can train the model much faster. So if you have very strong infra and you have a lot of compute, you can, you can train these models in very short period of time. That can give you a much larger buffer to, for errors, and it also gives you the opportunity to spot more bugs.

Ethan [00:04:47]: И ещё одно — у xAI очень сильный фундамент по data inference, model inference, и эта поддержка сильно помогает разработке модели. Когда я смотрю на обучение моделей, на самом деле самое важное — это сколько итераций ты можешь сделать в день? И чем больше итераций, тем быстрее ты можешь обучать модель. Так что если у тебя очень сильная инфраструктура и много compute, ты можешь обучать эти модели за очень короткий период. Это даёт тебе гораздо больший буфер для ошибок, и это также даёт возможность находить больше багов.

Iteration Speed, Compute, and Debugging Model Pipelines

Скорость итераций, compute и отладка пайплайнов моделей

Swyx [00:05:46]: What is an iteration? Is it like a few hundred steps or what are you

Swyx [00:05:46]: А что такое итерация? Это несколько сотен шагов или что ты

Ethan [00:05:50]: Let’s say just the train-training the model, like from acquire new data and maybe design new algorithms and train a new model, maybe at smaller scale or

Ethan [00:05:50]: Скажем, просто обучение модели — типа добыть новые данные, может, разработать новые алгоритмы и обучить новую модель, может, в меньшем масштабе, или

Swyx [00:06:01]: So cycle time for like any hyperparam that you’re searching.

Swyx [00:06:01]: То есть время цикла для любого гиперпараметра, который ты ищешь.

Ethan [00:06:04]: Cycle time and tune to like eval this model. Is this model better than my previous iteration?

Ethan [00:06:04]: Время цикла, и до того, чтобы оценить эту модель. Эта модель лучше моей предыдущей итерации?

Ethan [00:06:11]: So

Ethan [00:06:11]: Так что

Swyx [00:06:11]: So it’s like before you, someone had already set this up that you can iterate very quickly.

Swyx [00:06:11]: То есть это как — до тебя кто-то уже всё настроил так, что ты можешь очень быстро итерировать.

Ethan [00:06:15]: I think the foundation there is extremely good forDeveloping and research models.

Ethan [00:06:15]: Думаю, фундамент там чрезвычайно хорош для разработки и исследования моделей.

Ethan [00:06:23]: And often I find is it-- this is kind of boring, but like a lot of the improvements does not come from new algorithms. It comes from finding small bugs here and there in the data pipeline, in the, in the model training pipeline. Those give, those give the biggest boost to the model quality.

Ethan [00:06:23]: И часто я обнаруживаю, что — это, может, скучно, но многие улучшения приходят не из новых алгоритмов. Они приходят из нахождения мелких багов тут и там в пайплайне данных, в пайплайне обучения модели. Именно они дают самый большой буст качеству модели.

Vibhu [00:06:46]: It’s interesting, right? So you say it’s like small team, less communication bandwidth, but also a lot of quality is like find little bugs. It seems counterintuitive, right? You have a lot of people, you can iron out more of those, but it’s interesting to see the other side, right?

Vibhu [00:06:46]: Интересно, да? Ты говоришь, что это маленькая команда, меньше коммуникации, но при этом много качества — это поиск мелких багов. Кажется контринтуитивным, да? У тебя много людей — можно вычистить больше багов, но интересно увидеть и обратную сторону, да?

Swyx [00:07:00]: I also wonder, have you-- do you try using LLMs to look for bugs? I don’t know.

Swyx [00:07:00]: Мне ещё интересно — ты не пробовал использовать LLM для поиска багов? Не знаю.

Ethan [00:07:05]: I remember at that time it was mid two thousand and twenty-five, so it’s the coding model wasn’t quite there yet. I remem- I remember like December two thousand and twenty-five, it was extremely good. Yeah, I’ve been, I’ve been using it at that time. It’s, it’s helpful. sometimes it produce codes that are kind of difficult to maintain, even though like the first time it built something extremely fast. But it gave the, like a spaghetti code, thousands of lines that I couldn’t maintain, and the LLM itself couldn’t figure out what’s, what’s wrong and how to improve on top of it. But now I find it much better. Yeah, I want to bring up another point here is now coding models are much more efficient and can help us implement stuff much faster. Compute might become a bottleneck again because previously, like if you want to train a new model, say you want to generate new synthetic data and then or write a new algorithm, it might take a few weeks. And during that period of time, you don’t-- you might not have experiments to run. But now you can build that thing within a few hours, then you can immediately train a model.

Ethan [00:07:05]: Помню, в то время была середина две тысячи двадцать пятого, и кодинг-модели тогда были ещё не очень. Помню, в декабре две тысячи двадцать пятого они были чрезвычайно хороши. Да, я их тогда использовал. Это помогает. Иногда они выдают код, который сложно поддерживать, хотя в первый раз они что-то строят очень быстро. Но это давало такой spaghetti-код, тысячи строк, которые я не мог поддерживать, и сама LLM не могла понять, что не так и как это улучшить. Но теперь мне это кажется гораздо лучше. Да, хочу поднять ещё один момент: теперь кодинг-модели гораздо эффективнее и могут помогать нам реализовывать что-то гораздо быстрее. Compute может снова стать узким местом, потому что раньше — если ты хотел обучить новую модель, скажем, сгенерировать новые синтетические данные или написать новый алгоритм, это могло занять несколько недель. И в течение этого периода у тебя могло не быть экспериментов для запуска. Но теперь ты можешь построить эту штуку за несколько часов, и тогда сразу обучить модель.

Ethan [00:08:24]: Now you have to have enough compute to try all of the ideas. So compute might be the bottleneck of iterating speed again.

Ethan [00:08:24]: Теперь тебе нужно иметь достаточно compute, чтобы перепробовать все идеи. Так что compute может снова стать узким местом скорости итераций.

Swyx [00:08:36]: yeah, I actually, honestly, I think it’s like kind of a stressful job because you’re “Well, I should be trying everything, and if I’m not, then I’m not doing my job well.”

Swyx [00:08:36]: Да, честно говоря, я думаю, это довольно стрессовая работа, потому что ты такой: «Ну, я должен пробовать всё, и если я не пробую, то плохо делаю свою работу».

Vibhu [00:08:48]: there’s also the stress of you’re eating thousands of GPUs per hour, which is very expensive and, compute can go to other researchers.

Vibhu [00:08:48]: Есть ещё стресс от того, что ты съедаешь тысячи GPU в час, что очень дорого, и compute мог бы пойти другим исследователям.

Swyx [00:08:56]: You got the daddy Elon to

Swyx [00:08:56]: У тебя есть папочка Илон, чтобы

Vibhu [00:08:57]: You got daddy Elon.

Vibhu [00:08:57]: У тебя есть папочка Илон.

Ethan [00:08:59]: It was

Ethan [00:08:59]: Это было

Vibhu [00:09:00]: But there’s still finite amount of compute, like you want to use it, you want to use it well, you want more of it.

Vibhu [00:09:00]: Но всё равно есть конечный объём compute, и ты хочешь использовать его, использовать его хорошо, хочешь его больше.

Ethan [00:09:06]: That was quite stressful indeed. Yeah, I think one thing is the-- with coding models now, like a lot of these jobs can be automated, which is much better. A second, it’s a, it’s a marathon, so you got to maintain good health and, a regular schedule.

Ethan [00:09:06]: Это и правда было довольно стрессово. Да, думаю, одно — с нынешними кодинг-моделями многие из этих задач можно автоматизировать, что гораздо лучше. Во-вторых, это марафон, так что нужно поддерживать хорошее здоровье и регулярный режим.

Vibhu [00:09:28]: It’s, it’s hard to hear that when you shift from zero to nothing in two months.

Vibhu [00:09:28]: Тяжело это слышать, когда ты переходишь от нуля к ничему за два месяца.

Swyx [00:09:32]: and, I think obviously the culture at xAI is very famously, people work very hard. one thing I did want to dive into, in our-- in the notes that you, that you sent ahead of time, you had specific comments about the cost of Video Gen training. presumably this is on the Colossus-1, right? the two hundred megawatt cluster. Any whatever you want to just share on that.

Swyx [00:09:32]: И, думаю, очевидно, культура в xAI очень известна тем, что люди работают очень усердно. Одно, во что я хотел углубиться — в заметках, которые ты прислал заранее, у тебя были конкретные комментарии о стоимости обучения видеогенерации. Видимо, это на Colossus-1, да? Двухсотмегаваттный кластер. Что угодно, чем хочешь поделиться об этом.

Vibhu [00:09:54]: I think there’s, there’s three things we’re talking about, right? So there’s Video Gen, there’s also the Image Gen model that you put out. Do you want to like complete the, okay, so zero to one, you have a few months. Just what are the stages of create Image Gen model?

Vibhu [00:09:54]: Думаю, мы говорим о трёх вещах, да? Есть видеогенерация, есть ещё image-gen-модель, которую вы выпустили. Хочешь завершить — окей, от нуля к единице, у тебя несколько месяцев. Просто какие этапы создания image-gen-модели?

Swyx [00:10:06]: Oh, yeah, maybe I got distracted.

Swyx [00:10:06]: О, да, я, наверное, отвлёкся.

How Image and Video Models Are Trained: Synthetic Captions, Tokenizers, and VAEs

Как обучают image- и video-модели: синтетические подписи, токенизаторы и VAE

Vibhu [00:10:07]: Sorry. and then, from there’s Video Gen, there’s Audio Gen. Would love to get into those next. But what is that first few months like? So small team, a lot of bugs, iterations, but what does it look like? Do we take something off the shelf? Do we just get data compute? What’s, what’s the few months like? How do you go to state-art Image Gen model? How do you just start?

Vibhu [00:10:07]: Извини. А оттуда есть видеогенерация, есть аудиогенерация. Хотелось бы перейти к ним дальше. Но каковы эти первые несколько месяцев? Маленькая команда, много багов, итераций, но как это выглядит? Берём ли мы что-то готовое? Или просто берём данные и compute? Каковы эти несколько месяцев? Как ты доходишь до state-of-the-art image-gen-модели? С чего ты вообще начинаешь?

Ethan [00:10:28]: I cannot comment specifically how xAI did, but it’s, it’s a quite standard process. I can draw some, examples from Cosmos. So mainly it’s building a video model, you actually need to build a image model first. And building these two models, the data you need is a hundred percent synthetic pair of language and image or language to video. Because on the, on the internet, actually, the videos don’t naturally associate with text. So you can say, oh, like on YouTube, you have the title and you have the description and the comments

Ethan [00:10:28]: Я не могу комментировать конкретно, как делала xAI, но это довольно стандартный процесс. Могу привести примеры из Cosmos. В основном, чтобы построить видеомодель, тебе сначала нужно построить image-модель. И данные, которые нужны для обучения этих двух моделей, — это на сто процентов синтетические пары язык-изображение или язык-видео. Потому что в интернете видео на самом деле не ассоциируются с текстом естественным образом. Можно сказать: о, на YouTube есть заголовок, есть описание и комментарии

Swyx [00:11:11]: Title

Swyx [00:11:11]: Заголовок

Ethan [00:11:11]: of a video, but usually they’re not relevant to the video itself. And say maybe like the video is a natural scene of mountains or something, and the title is, I’m so happy today.

Ethan [00:11:11]: к видео, но обычно они не релевантны самому видео. Скажем, видео — это природная сцена с горами или что-то такое, а заголовок — «Я сегодня так счастлив».

Ethan [00:11:26]: So they have they have no correlation at all. So the first step is to, you have to generate synthetic pair of language with the videos. So you gather videos from the internet, and you use a VLM to caption the videos. So that part, here’s a question, like how do you, how do you gather VLM to begin with? So if there’s no

Ethan [00:11:26]: Так что у них вообще нет корреляции. Поэтому первый шаг — нужно сгенерировать синтетические пары языка с видео. То есть ты собираешь видео из интернета и используешь VLM, чтобы делать подписи к видео. И тут возникает вопрос: как вообще получить VLM с самого начала? Если нет

Swyx [00:11:55]: You, so you fuse the model, right? Like

Swyx [00:11:55]: Ты, то есть ты сплавляешь модель, да? Типа

Ethan [00:11:57]: Say if there’s no like VLM exists, like how do you generate the text to the beginning, right? It’s, it’s impossible.

Ethan [00:11:57]: Скажем, если никакой VLM не существует, то как ты вообще сгенерируешь текст в начале, да? Это невозможно.

Swyx [00:12:04]: I see.

Swyx [00:12:04]: Понятно.

Ethan [00:12:05]: In the beginning, it’s like you ask human to describe the video as detailed as possible.For example, you ask them to describe everything, like all objects, all characters, and all interaction and dialogues in the, in the videos. So that’s in the protocol of Cosmos labeling. We require the objective we give to the labelers was that you have to describe the video as detailed as possible, such that a blind person hears a blob of text can reconstruct what the video is like from their head.

Ethan [00:12:05]: В начале ты просишь человека описать видео как можно детальнее. Например, просишь описать всё: все объекты, всех персонажей, все взаимодействия и диалоги в видео. Так что в протоколе разметки Cosmos цель, которую мы давали разметчикам, была такая: ты должен описать видео настолько детально, чтобы слепой человек, услышав этот кусок текста, мог реконструировать в голове, как выглядит видео.

Swyx [00:12:43]: Video or image? You’re talking about images.

Swyx [00:12:43]: Видео или изображение? Ты говоришь про изображения.

Ethan [00:12:44]: Video or image, either one of them.

Ethan [00:12:44]: Видео или изображение, любое из них.

Vibhu [00:12:47]: This was pretty common when we went from clip and DALL-E, right?

Vibhu [00:12:47]: Это было довольно распространено, когда мы перешли от CLIP и DALL-E, да?

Vibhu [00:12:51]: It’s all training on really detailed captioning of images. So same is applied to video, but instead

Vibhu [00:12:51]: Всё это — обучение на очень детальных подписях к изображениям. То же применяется к видео, но вместо

Ethan [00:12:57]: same applied

Ethan [00:12:57]: то же применяется

Vibhu [00:12:57]: of using multimodal model to pass in video images and write rich descriptions, you can also

Vibhu [00:12:57]: использования мультимодальной модели, которой передают видео и изображения и которая пишет богатые описания, можно также

Swyx [00:13:04]: I think there’s this traditional perspective of supervised, or, very highly human curated thing. I feel like there’s a unlock with unsupervised, right? Where like you have enough to bootstrap that you can just throw common corpus on it or, whatever. like unsupervised vision and language pairing, right? Like where you just have, interspersed image and text and it just learns. To me, that is the VLM breakthrough that is different from the clip, different from the LM era.

Swyx [00:13:04]: Думаю, есть этот традиционный взгляд на supervised, очень сильно курируемую человеком штуку. Мне кажется, есть прорыв с unsupervised, да? Когда у тебя достаточно, чтобы бутстрапнуть, и можно просто закинуть общий корпус или что угодно. Типа unsupervised-сопоставление зрения и языка, да? Когда у тебя просто перемежающиеся изображения и текст, и оно само учится. Для меня вот это и есть прорыв VLM, который отличается от CLIP, отличается от эпохи LM.

Ethan [00:13:36]: It’s interesting to see that you kind of need both data.

Ethan [00:13:36]: Интересно видеть, что тебе вроде как нужны оба типа данных.

Ethan [00:13:41]: For example, for the

Ethan [00:13:41]: Например, для

Swyx [00:13:41]: You need it to bootstrap it up. Yeah

Swyx [00:13:41]: Тебе это нужно, чтобы бутстрапнуть. Да

Ethan [00:13:43]: for the generative model training, there’s also usually like a small percentage of unlabeled data. So the model is instructed to generate a video without any text instruction. That can also help the model generalize. So after this stage of generative synthetic pair, so, one important common step is to train a compressor or a tokenizer of the image or videos. So because, if you train-- If you can technically, theoretically train image or video models on pure pixels, but the problem is that the, it’s, it’s a lot of tokens. So like one image, it’s, a thousand by a thousand, it’s like one million tokens, one million pixels. It’s impossible to train transformer on that. So it’s, you need to train a tokenizer, which can go from image to latent space and latent space back to image.

Ethan [00:13:43]: для обучения генеративной модели обычно есть ещё небольшой процент неразмеченных данных. То есть модели даётся инструкция сгенерировать видео без какой-либо текстовой инструкции. Это тоже может помочь модели обобщать. После этого этапа генеративных синтетических пар один важный общий шаг — обучить компрессор или токенизатор изображений или видео. Потому что — технически, теоретически можно обучать image- или video-модели на чистых пикселях, но проблема в том, что это очень много токенов. Например, одно изображение тысяча на тысячу — это около миллиона токенов, миллиона пикселей. Обучать трансформер на этом невозможно. Так что нужно обучить токенизатор, который может идти от изображения к латентному пространству и из латентного пространства обратно к изображению.

Swyx [00:14:45]: That’s why we named the podcast.

Swyx [00:14:45]: Вот почему мы так назвали подкаст.

Swyx [00:14:48]: But, basically, you’re talking about vocabulary science.

Swyx [00:14:48]: Но, по сути, ты говоришь о науке о словаре.

Ethan [00:14:50]: so vocab.

Ethan [00:14:50]: Да, словарь.

Swyx [00:14:51]: And so, what is, what is imp-- like a million is impossible?

Swyx [00:14:51]: И что — что невозможно — типа миллион невозможен?

Ethan [00:14:54]: In generative models, the vocab is continuous. It’s a continuous space. We can think about like you map an image to a vector. It’s a, it’s a fixed length vector. It’s sixteen or forty-eight, something like that. And then you map that vector back to the image space. And the mapping is, has-- The mapping is patch-based. So you say you have

Ethan [00:14:54]: В генеративных моделях словарь непрерывный. Это непрерывное пространство. Можно представить, что ты отображаешь изображение в вектор. Это вектор фиксированной длины. Шестнадцать или сорок восемь, что-то такое. А потом ты отображаешь этот вектор обратно в пространство изображения. И отображение основано на патчах. То есть, скажем, у тебя есть

Ethan [00:15:22]: a sixteen by sixteen patch and you match, you map that patch of pixels into this latent space.

Ethan [00:15:22]: патч шестнадцать на шестнадцать, и ты сопоставляешь, отображаешь этот патч пикселей в это латентное пространство.

Swyx [00:15:29]: We’ve covered this

Swyx [00:15:29]: Мы это разбирали

Vibhu [00:15:30]: This is like the vision transformers

Vibhu [00:15:30]: Это как vision transformers

Swyx [00:15:32]: VAEs,

Swyx [00:15:32]: VAE,

Ethan [00:15:33]: VAEs.

Ethan [00:15:33]: VAE.

Vibhu [00:15:34]: You basically compress your input, you do your generation, you’re reasoning all that generation in smaller dimension, and then you project back out.

Vibhu [00:15:34]: Ты по сути сжимаешь свой вход, делаешь генерацию, всю эту генерацию ты прорабатываешь в меньшей размерности, а потом проецируешь обратно наружу.

Swyx [00:15:43]: VAE is a form compression, but I think the for me, the patching thing is from VIT, right?

Swyx [00:15:43]: VAE — это форма компрессии, но для меня штука с патчингом — это из ViT, да?

Ethan [00:15:48]: You can make those.

Ethan [00:15:48]: Можно сделать и так.

Swyx [00:15:49]: Literally the, yeah, the paper is titled like sixteen by sixteen is all you need. something like that. and then I think also, people make a lot of comparisons with this kind of patching with convolutions.

Swyx [00:15:49]: Буквально, да, статья называется типа «шестнадцать на шестнадцать — это всё, что нужно». Что-то такое. И ещё, думаю, люди проводят много сравнений этого вида патчинга со свёртками.

Swyx [00:16:02]: Which is you’re, you’re kind of re- reconstructing the old paradigm with the new.

Swyx [00:16:02]: То есть ты как бы реконструируешь старую парадигму через новую.

Ethan [00:16:05]: Actually, in VAEs, there are, there are both convolution networks and transformers. You can actually do both.

Ethan [00:16:05]: На самом деле в VAE есть и свёрточные сети, и трансформеры. Можно делать и так, и так.

Ethan [00:16:14]: After this VAE, so what you’ve got is you’ve got latent space tokens and you’ve got the language tokens. So now the training of the diffusion transformer, usually generative models use diffusion transformers. It is actually quite standard. It’s, it’s very similar to how you train a language transformer models. It’s not that much difference. It’s just the tokens, the visual tokens in, visual tokens out. The only difference is there’s a denoising process. So you train the model to unmask some of the noise. So you add, you add random noise to the visual tokens, and then you train the model to remove those noise to generate the clean tokens. Any inference, the model can iteratively remove noise from a hundred percent noise.

Ethan [00:16:14]: После этого VAE то, что ты получаешь, — это токены латентного пространства и языковые токены. Теперь обучение diffusion transformer — обычно генеративные модели используют diffusion transformers — на самом деле довольно стандартное. Оно очень похоже на то, как ты обучаешь языковую трансформерную модель. Не такая уж большая разница. Просто токены — визуальные токены на вход, визуальные токены на выход. Единственное отличие — есть процесс шумоподавления. То есть ты обучаешь модель снимать часть шума. Ты добавляешь случайный шум к визуальным токенам, а потом обучаешь модель убирать этот шум, чтобы сгенерировать чистые токены. На инференсе модель может итеративно убирать шум, начиная со стопроцентного шума.

Swyx [00:17:12]: And then there’s also, to speed things along on the tech tree of diffusion, there’s CFG, and then there’s, there’s also, latent diffusion that, there’s, there’s someone in there. I think, somewhere along the line, obviously, like stability and all these other guys, pioneered a lot of this, architecture. I don’t know if you want to get into that or just, or do the video side up to you.

Swyx [00:17:12]: А ещё, чтобы ускорить дело на дереве технологий диффузии, есть CFG, и ещё есть latent diffusion, там — там кто-то в этом участвовал. Думаю, где-то по ходу, очевидно, stability и все эти ребята запионерили много этой архитектуры. Не знаю, хочешь ли ты в это углубиться, или, или давай к видеостороне — решай сам.

Bootstrapping Video from Image Models and Temporal Compression

Бутстрапинг видео из image-моделей и временная компрессия

Ethan [00:17:37]: After you train such model, such image model, the reason it’s a, it’s a foundation for video models is that image models are cheaper to train, and they have much denser connection between language and text. So, sorry, language and images. For example, you train a billion, you train on a billion images, and there’s a mapping from the text to the image. And the cost to train the same, like the, a billion, a billion text to a billion videos, that’s much more expensive because videosNaturally have more tokens than images. Because the diffusion models, their understanding of, language purely come from this mapping. So if you don’t have enough mapping, so if you only train on like a ten million videos or something, there-- you might not see enough language tokens in your training, so your model does not understand human intention enough. So that’s why you really-- you train-- you first train this image diffusion models, and then you bootstrap the video model from there.

Ethan [00:17:37]: После того как ты обучаешь такую image-модель, причина, по которой она — фундамент для видеомоделей, в том, что image-модели дешевле обучать, и у них гораздо более плотная связь между языком и текстом. То есть, извини, между языком и изображениями. Например, ты обучаешь на миллиарде изображений, и есть отображение от текста к изображению. А стоимость обучить такое же — миллиард текстов на миллиард видео — гораздо выше, потому что у видео естественным образом больше токенов, чем у изображений. Потому что у диффузионных моделей их понимание языка чисто приходит из этого отображения. Так что если у тебя недостаточно отображений — если ты обучаешь только на, скажем, десяти миллионах видео, то ты можешь увидеть недостаточно языковых токенов в обучении, и твоя модель недостаточно понимает человеческое намерение. Вот почему тебе действительно нужно — ты сначала обучаешь эти image diffusion-модели, а потом бутстрапишь видеомодель оттуда.

Swyx [00:18:53]: One thing I did want to ask, because I-- actually, I think you’re, you’re the first per-- video model person I’ve ever talked to, I think. we’ve, we’ve like talked to Luma and all those folks. There’s all these tricks in video compression where basically frame by frame there’s not that much difference, so actually you don’t have to regenerate or save the whole frame, right? but I think MP4 compression or something else like that.

Swyx [00:18:53]: Одно, что я хотел спросить, потому что — на самом деле, думаю, ты первый человек по видеомоделям, с которым я когда-либо говорил. Мы говорили с Luma и со всеми теми ребятами. Есть все эти трюки в видеокомпрессии, где по сути от кадра к кадру не так много различий, так что на самом деле тебе не нужно перегенерировать или сохранять весь кадр, да? Но, думаю, MP4-компрессия или что-то подобное.

Swyx [00:19:16]: is it tempting to use that? Or as far as I can tell, everyone just treats it as, “No, we would just generate every frame.” Is that roughly the state-art?

Swyx [00:19:16]: Заманчиво ли использовать это? Или, насколько я могу судить, все просто относятся к этому как: «Нет, мы просто будем генерировать каждый кадр». Это примерно state-of-the-art?

Ethan [00:19:27]: There are a few different approaches. Let’s say first, like you want to just directly use MP4 compression and use that as the tokens for the transformers to train, right? So people actually have tried that, but the main challenge is the latent space for the MP4 tokens were not, were not very comprehensible for the models. It’s, it’s extremely hard to train on that. And there’s a

Ethan [00:19:27]: Есть несколько разных подходов. Скажем, во-первых — ты хочешь просто напрямую использовать MP4-компрессию и использовать это как токены для обучения трансформеров, да? Люди на самом деле это пробовали, но главная проблема в том, что латентное пространство для MP4-токенов было не очень понятным для моделей. На этом чрезвычайно сложно обучать. И есть

Ethan [00:20:01]: So that’s why they created VAEs, which creates more continuous, latent space, so the models can understand that latent space and learn from it much easier. Even within the VAEs, there are different difficulties of the latent space. So you can imagine something the simplest, the most naive VAE is like you have an image, and you just shuffle all of the images into a, into a vector. So you don’t need to train any VAEs, right? But that latent space is extremely hard for models to train on top of. That’s why there are some debate on like how do you compress the tokens. So you mentioned like you can compress frame by frame. Also, you can compress, the temporal dimension.

Ethan [00:20:01]: Вот почему они создали VAE, которые создают более непрерывное латентное пространство, чтобы модели могли понять это латентное пространство и учиться на нём гораздо проще. Даже внутри VAE есть разная сложность латентного пространства. Можно представить себе самый простой, самый наивный VAE: у тебя есть изображение, и ты просто схлопываешь всё изображение в вектор. То есть тебе не нужно обучать никакой VAE, да? Но на таком латентном пространстве моделям чрезвычайно сложно обучаться. Вот почему есть споры о том, как сжимать токены. Ты упомянул, что можно сжимать кадр за кадром. А ещё можно сжимать временное измерение.

Ethan [00:20:52]: The difference is if you compress the temporal dimension, you get a much higher compression rate. Because there’s temporal redundancy between frames, because, this frame and the last frame, likely they are mostly similar, so there’s only some small difference. for example, I think in 12.1 VAE, they have like a eight by eight by four compression rate. So the four temporal tokens are compressed into one tokens. That can save a lot of, save a lot of the context length. If you do it frame by frame, you have to do maybe like eight by eight by one. Your context length will be four times larger. That being said, the benefit of the frame-- per frame compression, we might come back to this later, is, real-timeness and interactivity. ‘Cause if you, if you strain the output of the model, frame by frame, you can-- the model can respond to any user request immediately. So if you have like a temporal four compression, four times compression, then

Ethan [00:20:52]: Разница в том, что если ты сжимаешь временное измерение, ты получаешь гораздо более высокую степень компрессии. Потому что между кадрами есть временная избыточность: этот кадр и предыдущий, скорее всего, в основном похожи, так что есть только небольшое различие. Например, в 12.1 VAE, по-моему, у них компрессия восемь на восемь на четыре. То есть четыре временных токена сжимаются в один токен. Это позволяет сэкономить много длины контекста. Если делать кадр за кадром, тебе придётся делать, может, восемь на восемь на один. Твоя длина контекста будет в четыре раза больше. При этом преимущество покадровой компрессии, мы, возможно, вернёмся к этому позже, — это работа в реальном времени и интерактивность. Потому что если ты стримишь выход модели кадр за кадром, модель может реагировать на любой запрос пользователя мгновенно. А если у тебя временная компрессия в четыре раза, то

Swyx [00:22:06]: It might be laggy

Swyx [00:22:06]: Может быть лаг

Ethan [00:22:07]: there’s a lag there in nature.

Ethan [00:22:07]: там по природе есть лаг.

Swyx [00:22:10]: So you’re very pilled on this. let’s just go ahead and bring it up ‘cause we have the visual prepared anyway. There’s some frontier applications of real-time video gen. So Flipbook is one of the examples that went viral recently, right? What is Flipbook?

Swyx [00:22:10]: То есть ты в это сильно веришь. Давай просто перейдём к этому, раз уж у нас и так подготовлен визуал. Есть несколько фронтирных применений видеогенерации в реальном времени. Так что Flipbook — один из примеров, который недавно стал вирусным, да? Что такое Flipbook?

Real-Time Generative UI: Flipbook, Neural OS, and Diffusion Front Ends

Генеративный UI в реальном времени: Flipbook, Neural OS и diffusion-фронтенды

Ethan [00:22:23]: Flipbook is kind of like a web brow- web browser. You can see like it has the web bro- browser UI on top. The difference is all of the UIs are generated by generative image model in real time, and anything here are fake. But you can, you can explore inside this wor- this imaginary world. Say like we-- here we have engineering the Great Pyramid. Like the model generates this for us to understand how it works, and if we want to navigate around and understand further, we can click on some of the, some of the description here, and the model will generate a new page, new subpage describing the details we want to know about.

Ethan [00:22:23]: Flipbook — это что-то вроде веб-браузера. Видно, что у него сверху UI веб-браузера. Разница в том, что все эти UI генерируются генеративной image-моделью в реальном времени, и всё здесь — фейк. Но ты можешь исследовать этот мир, этот воображаемый мир. Скажем, вот у нас инженерия Великой пирамиды. Модель генерирует это для нас, чтобы понять, как она работает, и если мы хотим перемещаться вокруг и понять подробнее, мы можем кликнуть на какие-то из описаний здесь, и модель сгенерирует новую страницу, новую подстраницу с деталями, которые мы хотим узнать.

Swyx [00:23:14]: So it’s basically kind of we’re playing a video, but it’s pausing for our next interaction, and then it just plays the next thing based on our interaction.

Swyx [00:23:14]: То есть по сути мы как бы проигрываем видео, но оно ставится на паузу до нашего следующего взаимодействия, а потом просто проигрывает следующее на основе нашего взаимодействия.

Swyx [00:23:23]: Which is kind of cool.

Swyx [00:23:23]: Что довольно круто.

Vibhu [00:23:25]: and you kind of decide your story. So this was, how do you make a pyramid? levering technique seemed interesting, right? It shows how do you take Okay, I want to know what is this

Vibhu [00:23:25]: И ты как бы сам выбираешь свою историю. Вот это было: как сделать пирамиду? Техника рычагов показалась интересной, да? Оно показывает, как взять — окей, я хочу узнать, что это

Swyx [00:23:35]: The demo, the demo tweet had more animation between frames.

Swyx [00:23:35]: В демо, в демо-твите было больше анимации между кадрами.

Vibhu [00:23:38]: I think it’s just skipping,

Vibhu [00:23:38]: Думаю, оно просто пропускает,

Swyx [00:23:39]: Oh, it’s just skipping a lot of frames.

Swyx [00:23:39]: А, оно просто пропускает много кадров.

Ethan [00:23:40]: they also have a video mode

Ethan [00:23:40]: У них ещё есть видеорежим

Vibhu [00:23:42]: It takes a lot. There’s a lot of people

Vibhu [00:23:42]: Оно много берёт. Там много людей

Ethan [00:23:42]: but, a lot of people are using it.

Ethan [00:23:42]: но, много людей этим пользуются.

Ethan [00:23:45]: So it’s not available.

Ethan [00:23:45]: Так что оно недоступно.

Vibhu [00:23:46]: There’s a live video stream. We can try,

Vibhu [00:23:46]: Есть лайв-видеопоток. Можем попробовать,

Swyx [00:23:50]: So this is an example of the kind of future that you see at the extreme. We don’t-- we’re obviously not in it today.

Swyx [00:23:50]: То есть это пример того будущего, которое ты видишь в крайней форме. Мы — очевидно, мы сегодня не в нём.

Swyx [00:23:56]: But in a world where inference is completely free this is better than generating code and text?

Swyx [00:23:56]: Но в мире, где инференс полностью бесплатен, это лучше, чем генерировать код и текст?

Ethan [00:24:02]: So this is, this is a final state of where Viva will be at for word model, I think. Imagine internet doesn’t exist, and then you type in google.com. Like what should, what should, what should a model show you?the model can imagine something, and this is what the model imagine. And these web pages, they completely do not exist. So I think as the inference costs come down, we are going to have generative UI for everything. If you think about how the coding model works, so they write code for a web page, and they render the code might be con- converted into binary, and the binary render the pixels on the screen. So we in machine learning, every time we have some breakthrough, obviously it’s, it’s more intuit. So why don’t we have like user instruction to the pixel directly? So the generative UI will be user intention to the pixels directly. And say like even if I want email, let’s say everyone have the same interface, but I want, I want it slightly different. I want the email to show to me like a TikTok, so I can swipe left and right for the emails. And or maybe you want something else. We can have completely different things. Or like I have I’m looking at, Instagram stories, and I don’t like the Like button. I always may click it. And, generative UI resolved it. So it’s going to be a revolutionary replacement of the interface. So in the future, we might have much more powerful

Ethan [00:24:02]: Это, это конечное состояние того, где будет world model, я думаю. Представь, что интернета не существует, и ты вводишь google.com. Что, что должна показать тебе модель? Модель может что-то вообразить, и вот что модель воображает. И эти веб-страницы вообще не существуют. Так что я думаю, по мере того как стоимость инференса снижается, у нас будет генеративный UI для всего. Если подумать, как работают кодинг-модели: они пишут код для веб-страницы, и рендеринг кода может быть сконвертирован в бинарник, а бинарник рендерит пиксели на экране. А мы в машинном обучении каждый раз, когда у нас прорыв, очевидно, это более интуитивно. Так почему бы нам не иметь инструкцию пользователя сразу в пиксели? То есть генеративный UI будет от намерения пользователя сразу в пиксели. И скажем, даже если я хочу email — допустим, у всех один и тот же интерфейс, но я хочу его слегка другим. Я хочу, чтобы email показывался мне как TikTok, чтобы я мог свайпать письма влево и вправо. Или, может, ты хочешь чего-то ещё. У нас могут быть совершенно разные штуки. Или, скажем, я смотрю Instagram stories и мне не нравится кнопка «Нравится». Я всё время могу случайно её нажать. И генеративный UI это решает. Так что это будет революционная замена интерфейса. То есть в будущем у нас могут быть гораздо более мощные

Ethan [00:25:50]: LLMs and coding models running behind the scene. And in the, in the front-end, the diffusion model will actually be the front-end to show stuff to you. That’s how I imagine it.

Ethan [00:25:50]: LLM и кодинг-модели, работающие за кулисами. А на фронтенде diffusion-модель будет фактически фронтендом, который показывает тебе всё. Вот как я это себе представляю.

Swyx [00:26:02]: Diffusion front-end, deterministic back-end.

Swyx [00:26:02]: Diffusion-фронтенд, детерминированный бэкенд.

Swyx [00:26:04]: Something like that. I find that very expensive, but,

Swyx [00:26:04]: Что-то в этом роде. Мне это кажется очень дорогим, но,

Vibhu [00:26:08]: I find it interesting you called LLMs writing code on the back end deterministic, but okay.

Vibhu [00:26:08]: Мне интересно, что ты назвал LLM, пишущие код на бэкенде, детерминированными, но окей.

Swyx [00:26:14]: you write it once

Swyx [00:26:14]: Ты пишешь это один раз

Vibhu [00:26:15]: Compare it to

Vibhu [00:26:15]: Сравни это с

Swyx [00:26:16]: And then you execute.

Swyx [00:26:16]: А потом выполняешь.

Ethan [00:26:17]: If you think about the cost, say, let’s say H100 costs $1 per hour, and if you use this eight hours a day and thirty days, so, every month you’re paying this two forty, you’ll actually not wanna pay for that. That’s even more expensive than Cloud Code Max. But if you think about the compute costs come down like two times every year, and I think the future will likely arrive like within few years.

Ethan [00:26:17]: Если подумать о стоимости — скажем, H100 стоит $1 в час, и если ты используешь это восемь часов в день и тридцать дней, то каждый месяц ты платишь эти двести сорок, на самом деле ты не захочешь за это платить. Это даже дороже, чем Claude Code Max. Но если подумать, что стоимость compute снижается примерно в два раза каждый год, я думаю, это будущее, скорее всего, наступит в течение нескольких лет.

Vibhu [00:26:49]: It’s everything, right? compute cost comes down, compute gets faster, model gets smarter

Vibhu [00:26:49]: Это всё вместе, да? Стоимость compute снижается, compute становится быстрее, модель становится умнее

Ethan [00:26:54]: More efficient

Ethan [00:26:54]: Эффективнее

Vibhu [00:26:54]: model gets smaller.

Vibhu [00:26:54]: модель становится меньше.

Swyx [00:26:55]: I don’t know why you say two times, ‘cause I think it’s like 100 times. In language models, it is roughly one hundred to a thousand times every twelve to eighteen months, for the same given level of LMSys, ELO.

Swyx [00:26:55]: Не знаю, почему ты говоришь в два раза, потому что, по-моему, это типа в 100 раз. В языковых моделях это примерно от ста до тысячи раз каждые двенадцать-восемнадцать месяцев при одном и том же уровне LMSys ELO.

Vibhu [00:27:08]: That’s a net of everything, right? That’s model performance alongside compute. So different than just compute costs come down. But, a very interesting future.

Vibhu [00:27:08]: Это с учётом всего вместе, да? Это производительность модели вместе с compute. Так что иначе, чем просто снижение стоимости compute. Но очень интересное будущее.

Swyx [00:27:19]: So the web designers will have to shout out that accessibility is an issue, right? how do you deal with screen readers or whatever. But yes, this is higher bandwidth storytelling than anything you can possibly generate with code, right? So I think that’s the rough idea.

Swyx [00:27:19]: Так что веб-дизайнерам придётся прокричать, что доступность — это проблема, да? Как ты справляешься со скринридерами или чем-то таким. Но да, это сторителлинг более высокой пропускной способности, чем что угодно, что ты можешь сгенерировать кодом, да? Так что, думаю, это примерно идея.

Ethan [00:27:34]: And I’d like to add a little bit that so human naturally have the maximum bandwidth when we are looking at things, look at videos, and we also have maximum output bandwidth when we are talking. So in the future, it might be something like we talk to AI models, and the AI model responds back with a generative UI. So that would be the maximum input and output bandwidth to interact with AI models before neural link happens.

Ethan [00:27:34]: И я бы немного добавил: человек естественным образом имеет максимальную пропускную способность, когда смотрит на вещи, смотрит видео, и у нас также максимальная выходная пропускная способность, когда мы говорим. Так что в будущем это может быть что-то вроде: мы говорим с AI-моделями, а AI-модель отвечает генеративным UI. Это была бы максимальная входная и выходная пропускная способность для взаимодействия с AI-моделями, пока не появится Neuralink.

Vibhu [00:28:06]: And it’s also very custom, right? Some people are very visual, some people are not as visual, right? They prefer the text. But the best thing about generative UI, right, it can also be text.

Vibhu [00:28:06]: И это ещё очень кастомно, да? Некоторые люди очень визуальны, некоторые не настолько визуальны, да? Они предпочитают текст. Но самое лучшее в генеративном UI, да, — он может быть и текстом.

Swyx [00:28:17]: There’s another project that we wanted to highlight, which is the Neural OS. Kinda similar idea, but here you’re literally operating, simulating an operating system with a video model.

Swyx [00:28:17]: Есть ещё один проект, который мы хотели подсветить, — Neural OS. Похожая идея, но здесь ты буквально оперируешь, симулируешь операционную систему с помощью видеомодели.

Swyx [00:28:27]: and you can play Doom, you can do Firefox. I find this like mildly less impressive, obviously, because it’s an OS that I can run.

Swyx [00:28:27]: И можно играть в Doom, можно делать Firefox. Мне это кажется чуть менее впечатляющим, очевидно, потому что это ОС, которую я могу запустить.

Swyx [00:28:37]: But here everything is imagined.

Swyx [00:28:37]: Но здесь всё вымышлено.

Vibhu [00:28:40]: I was, used to the Command+W to close the Firefox tab. It didn’t crash. That’s why I said

Vibhu [00:28:40]: Я по привычке нажал Command+W, чтобы закрыть вкладку Firefox. Оно не упало. Вот почему я сказал

Swyx [00:28:45]: It’s too immersive.

Swyx [00:28:45]: Это слишком иммерсивно.

Vibhu [00:28:46]: It’s, it’s too immersive for me.

Vibhu [00:28:46]: Это, это слишком иммерсивно для меня.

Swyx [00:28:47]: Too immersive.

Swyx [00:28:47]: Слишком иммерсивно.

Vibhu [00:28:48]: I wanted to close the tab.

Vibhu [00:28:48]: Я хотел закрыть вкладку.

Vibhu [00:28:49]: But yes, I can play generated diffusion.

Vibhu [00:28:49]: Но да, я могу играть в сгенерированную диффузию.

Swyx [00:28:51]: this is shockingly fast.

Swyx [00:28:51]: Это шокирующе быстро.

Swyx [00:28:54]: Because I remember there was a demo about like maybe one to two years ago. Someone tried to do the first-person shooter with a image model. There was no consistency. It was very slow. But here it looks like realistically it’s-- this is Doom.

Swyx [00:28:54]: Потому что помню, было демо, может, год-два назад. Кто-то пытался сделать шутер от первого лица с image-моделью. Не было никакой консистентности. Было очень медленно. А тут выглядит реалистично — это Doom.

Vibhu [00:29:07]: I think there’s two sides to that, right? There’s okay, what is running a game? The heavy part of it is actually the game engine, all the lighting, all that stuff, the graphics. This is just kind of video, right? Like we’ve solved consistency. This is still, it looks like a few years old image generation. There’s some temporal consistency, but it’s, it’s kind of just images stitched together as frame video. But it’s a good visual representation to pi- to picture the future you wanna see, right? that’s, that’s what I see in these more so.

Vibhu [00:29:07]: Думаю, тут две стороны, да? Окей, что значит запускать игру? Тяжёлая её часть — это на самом деле игровой движок, всё освещение, вся эта графика. А это просто что-то вроде видео, да? Типа, мы решили консистентность. Это всё ещё выглядит как генерация изображений несколько лет назад. Есть некоторая временная консистентность, но это по сути просто изображения, сшитые вместе как кадровое видео. Но это хорошее визуальное представление, чтобы вообразить будущее, которое хочешь увидеть, да? Вот что я вижу в этих штуках больше всего.

Ethan [00:29:38]: This reminds me of how the video models gets better and better. So Neural OS is kinda if you just look at it feels like it’s just a crappy version of the, like the Windows we could have, right? And, but the difference is, so the model, this model is overfitted on the existing operating systems. It can generate nothing different than that. But it’s actually also similar to video models. So when we are training these video model, image model, we train them on internet. There’s no imaginary supernatural stuff on the internet. But once we train this model, you can prompt the model to generate something supernatural that have never existed in the data set. So if you train your Neural OS or neural computer on the standard screen recordings on the entire internet. The model can imagine completely new interface to interact with the computer.

Ethan [00:29:38]: Это напоминает мне о том, как видеомодели становятся всё лучше и лучше. Neural OS — если просто посмотреть, ощущается как просто кривая версия Windows, которые у нас могли бы быть, да? Но разница в том, что эта модель переобучена на существующих операционных системах. Она не может сгенерировать ничего, отличного от этого. Но на самом деле это тоже похоже на видеомодели. Когда мы обучаем эти видеомодели, image-модели, мы обучаем их на интернете. В интернете нет воображаемых сверхъестественных штук. Но как только мы обучили эту модель, ты можешь подсказать модели сгенерировать что-то сверхъестественное, чего никогда не существовало в датасете. Так что если ты обучишь свой Neural OS или нейрокомпьютер на стандартных записях экрана со всего интернета, модель может вообразить совершенно новый интерфейс для взаимодействия с компьютером.

Swyx [00:30:43]: This is one of those things that is magical to me. usually generalizing out of distribution is bad, but somehow we have learned some kind of internal world model that you say, this plus, but it looks like rainbows and butterflies, it’ll do it and it will kind of make sense.

Swyx [00:30:43]: Это одна из тех вещей, что для меня магическая. Обычно обобщение за пределы распределения — это плохо, но каким-то образом мы выучили какую-то внутреннюю world model, так что ты говоришь: вот это плюс, но пусть выглядит как радуги и бабочки, и оно это сделает, и это будет вроде как иметь смысл.

Swyx [00:31:03]: So yeah, that’s kind of cool. Yeah, I don’t know if there’s any comment more on there. I do, I do wanted to, I did wanted to touch a little bit more on the model architecture stuff, which I think you were getting. It’s, really fascinating. We don’t get a chance to talk about this enough. So one of the papers that we covered, we’ve covered every annual, segment anything release. and I don’t know if you follow-- you’re a computer vision guy, so you

Swyx [00:31:03]: Так что да, это вроде как круто. Да, не знаю, есть ли ещё какой комментарий. Я хотел чуть больше затронуть штуку про архитектуру модели, в которую ты, по-моему, заходил. Это реально завораживает. У нас не так часто бывает возможность об этом поговорить. Одна из статей, которую мы разбирали, — мы разбирали каждый ежегодный релиз Segment Anything. И не знаю, следишь ли ты — ты же computer-vision-человек, так что ты

Ethan [00:31:26]: I know

Ethan [00:31:26]: Я знаю

Swyx [00:31:27]: . So they did memory attention, which is kind of interesting. And I always think, anything where you can, across the temporal dimension, keep some consistency, I think it’s, very fascinating, and I don’t know if Basically, does that-- the CV side bleeding into video gen side, I think is underexplored, right? we talk about it for labeling, but actually you can borrow the architecture itself.

Swyx [00:31:27]: Они сделали memory attention, что довольно интересно. И я всегда думаю: всё, где можно по временному измерению сохранять какую-то консистентность, мне кажется очень завораживающим, и не знаю, по сути — разве сторона CV, перетекающая в сторону видеогенерации, не недоисследована, да? Мы говорим о ней для разметки, но на самом деле можно заимствовать саму архитектуру.

Ethan [00:31:50]: There’s, there’s also complete different approaches, right? you brought up the term world model, so we went from video model to world model. There is diffusion, but there’s also other approaches that people are doing. So maybe we get into those after as well,?

Ethan [00:31:50]: Есть, есть и совершенно другие подходы, да? Ты поднял термин world model, так что мы перешли от видеомодели к world model. Есть диффузия, но есть и другие подходы, которые люди делают. Так что, может, в них тоже потом углубимся?

Swyx [00:32:03]: He has a whole definition of world models and stuff. I feel like we threw a lot at you. Whatever you want to comment on.

Swyx [00:32:03]: У него есть целое определение world models и всё такое. Чувствую, мы много на тебя вывалили. Комментируй, что хочешь.

Why Video Models Are Expensive: Storage, I/O, and Training Scale

Почему видеомодели дороги: хранение, I/O и масштаб обучения

Ethan [00:32:10]: I think one thing that we should actually comment back on is okay, so we were talking about the steps to train image gen to video model. One thing we don’t see as much of is okay, you brought up the delta in training data, right? So

Ethan [00:32:10]: Думаю, одно, к чему стоит вернуться, — окей, мы говорили о шагах обучения от image-gen к видеомодели. Одно, что мы видим не так часто, — окей, ты поднял дельту в обучающих данных, да? Так что

Ethan [00:32:24]: you won’t have as much a video model might not generalize, but what is the cost of training a large video model? So we know for LLMs roughly, okay, even like the poolside thing that came out today, right? It’s a Gemma level model trained on roughly forty trillion tokens at this many H200s over this much time, right? You can see what is the exact cost of that. So how many GPU hours over how much H200 costs? So how do we do the back-end math of, same thing for video models, image models. How do you, how do you kind of break that down? I can share some back-envelope calculation. So surprisingly, video models is-- the cost is very-- is comparable to language models and obviously the largest scale is language model, maybe like a medium scale to language models. I said just storing the videos alone, it costs a lot. You can, you can maybe look up on AWS or something.

Ethan [00:32:24]: у тебя не будет так много — видеомодель может плохо обобщать, но какова стоимость обучения большой видеомодели? Для LLM мы примерно знаем, даже вот poolside-штука, что вышла сегодня, да? Это модель уровня Gemma, обученная примерно на сорока триллионах токенов на стольких-то H200 за столько-то времени, да? Видно точную стоимость этого. Сколько GPU-часов, сколько стоят H200. Как нам посчитать с конца то же самое для видеомоделей, image-моделей? Как это разложить? Могу поделиться прикидкой на коленке. На удивление, видеомодели — стоимость очень сопоставима с языковыми моделями, и очевидно, самый большой масштаб — у языковых моделей, может, у среднемасштабных языковых моделей. Я бы сказал, просто хранить видео само по себе стоит дорого. Можно посмотреть на AWS или где-то.

Ethan [00:33:20]: You really, say if you have a billion videos and let’s say, let’s just say like each video, like five megabyte, then you need five petabyte to just store those videos. And also remember we talk about you use a VAE to compress the videos, and you also need to store, typically you need to store those continuous feature, in-- also in your storage. That’s also comparable size with the videos themselves. So just storing these videos and the features is tens of petabytes alone. And,

Ethan [00:33:20]: Правда — скажем, если у тебя миллиард видео, и допустим, каждое видео, скажем, пять мегабайт, то тебе нужно пять петабайт просто чтобы хранить эти видео. И ещё помни, мы говорили, что ты используешь VAE для сжатия видео, и тебе также нужно хранить — обычно нужно хранить эти непрерывные фичи в хранилище. Это тоже сопоставимо по размеру с самими видео. Так что просто хранение этих видео и фич — это десятки петабайт сами по себе. И,

Swyx [00:33:58]: I just, I just looked up the calculation. Five petabytes on S3 Standard is one hundred K per month.

Swyx [00:33:58]: Я, я как раз посмотрел расчёт. Пять петабайт на S3 Standard — это сто тысяч в месяц.

Ethan [00:34:05]: And

Ethan [00:34:05]: И

Swyx [00:34:05]: It’s comparable

Swyx [00:34:05]: Это сопоставимо

Ethan [00:34:05]: and you need

Ethan [00:34:05]: и тебе нужно

Swyx [00:34:06]: And

Swyx [00:34:06]: И

Ethan [00:34:06]: And then like tens of petabytes, two hundred K. And even more expensive is you have the ingress and egress.

Ethan [00:34:06]: А потом десятки петабайт — двести тысяч. И ещё дороже — у тебя есть ingress и egress.

Swyx [00:34:13]: Oh, yeah.

Swyx [00:34:13]: О, да.

Ethan [00:34:14]: Like you-- through the internet. You have to just to download those videos, I believe it’s, it’s more expensive on AWS than just storing those videos.

Ethan [00:34:14]: Типа — через интернет. Тебе нужно просто скачать эти видео, и я думаю, на AWS это дороже, чем просто хранить эти видео.

Swyx [00:34:25]: Storing, yeah.

Swyx [00:34:25]: Хранить, да.

Ethan [00:34:25]: And each training runs, you probably need to pull them once. If you train multiple times, it’s, it’s even more than that. So it’s like just storing the network, those costs is just, it would be a few, a few millions per month to just storing everything, not to mention the GPU cost.

Ethan [00:34:25]: И на каждый обучающий прогон тебе, наверное, нужно их вытянуть один раз. Если ты обучаешь несколько раз, то это ещё больше. Так что только хранение, сеть — эти затраты, это будет несколько миллионов в месяц, просто чтобы всё хранить, не говоря уже о стоимости GPU.

Ethan [00:34:45]: And

Ethan [00:34:45]: И

Swyx [00:34:45]: my side tangent, the compute rental, like GPU rental is very efficient. There’s one side, okay, you can be XAI and build your data center. Should we not just build our, storage compute as well? Like

Swyx [00:34:45]: Моё побочное отступление: аренда compute, аренда GPU очень эффективна. С одной стороны, окей, ты можешь быть xAI и построить свой дата-центр. А не стоит ли нам построить ещё и своё хранилище-compute? Типа

Ethan [00:34:57]: Of course

Ethan [00:34:57]: Конечно

Swyx [00:34:57]: cloud cost compared to just,

Swyx [00:34:57]: облачные затраты по сравнению с просто,

Ethan [00:34:59]: You save so much

Ethan [00:34:59]: Ты экономишь так много

Swyx [00:35:00]: store. Yeah, exactly.

Swyx [00:35:00]: хранением. Да, именно.

Swyx [00:35:01]: Especially with like egress and stuff. So.

Swyx [00:35:01]: Особенно с egress и всем таким. Так что.

Ethan [00:35:04]: That’s a good idea, but it also comes to-- there are some of its own challenges.

Ethan [00:35:04]: Это хорошая идея, но тут есть и свои сложности.

Swyx [00:35:09]: Of course, of course.

Swyx [00:35:09]: Конечно, конечно.

Ethan [00:35:10]: like people who build the GPU data centers, they might not expect this much, storage. And yeah, people build storage, typically they just build it somewhere with just CPUs.

Ethan [00:35:10]: Например, люди, которые строят GPU-дата-центры, могут не ожидать такого объёма хранилища. И да, люди строят хранилище, обычно они просто строят его где-то с одними CPU.

Swyx [00:35:23]: I just looked it up. Five-- AWS only charges for egress, not ingress. Tier five for five petabytes is two hundred and thirty K.

Swyx [00:35:23]: Я только что посмотрел. Пять — AWS берёт плату только за egress, не за ingress. Tier five для пяти петабайт — это двести тридцать тысяч.

Ethan [00:35:32]: Even more expensive than the storage.

Ethan [00:35:32]: Даже дороже, чем хранение.

Swyx [00:35:34]: But storing is per month, right? You check in, then you cannot check out. so it’s so cool. It’s okay. So there’s that side.

Swyx [00:35:34]: Но хранение — за месяц, да? Ты заезжаешь, а выехать не можешь. Так что это так круто. Окей. Так вот есть эта сторона.

Ethan [00:35:41]: So the TLDR, my backhand math

Ethan [00:35:41]: Так что, TL;DR, моя прикидка на коленке

Swyx [00:35:42]: Data is larger than you think. Yes.

Swyx [00:35:42]: Данных больше, чем ты думаешь. Да.

Ethan [00:35:44]: my backhand math of GPU hours times GPU cost is also very much, I’m missing some storage.

Ethan [00:35:44]: моя прикидка GPU-часов на стоимость GPU — тоже очень много, я упускаю часть хранения.

Swyx [00:35:49]: You’re also-- you’re basically like also more IO bound than normal training.

Swyx [00:35:49]: Ты также — ты по сути ещё и более IO-bound, чем при обычном обучении.

Swyx [00:35:55]: Yes. ‘Cause like data loading, so caching everything, it becomes super important.

Swyx [00:35:55]: Да. Потому что загрузка данных, кэширование всего — становится сверхважно.

Ethan [00:36:00]: So in Cosmos, we did a lot of optimizations to make it not IO bound. So, speaking of the training, actually training the model, the GPU cost, if you look up like the open source model, how big these video models are, I think like LTX has nineteen B parameters. That’s a dense model. And people are also exploring, MoEs, so it might be twenty B active and, like a hun- hundreds B, total. So that’s, that’s even-- that’s similar size as medium-sized LLM models. And if you, if you look at number of tokens-Uh, we disclose that in Cosmos. It’s also like tens of trillions of tokens on the visual tokens. So putting this together, the cost of, training these video models, it’s actually comparable with LLMs. Not to mention, the infra is slightly different from LLM, so it might be less efficient to train these models.

Ethan [00:36:00]: В Cosmos мы сделали много оптимизаций, чтобы оно не было IO-bound. Так что, говоря об обучении — само обучение модели, стоимость GPU, если посмотреть на открытые модели, насколько большие эти видеомодели — по-моему, у LTX девятнадцать миллиардов параметров. Это dense-модель. И люди также исследуют MoE, так что может быть двадцать миллиардов активных и типа сотни миллиардов в сумме. Так что это даже — это размер среднего LLM. И если посмотреть на число токенов — мы раскрыли это в Cosmos. Это тоже десятки триллионов токенов на визуальных токенах. Так что, складывая всё вместе, стоимость обучения этих видеомоделей на самом деле сопоставима с LLM. Не говоря уже о том, что инфраструктура немного отличается от LLM, так что обучать эти модели может быть менее эффективно.

Inference Speedups: Step Distillation, Consistency Models, and GANs

Ускорение инференса: дистилляция шагов, consistency-модели и GAN

Swyx [00:37:04]: Do you get the benefits of traditional diffusion speed-up? So for, images, there’s LCM, LoRAs for, fine-tuning. There’s, there’s a lot of stuff that’s been

Swyx [00:37:04]: А получаешь ли ты выгоды от традиционного ускорения диффузии? Для изображений есть LCM, LoRA для дообучения. Есть много всего, что

Ethan [00:37:15]: Flow matching.

Ethan [00:37:15]: Flow matching.

Swyx [00:37:16]: there’s flow matching. There’s a lot of stuff that’s been done. there’s some overlap that applies to diffusion on the inference side and stuff or?

Swyx [00:37:16]: есть flow matching. Много всего сделано. Есть какое-то пересечение, что применяется к диффузии на стороне инференса и всё такое, или?

Ethan [00:37:23]: so the difference-- the inference side is a completely different story.

Ethan [00:37:23]: Разница — сторона инференса — это совершенно другая история.

Ethan [00:37:28]: I think for the training side, it might be a little bit hard to reduce that cost. And for the inference side, the biggest gain is from the distillation of these models. You can-- It’s called step distillation, slightly different from knowledge distillation in LLMs. So you-- Typically, for flow matching models, you need like 100 steps or something. Like a distortion model even need even more, like 1,000 steps to generate a good image or video. A step distillation is try to learn to generate fewer step from the model itself. It’s kind of like now we-- you use the full model to generate in 100 steps, and then you take a model that only generate 10 steps and let that model to learn from the perfect one.

Ethan [00:37:28]: Думаю, на стороне обучения снизить эту стоимость может быть немного сложно. А на стороне инференса самый большой выигрыш — от дистилляции этих моделей. Это называется дистилляция шагов, немного отличается от дистилляции знаний в LLM. Обычно для flow-matching-моделей тебе нужно около 100 шагов или вроде того. Diffusion-модели нужно даже больше, типа 1000 шагов, чтобы сгенерировать хорошее изображение или видео. Дистилляция шагов — это попытка научиться генерировать за меньшее число шагов из самой модели. Это как — сейчас ты используешь полную модель, чтобы генерировать за 100 шагов, а потом берёшь модель, которая генерирует только за 10 шагов, и даёшь этой модели учиться у идеальной.

Ethan [00:38:25]: why this work

Ethan [00:38:25]: почему это работает

Swyx [00:38:27]: Strong to weak seemingly.

Swyx [00:38:27]: Похоже на strong-to-weak.

Ethan [00:38:28]: It is. It’s kind of

Ethan [00:38:28]: Да. Это вроде

Swyx [00:38:29]: Distillation

Swyx [00:38:29]: Дистилляция

Ethan [00:38:29]: kind of like strong to weak. the-- from the modeling perspective, the strong model, the teacher model is trying to model the image and videos of inter-internet, and that distribution is extremely complex. But the step distilled model is just trying to learn from the teacher. The teacher is a model, and the size is fixed, as the distribution is much simpler than the whole internet. That’s the intuition I have why step distillation can work. So usually these models serve in productions, they only run in a few steps. In Cosmos, I believe we have, we have like four step and eight steps. If you do some simpler task, image-image translation, it can even run in fewer step, like one step in Cosmos Transfer.

Ethan [00:38:29]: как strong-to-weak. С точки зрения моделирования сильная модель, модель-учитель пытается смоделировать изображения и видео интернета, а это распределение чрезвычайно сложное. Но модель с дистилляцией шагов просто пытается учиться у учителя. Учитель — это модель, и её размер фиксирован, так что распределение гораздо проще, чем весь интернет. Вот интуиция, которая у меня есть, почему дистилляция шагов может работать. Обычно эти модели, когда их разворачивают в продакшене, работают всего за несколько шагов. В Cosmos, по-моему, у нас были четыре шага и восемь шагов. Если делать более простую задачу, image-to-image-трансляцию, оно может работать даже за меньшее число шагов, типа один шаг в Cosmos Transfer.

Swyx [00:39:22]: I think this is the same intuition that guides a lot of the consistency model work. I sent you a link for, SCM. I don’t know if you covered that. To me, that was actually one of, the most impressive papers I’ve ever seen from OpenAI.

Swyx [00:39:22]: Думаю, это та же интуиция, что направляет многие работы по consistency-моделям. Я скидывал тебе ссылку на sCM. Не знаю, разбирал ли ты её. Для меня это была одна из самых впечатляющих статей, что я видел от OpenAI.

Swyx [00:39:34]: That this is the unifying grand concept of consistency models. I don’t know if you have any comments on this.

Swyx [00:39:34]: Что это объединяющая великая концепция consistency-моделей. Не знаю, есть ли у тебя какие комментарии.

Ethan [00:39:41]: So there are, there are a few different approaches,

Ethan [00:39:41]: Есть, есть несколько разных подходов,

Swyx [00:39:46]: Oh, yeah. Here it is.

Swyx [00:39:46]: О, да. Вот оно.

Swyx [00:39:47]: Two steps versus twenty or 100 steps, whatever. It’s already done.

Swyx [00:39:47]: Два шага против двадцати или 100 шагов, неважно. Уже готово.

Ethan [00:39:52]: So there are, there are a few different approaches, for example, consistency model, and there are also Actually, we shouldn’t forget GAN. So GAN, actually, that was, that was the OG of

Ethan [00:39:52]: Есть, есть несколько разных подходов, например, consistency-модель, и есть ещё — на самом деле не стоит забывать про GAN. GAN, на самом деле, был OG

Swyx [00:40:05]: OG

Swyx [00:40:05]: OG

Ethan [00:40:05]: step distillation ‘cause it trained just one step to begin with. So actually, a lot of, uh-- For example, there’s a distribution matching distillation which use, which uses GAN, as one of the laws for distillation. It-- GAN just tells you, “Hey, generate an image,” and then

Ethan [00:40:05]: дистилляции шагов, потому что он с самого начала обучался всего на один шаг. На самом деле много — например, есть distribution matching distillation, который использует GAN как один из лоссов для дистилляции. GAN просто говорит тебе: «Эй, сгенерируй изображение», и потом

Ethan [00:40:31]: it has a discriminator to tell, is this image real or not? So the model, the model just need to learn one of the distribution, not the full distribution. Because in training, the model is asked to reconstruct the ground truth image from the internet, which is extremely hard. And in-- When you’re training GAN, it’s a step process. It’s just a, “Hey, you generate image. Does this image look as real as the image from the internet?” Which is a much simpler task. And, yeah, combining a lot of these approaches together, people typically do that, like consistency model and distribution matching and GAN, and we can get these few step models.

Ethan [00:40:31]: у него есть дискриминатор, чтобы сказать, реально ли это изображение или нет. Так что модели нужно выучить только одно из распределения, а не всё распределение. Потому что при обучении модель просят реконструировать ground-truth-изображение из интернета, что чрезвычайно сложно. А когда ты обучаешь GAN, это пошаговый процесс. Это просто: «Эй, ты генерируешь изображение. Выглядит ли это изображение настолько же реальным, как изображение из интернета?» Что гораздо более простая задача. И да, комбинируя много этих подходов вместе, люди обычно так и делают, типа consistency-модель, и distribution matching, и GAN, и мы можем получить эти few-step-модели.

Audio-Video Generation and Time Alignment

Аудио-видео генерация и временное выравнивание

Swyx [00:41:21]: Then there’s one step I wanted to add, which is audio and video.

Swyx [00:41:21]: Ещё один шаг, который я хотел добавить, — это аудио и видео.

Ethan [00:41:26]: So, Grok Imagine zero point nine, I believe it’s, it’s a first audio video transmodel deployed at a large scale. So

Ethan [00:41:26]: Так вот, Grok Imagine ноль точка девять, по-моему, это первая аудио-видео модель, развёрнутая в большом масштабе. Так что

Swyx [00:41:39]: And that was your first model?

Swyx [00:41:39]: И это была твоя первая модель?

Ethan [00:41:40]: that was, Grok Imagine’s first model. It’s, it’s audio video, joint generation. I think the hard part is, the modality alignment, ‘cause before this transmodel, we have, we have text to video alignment. We have this, correspondence between text and video. Typically, most of the VLMs, they understand images and videos. Video’s very rare, and they don’t understand audio mostly. And if you look at the audio generation on the LLM side, you can talk to them perfectly fine, but if you ask them to sing a song or something, it typically is not very good. Also, they don’t have, they don’t have music either. The hard part is thatUh, actually audio has two component. It has like a discrete component, a continuous component. The discrete component is like the language.

Ethan [00:41:40]: это была первая модель Grok Imagine. Это аудио-видео, совместная генерация. Думаю, сложная часть — выравнивание модальностей, потому что до этой модели у нас было выравнивание текст-видео. У нас есть это соответствие между текстом и видео. Обычно большинство VLM понимают изображения и видео. Видео — очень редко, и аудио они в основном не понимают. А если посмотреть на генерацию аудио на стороне LLM, можно прекрасно с ними поговорить, но если попросить спеть песню или что-то такое, это обычно не очень хорошо. И ещё у них нет музыки. Сложная часть в том, что — на самом деле у аудио две компоненты. Есть дискретная компонента и непрерывная компонента. Дискретная компонента — это как язык.

Ethan [00:42:44]: So when we speak, it’s just, some

Ethan [00:42:44]: Когда мы говорим, это просто некоторые

Swyx [00:42:47]: It’s an ASR issue, yeah.

Swyx [00:42:47]: Это вопрос ASR, да.

Ethan [00:42:49]: It’s, it’s text token with some characteristics, I would say.

Ethan [00:42:49]: Это, это текстовые токены с некоторыми характеристиками, я бы сказал.

Ethan [00:42:54]: But music

Ethan [00:42:54]: Но музыка

Swyx [00:42:56]: I think the speech guys would disagree with this.

Swyx [00:42:56]: Думаю, ребята из speech с этим не согласятся.

Swyx [00:42:57]: Like disfluencies and then,

Swyx [00:42:57]: Типа дисфлюэнции и потом,

Vibhu [00:43:00]: There’s tones you can get angry.

Vibhu [00:43:00]: Есть тона, можно разозлиться.

Ethan [00:43:01]: Well, I say largely.

Ethan [00:43:01]: Ну, я говорю в основном.

Ethan [00:43:03]: the mu- but the music is completely different. It’s, it’s very continuous, and you cannot model them like discrete tokens in language models. this is like the hard part for models is, not to mention we have to align text, video, and audio together.

Ethan [00:43:03]: Но музыка совершенно другая. Она очень непрерывная, и её нельзя моделировать как дискретные токены в языковых моделях. Вот в чём сложная часть для моделей, не говоря уже о том, что нам нужно выровнять текст, видео и аудио вместе.

Ethan [00:43:26]: So

Ethan [00:43:26]: Так что

Vibhu [00:43:26]: How?

Vibhu [00:43:26]: Как?

Ethan [00:43:28]: So significant-- some significant challenges are like-- So first, like we talk about as the VLMs, they cannot understand most of them cannot understand audio.

Ethan [00:43:28]: Так что значимые — некоторые значимые сложности типа — мы говорили, что VLM не могут понимать, большинство из них не могут понимать аудио.

Ethan [00:43:39]: So you have to have some way to do the synthetic data generation for audio. You have to caption the model, and that involve, that involve synthetic data and human data effort a lot. And not just surprisingly, most of the LLMs are very bad at recognizing, like the beat, tone, and the details of the of music. They can, they can give some general prediction of which song is this, but it’s very hard to describe the details of the music. like we mentioned in image generation, like you have to describe image as detailed as possible so that someone blind can reconstruct that. So here is like someone

Ethan [00:43:39]: Так что тебе нужен какой-то способ генерации синтетических данных для аудио. Тебе нужно делать подписи моделью, а это требует — это требует много усилий по синтетическим данным и человеческим данным. И не просто, на удивление, большинство LLM очень плохо распознают, типа, бит, тон и детали музыки. Они могут дать какое-то общее предсказание, что это за песня, но очень сложно описать детали музыки. Как мы упоминали в генерации изображений: нужно описать изображение как можно детальнее, чтобы кто-то слепой мог это реконструировать. Так что здесь это как кто-то

Vibhu [00:44:32]: Deaf

Vibhu [00:44:32]: Глухой

Ethan [00:44:32]: someone deaf can reconstruct how the music sounds like without actually listening to it. Maybe you can think of it need to have the-- or they call the script.

Ethan [00:44:32]: кто-то глухой мог реконструировать, как звучит музыка, фактически её не слушая. Может, можно думать об этом как о — или они называют это партитурой.

Vibhu [00:44:49]: Subtitles, yeah.

Vibhu [00:44:49]: Субтитры, да.

Ethan [00:44:49]: You gotta have all the details of the music, and the dialogue.

Ethan [00:44:49]: Нужно иметь все детали музыки и диалога.

Vibhu [00:44:55]: So is the challenge there typically stuff like music and audio, or is it just Like is there a baseline? Okay, there’s enough data where we can understand, narration, conversation, but there’s nuances in audio that’s where you hit all the data issues or is it just from stage zero, you just do it all right?

Vibhu [00:44:55]: То есть сложность там обычно в таких вещах, как музыка и аудио, или просто — типа, есть ли базовая линия? Окей, есть достаточно данных, где мы можем понять нарратив, разговор, но есть нюансы в аудио — вот где ты упираешься во все проблемы с данными, или это просто с нулевой стадии, ты просто делаешь всё с нуля?

Ethan [00:45:15]: So one important thing is like the alignment. So the model, the model has to know like the video and audio, the, uh-- it has to have a time-based alignment, like at which time step the video and the audio token correspond to each other. But we actually don’t have this kind of alignment for most of the other modalities. If you think about like text and image, text and video, they are loosely aligned. So you can, you can have a description of what’s going on in the video, but you don’t have to exactly, You typically don’t have exact description, oh, at, time step one second like what happened?

Ethan [00:45:15]: Так что одна важная вещь — это выравнивание. То есть модель должна знать, что видео и аудио — она должна иметь выравнивание по времени, типа на каком временном шаге видео- и аудио-токен соответствуют друг другу. Но на самом деле у нас нет такого выравнивания для большинства других модальностей. Если подумать про текст и изображение, текст и видео — они слабо выровнены. Можно иметь описание того, что происходит в видео, но не обязательно точно, обычно у тебя нет точного описания, о, на временном шаге одна секунда что произошло?

Vibhu [00:46:02]: It’s very

Vibhu [00:46:02]: Это очень

Ethan [00:46:03]: At time step two second what happened

Ethan [00:46:03]: На временном шаге две секунды что произошло

Vibhu [00:46:03]: coarse. Yeah.

Vibhu [00:46:03]: грубо. Да.

Swyx [00:46:05]: So what was the ideal time step? You have to oblate it, and then it’s like four seconds or something.

Swyx [00:46:05]: Так какой был идеальный временной шаг? Тебе пришлось это аблировать, и потом получается типа четыре секунды или вроде того.

Ethan [00:46:09]: So that comes down to how you design the model to, for the model to be aware of as a time, as a time modality. So the model is like a time aware. And that’s something pretty unique if you think about LLMs. So if you ask LLM to complete a task, say they, uh-- you ask them and they will say, “Oh, this task will probably take twelve hours to complete,” and they come back in one hour. Say “I’ve already spent two days on this and I’ve exhausted everything.”

Ethan [00:46:09]: Это сводится к тому, как ты проектируешь модель, чтобы модель осознавала время как модальность. То есть модель типа осознаёт время. И это нечто довольно уникальное, если подумать про LLM. Если попросить LLM выполнить задачу, скажем, ты просишь, и она говорит: «О, эта задача, наверное, займёт двенадцать часов», а возвращается через час. Говорит: «Я уже потратила два дня на это и исчерпала всё».

Ethan [00:46:47]: So the LLMs them-themselves, they don’t have a sense of time there.

Ethan [00:46:47]: Так что у самих LLM нет чувства времени.

Vibhu [00:46:53]: I actually don’t think that’s just them not having a sense of time. I think it’s somewhat based, right?

Vibhu [00:46:53]: Я на самом деле не думаю, что это просто отсутствие чувства времени. Думаю, это в какой-то мере обосновано, да?

Vibhu [00:46:58]: Like you tell someone, “Okay, go work on this feature. Go implement this,” there’s a general understanding you would have of how long that would take without LLMs working at LLM speed, right? So you think back like two years ago, if I tell you to like build me like a new front end for latent space, have a search bar, have all this, you’ll estimate that it’ll take a few days, right?

Vibhu [00:46:58]: Типа ты говоришь кому-то: «Окей, поработай над этой фичей. Реализуй это» — есть общее понимание, которое у тебя было бы, сколько это займёт без LLM, работающих на скорости LLM, да? Так что вспомни два года назад: если я попрошу тебя построить новый фронтенд для Latent Space, со строкой поиска, со всем этим — ты прикинешь, что это займёт несколько дней, да?

Vibhu [00:47:19]: So you tell an LLM, “Go build this.” It’ll take me a few days. But I think it’s somewhat grounded as opposed to them not having the best-- Not saying that they have a great understanding, but I think that example is like you can see where it comes from, right? You’re trained on all over the text.

Vibhu [00:47:19]: Так что ты говоришь LLM: «Построй это». Это займёт у меня несколько дней. Но думаю, это в какой-то мере обосновано, а не то что у них нет лучшего — не говорю, что у них отличное понимание, но думаю, на этом примере видно, откуда это берётся, да? Ты обучен на всём этом тексте.

Swyx [00:47:35]: They’re, they’re trying to estimate what a human would say.

Swyx [00:47:35]: Они, они пытаются оценить, что сказал бы человек.

Vibhu [00:47:37]: because that’s what the, that’s what the data kind of represents. It’s not them

Vibhu [00:47:37]: потому что это то, что, это то, что данные примерно представляют. Это не они

Ethan [00:47:41]: It came from the corpus on the internet. People have a estimate of how much time.

Ethan [00:47:41]: Это пришло из корпуса в интернете. У людей есть оценка, сколько времени.

Vibhu [00:47:45]: And not even just in direct like training samples, right? Just your world understanding of tokens of how long stuff takes, right? Go read a book. It’ll take you a while, right?

Vibhu [00:47:45]: И даже не просто в прямых обучающих примерах, да? Просто твоё понимание мира из токенов о том, сколько что занимает, да? Сходи прочитай книгу. Это займёт у тебя какое-то время, да?

Vibhu [00:47:56]: Even if you do nothing but read a book, it takes a few days. So yeah, LLM, I read it took me a few hours.

Vibhu [00:47:56]: Даже если ты не делаешь ничего, кроме чтения книги, это занимает несколько дней. Так что да, LLM, я прочитал, заняло несколько часов.

Vibhu [00:48:01]: It’ll take me a few hours to go through this research. But this is a tangent.

Vibhu [00:48:01]: У меня уйдёт несколько часов, чтобы пройти это исследование. Но это отступление.

Swyx [00:48:05]: Somewhat, yeah.

Swyx [00:48:05]: В какой-то мере, да.

Swyx [00:48:06]: This is a train of thought I haven’t really expressed until now is, which is basically like a full world model must also be recursive, meaning that the participant in the world model must also be aware that they have a world model. which is like this whole recursive thing down the, down the line. but yes, and that the world model can be wrong and that they need to update it and blah. Yeah. We’ve, argued this on the, newsletter as well, that there needs to be sort of recursive or adversarial world models.

Swyx [00:48:06]: Это ход мысли, который я до сих пор по-настоящему не выражал: по сути полная world model должна быть ещё и рекурсивной, в смысле, что участник world model тоже должен осознавать, что у него есть world model. Что вроде как вся эта рекурсивная штука дальше по цепочке. Но да, и что world model может быть неправа, и что им нужно её обновлять, и так далее. Да. Мы это тоже доказывали в рассылке, что нужны как бы рекурсивные или состязательные world models.

World Models: Real-Time, Long-Horizon, Interactive Video

World Models: видео в реальном времени, с длинным горизонтом, интерактивное

Vibhu [00:48:34]: just, to ask, how do you define world model?

Vibhu [00:48:34]: Просто чтобы спросить: как ты определяешь world model?

Swyx [00:48:38]: Oh, yeah, let’s go there.

Swyx [00:48:38]: О, да, давай туда.

Ethan [00:48:40]: So

Ethan [00:48:40]: Так что

Vibhu [00:48:40]: So just for context, we talked about, video generation, and then there’s a-- if you say there’s a distinction between world models, what’s your, what’s your definition? How do you see the two?

Vibhu [00:48:40]: Просто для контекста, мы говорили о видеогенерации, и потом есть — если ты говоришь, что есть различие между world models, какое твоё определение? Как ты видишь эти два?

Ethan [00:48:53]: So disclaimer, I’m not going to debate, what is world model. Yeah. there are many definitions, so I’ll just talk about my definition. Since I came from the multi-model, multi-model domain, so mainly talking from video. So world model is like real-time interactive long horizon videos. So there are three parts. so we-- let’s talk about them one by one. So the so interaction, so we just, we just look at Facebook and neural computer. So the interaction part of it, so you, world model can allow you to interact with them through keyboard, mouse, and maybe also voice. So these all is-- all is a modality. You can, you can interact with the model, and the model should respond reasonably. Second part is real time. So once you, once, say, you move your mouse, if, say, the world model generate a game, how fast can the game respond? So if you’re like professional CS: GO players- -my say, oh, you have to respond- He’s beginner within sub ten milliseconds or- Yeah even less. So that’s not most of the- No, sixty FPS. Let’s go. Oh, three hundred FPS. Oh, five hundred FPS. Wait. okay, yeah. I didn’t do the math, but yeah, okay. Uh- Yeah, three hundred FPS, that’s a three millisecond. So you have to respond- Oh, shit. Okay. Yeah

Ethan [00:48:53]: Так что дисклеймер: я не собираюсь спорить, что такое world model. Да. Есть много определений, так что я просто расскажу о своём определении. Поскольку я пришёл из мультимодального домена, говорю в основном из видео. Так что world model — это интерактивное видео в реальном времени с длинным горизонтом. Здесь три части. Давай разберём их по одной. Интерактивность — давай просто посмотрим на Facebook и нейрокомпьютер. Часть про интерактивность: world model позволяет тебе взаимодействовать с ними через клавиатуру, мышь и, может, ещё голос. Всё это — модальность. Ты можешь взаимодействовать с моделью, и модель должна реагировать разумно. Вторая часть — реальное время. Как только ты, скажем, двигаешь мышью, если, скажем, world model генерирует игру — как быстро игра может отреагировать? Если ты типа профессиональный игрок в CS:GO — скажешь, о, нужно реагировать — он новичок — за менее чем десять миллисекунд или — да, даже меньше. Так что это не большинство — нет, шестьдесят FPS. Погнали. О, триста FPS. О, пятьсот FPS. Стоп. Окей, да. Э-э, да, триста FPS, это три миллисекунды. Так что нужно реагировать — о, чёрт. Окей. Да

Ethan [00:50:29]: within a millisecond. Most of the video models cannot do that. Yeah. And, but if you, say, if you have a video model that is, say, like a digital human, the response time might be more generous. Maybe typically, for real-time voice interaction, it’s like two hundred millisecond. So that’s, that’s much more generous. But even two hundred millisecond is pretty, it is pretty tricky, ‘cause remember we mentioned

Ethan [00:50:29]: в течение миллисекунды. Большинство видеомоделей не могут так. Да. Но если, скажем, у тебя видеомодель типа цифрового человека, время отклика может быть более щедрым. Может, обычно для голосового взаимодействия в реальном времени это около двухсот миллисекунд. Так что это гораздо более щедро. Но даже двести миллисекунд довольно сложно, потому что помни, мы упоминали

Ethan [00:51:01]: you have this, temporal compression coming from the VAE. So if you, if you don’t compress the temporal dimension, your sequence length is going to explode. So if you want to have this real-time, real-timeness in your model, you have to do is one context problem. And the third part is long horizon, ‘cause we-- if you’re not going to just play with, video games just, a few seconds, most video models only a few seconds. We’re going to play with minutes, hours. The model have to be able to generate long-form content.

Ethan [00:51:01]: у тебя есть эта временная компрессия из VAE. Так что если ты не сжимаешь временное измерение, твоя длина последовательности взорвётся. Так что если ты хочешь иметь эту работу в реальном времени в своей модели, тебе нужно решить проблему контекста. И третья часть — длинный горизонт, потому что мы — если ты собираешься играть с видеоиграми не просто несколько секунд, большинство видеомоделей — всего несколько секунд. Мы собираемся играть минутами, часами. Модель должна уметь генерировать длинный контент.

Ethan [00:51:42]: So putting these three together, it’s, real-time, long horizon interactive videos. I think the final state will be, for example, like a video, a video version of Playbook, where you can, you can interact with, a neural computer. You move your mouse, and you click on the generative interface, and it will reply to you through pixels- generating in real time. But getting there, it’s, it’s a very long way to get there. So one of the first step, at Grok Imagine, where I led a small world model team there, was to build video extension. So, video extension- it’s the first step of interactivity. Yeah. It’s, it’s the first step. Yeah. So it’s the first step- You have it here, video editing, yeah. Yeah. Yeah. So the first step is because, this unlocks long horizon videos. Typically, for most of the video generation models, you give it a prompt or an image as an initial frame. You generate video, that’s it. That’s just, one time, done. And some creators would try to, use the last frame as a first frame for the second video. It can-- sometimes it works, but if you do it a few times, it says the quality would decrease. And- It doesn’t have that context- Yeah over the full video, so the temporal- Yeah, exactly. Yeah, ‘cause you only gave it the last frame, of course, right? Yeah. Exactly. And- it’s actually a pretty fun hack. if you’ve seen like- Oh, no, he’s saying something better. Yeah. And for example, like Vue, I remember Vue 3 has like a second context of the last video. It is slightly better than using the last frame, but it has the same problem-- similar problem that it, the quality would decrease. if you extend a few times to, one minute, the video quality would look much worse than the first video. Second, another problem is that the model doesn’t have long-range knowledge of, what’s happening before. Say, if they generate some dialogue, some, two people speaking, and their voice might change, over some time, especially if the second conditioning, it does not cover the previous context. So these are the core challenges. So the Grok Imagine video extension, it has historical context of all of the previous generated videos. It can, It has, it has the context of, who is speaking and what objects have appeared and everything, having that to generate the next video. So if we naively do this, you can imagine, just, put all of the previous history video tokens into the context. The context lens will easily explode. Especially for video models, that can be like a few, a few million context, I would imagine- context lens. Yes.Yeah.

Ethan [00:51:42]: Так что, складывая эти три вместе, это интерактивное видео в реальном времени с длинным горизонтом. Думаю, конечным состоянием будет, например, видеоверсия Flipbook, где ты можешь взаимодействовать с нейрокомпьютером. Ты двигаешь мышью, кликаешь на генеративный интерфейс, и он ответит тебе через пиксели, генерируя в реальном времени. Но дойти туда — это очень долгий путь. Так что один из первых шагов в Grok Imagine, где я возглавлял небольшую команду world model, был построить видеорасширение. Видеорасширение — это первый шаг интерактивности. Да. Это первый шаг. Да. Это первый шаг — у тебя оно здесь есть, видеоредактирование, да. Да. Да. Так что первый шаг, потому что это открывает видео с длинным горизонтом. Обычно для большинства моделей видеогенерации ты даёшь ей промпт или изображение как начальный кадр. Генерируешь видео — вот и всё. Это просто один раз, готово. И некоторые креаторы пытаются использовать последний кадр как первый кадр для второго видео. Иногда это работает, но если сделать так несколько раз, качество падает. У неё нет этого контекста — да, по всему видео, так что временной — да, именно. Да, потому что ты дал ей только последний кадр, конечно, да? Да. Именно. И — на самом деле это довольно забавный хак. Если ты видел типа — о, нет, он говорит что-то получше. Да. И, например, Veo, по-моему, у Veo 3 есть типа секундный контекст последнего видео. Это чуть лучше, чем использовать последний кадр, но у него та же проблема — похожая проблема, что качество падает. Если расширить несколько раз до одной минуты, качество видео будет выглядеть гораздо хуже, чем первое видео. Во-вторых, ещё проблема в том, что у модели нет дальнего знания о том, что происходило раньше. Скажем, если они генерируют какой-то диалог, два человека говорят, и их голос может измениться со временем, особенно если вторая обусловленность не покрывает предыдущий контекст. Так что это ключевые сложности. Так что у видеорасширения Grok Imagine есть исторический контекст всех ранее сгенерированных видео. У него есть контекст того, кто говорит и какие объекты появлялись, и всё это, чтобы сгенерировать следующее видео. Так что если делать это наивно, можно представить — просто закинуть все токены предыдущей истории видео в контекст. Длина контекста легко взорвётся. Особенно для видеомоделей это может быть типа несколько миллионов контекста, я бы представил — длина контекста. Да. Да.

Swyx [00:54:58]: Let’s run with that.

Swyx [00:54:58]: Давай побежим с этим.

Ethan [00:54:59]: for example, like in Cosmos, I think just five seconds of video is like a fifty K or sixty K number of tokens. So like if you do, if you do fifty second, that’s a five hundred K tokens. If you do longer than that, easily explode. This long horizon, problem was the first step we’re trying to solve world model. It turns out people, yeah, people love video extension. Like a lot, a lot of the creators love using video extension to create longer form videos. This is the part I liked that you have a, you have an intermediate step toward the final goal instead of just a straight shot to the final version very much.

Ethan [00:54:59]: Например, в Cosmos, по-моему, всего пять секунд видео — это типа пятьдесят или шестьдесят тысяч токенов. Так что если сделать пятьдесят секунд, это пятьсот тысяч токенов. Если делать дольше, легко взорвётся. Эта проблема длинного горизонта была первым шагом, который мы пытались решить в world model. Оказалось, что люди — да, люди любят видеорасширение. Типа очень много креаторов любят использовать видеорасширение, чтобы создавать видео в более длинной форме. Эта часть мне нравится, что у тебя есть промежуточный шаг к конечной цели, а не просто прямой выстрел в финальную версию.

Swyx [00:55:48]: But I can see you have a strong vision of where we want to end up.

Swyx [00:55:48]: Но я вижу, что у тебя сильное видение того, где мы хотим оказаться.

Long Context, Redundancy, and Efficient Interactive Video

Длинный контекст, избыточность и эффективное интерактивное видео

Vibhu [00:55:51]: Does it seem like it’s an efficiency issue? okay, we’re at a few million tokens context,. If you draw the parallel to language models, we had very short context, two thousand, eight thousand, then, you scale it up one million, ten million. sure, there’s effective context, but at the end of the day, it’s just what’s it worth? sure, there’s a whole training data side. In video, it might be slightly easier ‘cause we have a hundred million token video, right? Just take a movie with the full context there. Like is this efficiency from an inference standpoint that like it’s expensive, but we know how to solve it? Or like why is this not the approach? So like my broader point was on your second point of world models, you say it needs to be interactive and live, right? You should be able to play a game and see the interaction live. So one thing I see with research is a lot of what you actually serve is different than what you build, right? So we talked about distillation. You train big model, you distill it, you do quantization, speculative decoding. We do all this stuff to serve it efficiently. Should we not just have a solution, like a world model that can interact well, do inference optimization, serve it, distill it secondary, so make it real time after you solve it? So like a-- another parallel is say, continual learning, right? What we need is someone to solve it and show it works inefficiently. Give it a few years, people will make it efficient. Same thing with regular attention, right? It worked. Over a few years, people have different forms of attention, and we’ve scaled it to be efficient at log context,? So kind of two things there, right? One is it seems like it works. You’ve scaled it. Can we not just scale it a lot more efficiently over time? Do we need a separate approach if this works? And same thing with interaction, right? if we can get it done, like if we can solve some way that it works, we can solve making it more efficient from an inference standpoint later.

Vibhu [00:55:51]: Кажется ли это проблемой эффективности? Окей, мы на контексте в несколько миллионов токенов. Если провести параллель с языковыми моделями: у нас был очень короткий контекст, две тысячи, восемь тысяч, потом масштабировали до одного миллиона, десяти миллионов. Конечно, есть эффективный контекст, но в конце концов — чего оно стоит? Конечно, есть вся сторона обучающих данных. В видео может быть чуть проще, потому что у нас есть видео на сто миллионов токенов, да? Просто возьми фильм с полным контекстом там. Это вопрос эффективности с точки зрения инференса, что типа дорого, но мы знаем, как это решить? Или почему это не подход? Мой более широкий поинт был о твоём втором пункте про world models: ты говоришь, что оно должно быть интерактивным и живым, да? Ты должен мочь играть в игру и видеть взаимодействие вживую. Так что одна вещь, которую я вижу в исследованиях: то, что ты реально подаёшь в проде, часто отличается от того, что ты строишь, да? Мы говорили о дистилляции. Ты обучаешь большую модель, дистиллируешь её, делаешь квантизацию, спекулятивное декодирование. Мы делаем всё это, чтобы подавать эффективно. Не стоит ли нам просто иметь решение, типа world model, которая хорошо взаимодействует, делать оптимизацию инференса, подавать её, дистиллировать вторично, чтобы сделать её работающей в реальном времени после того, как ты её решил? Ещё одна параллель — скажем, continual learning, да? Что нам нужно — чтобы кто-то это решил и показал, что оно работает, пусть неэффективно. Дай несколько лет, люди сделают это эффективным. То же самое с обычным attention, да? Оно сработало. За несколько лет у людей появились разные формы attention, и мы отмасштабировали его, чтобы оно было эффективным на длинном контексте, да? Так что тут как бы две вещи, да? Одна — кажется, оно работает. Ты его отмасштабировал. Не можем ли мы просто масштабировать его гораздо эффективнее со временем? Нужен ли нам отдельный подход, если этот работает? И то же самое с интерактивностью, да? Если мы можем это сделать — если мы можем как-то решить, чтобы оно работало, мы можем решить, как сделать его более эффективным с точки зрения инференса, позже.

Ethan [00:57:53]: that’s actually a very good point. So in videos, there’s actually a lot of redundancies. So we solve a lot of the pixel redundancy from VE, but there’s more redundancy in long range and long horizon videos. Say, if a character appear in the first clip and then it disappeared, it only reappear at the end of the video, you probably don’t need the-- the context, like in the middle of the generation. So you only need that character, where you need. So that’s why, I helped build another feature. It’s a reference video.

Ethan [00:57:53]: Это на самом деле очень хороший поинт. В видео на самом деле много избыточностей. Мы решаем много пиксельной избыточности через VAE, но есть больше избыточности в видео на дальней дистанции и с длинным горизонтом. Скажем, если персонаж появляется в первом клипе, а потом исчезает и появляется снова только в конце видео, тебе, наверное, не нужен этот контекст в середине генерации. То есть тебе нужен этот персонаж только там, где он нужен. Вот почему я помог построить ещё одну функцию. Это reference-видео.

Vibhu [00:58:36]: Is it here?

Vibhu [00:58:36]: Оно здесь?

Swyx [00:58:36]: is it the same model release or different one?

Swyx [00:58:36]: это тот же релиз модели или другой?

Ethan [00:58:39]: It’s a different one.

Ethan [00:58:39]: Это другой.

Ethan [00:58:41]: You probably need to search on

Ethan [00:58:41]: Тебе, наверное, надо поискать в

Swyx [00:58:43]: I’ll find it

Swyx [00:58:43]: Я найду

Ethan [00:58:43]: X reference to video.

Ethan [00:58:43]: X reference to video.

Ethan [00:58:46]: So reference video allow you to like upload up to seven images as condition and generate the video. Say, if like I want-- it can, it can be characters or objects or even scenes. Say like I want, I want condition on, Sean’s selfie and holding a blade

Ethan [00:58:46]: Так что reference-видео позволяет тебе загрузить до семи изображений как обусловленность и сгенерировать видео. Скажем, если я хочу — это могут быть персонажи, или объекты, или даже сцены. Скажем, я хочу обусловить на селфи Sean'а, держащего клинок

Swyx [00:59:07]: We have a dog

Swyx [00:59:07]: У нас есть собака

Ethan [00:59:08]: or whatever.

Ethan [00:59:08]: или что угодно.

Swyx [00:59:08]: We put the dog in the thing.

Swyx [00:59:08]: Мы поместим собаку в эту штуку.

Ethan [00:59:09]: you can put them there and the video models will generate the video from and copies the context over. So that can solve a lot of the problems there, like the long context problem. It doesn’t need to have a very long context, but it’s-- I feel like it’s an intermediate solution. The model

Ethan [00:59:09]: ты можешь поместить их туда, и видеомодели сгенерируют видео и скопируют контекст. Так что это может решить много проблем там, типа проблемы длинного контекста. Ему не нужен очень длинный контекст, но это — я чувствую, что это промежуточное решение. Модель

Swyx [00:59:29]: It’s cheating.

Swyx [00:59:29]: Это читерство.

Ethan [00:59:30]: the model should be able to like selectively know, where should I draw the references. So say if I want to generate a movie, I generate it autoregressive, like a ten second at a time or something. And now this character appear, I can look back to where it first appear and, bring that back. Yeah, this one, I put the references. Yeah, that’s, Optimus, Einstein myself, Annie.

Ethan [00:59:30]: модель должна уметь избирательно знать, откуда брать референсы. Скажем, если я хочу сгенерировать фильм, я генерирую авторегрессивно, типа по десять секунд за раз. И вот появляется этот персонаж — я могу оглянуться туда, где он впервые появился, и вернуть это. Да, вот это, я поместил референсы. Да, это Optimus, Einstein, я сам, Annie.

Vibhu [01:00:02]: Oddly enough, I used Grok Search to find it, and it pulled your LinkedIn post. But yeah we found it.

Vibhu [01:00:02]: Как ни странно, я использовал Grok Search, чтобы это найти, и он вытащил твой пост в LinkedIn. Но да, мы нашли.

Ethan [01:00:08]: Interesting.

Ethan [01:00:08]: Интересно.

Vibhu [01:00:10]: But

Vibhu [01:00:10]: Но

xAI’s Underrated Work, Culture, and Watermarking

Недооценённые работы xAI, культура и водяные знаки

Swyx [01:00:11]: this is a problem. This is not your fault, but like XAI doesn’t communicate all this work that you do very well because they just have the model release and then that’s it. But actually, these details are very good.

Swyx [01:00:11]: это проблема. Это не твоя вина, но xAI не очень хорошо коммуницирует всю эту работу, которую ты делаешь, потому что у них просто релиз модели — и всё. Но на самом деле эти детали очень хороши.

Swyx [01:00:22]: As far as I understand, everything you just described is state-art, like no one else has done it.

Swyx [01:00:22]: Насколько я понимаю, всё, что ты только что описал, — это state-of-the-art, типа никто другой этого не делал.

Vibhu [01:00:30]: A lot of-- yeah, I have a lot more

Vibhu [01:00:30]: Много — да, у меня гораздо больше

Swyx [01:00:32]: And then, and then you just put this blog post with the cookies. I’m this is not enough,?

Swyx [01:00:32]: И потом, и потом ты просто выкладываешь этот блог-пост с печеньками. Я — этого недостаточно, да?

Swyx [01:00:37]: but I, obviously this is like the high level numbers that people want to know. But no, okay, so

Swyx [01:00:37]: но я, очевидно, это высокоуровневые цифры, которые люди хотят знать. Но нет, окей, так что

Vibhu [01:00:42]: And I wonder, like part of that is also some labs don’t share research into what happens. And if

Vibhu [01:00:42]: И я думаю, отчасти это ещё то, что некоторые лаборатории не делятся исследованиями о том, что происходит. И если

Swyx [01:00:50]: No, but this is literally bragging about how good they are, right?

Swyx [01:00:50]: Нет, но это буквально хвастовство тем, насколько они хороши, да?

Swyx [01:00:54]: Like, why would you not say that you are capable of extending with full context? this is not a secret sauce. This is like we did the work. yeah, I don’t know.

Swyx [01:00:54]: Типа, почему бы не сказать, что вы способны расширять с полным контекстом? Это не секретный соус. Это типа — мы сделали работу. Да, не знаю.

Ethan [01:01:02]: different labs have slightly different communication styles.

Ethan [01:01:02]: у разных лабораторий немного разные стили коммуникации.

Swyx [01:01:07]: Anyway, if anyone from XAI is listening we are always happy to help you tell your story. Yeah, okay, so you did references, and I think, I think kind of the point you’re, you’re making is it is sort of like a kludge, right? this is-- you can do seven, but what about 100?

Swyx [01:01:07]: В общем, если кто-то из xAI слушает — мы всегда рады помочь вам рассказать вашу историю. Да, окей, так что ты сделал референсы, и думаю, поинт, который ты делаешь, в том, что это вроде как костыль, да? Это — ты можешь сделать семь, но как насчёт 100?

Swyx [01:01:23]: Right? Then you need a completely different thing.

Swyx [01:01:23]: Да? Тогда тебе нужно что-то совершенно другое.

Ethan [01:01:26]: So I think it’s-- this is, a mechanism to, select the context from the history, and you might not put the entire history into the context. for example, there’s a paper called Frame Pack, which have

Ethan [01:01:26]: Так что думаю, это механизм, чтобы выбирать контекст из истории, и ты можешь не помещать всю историю в контекст. Например, есть статья под названием Frame Pack, в которой

Ethan [01:01:41]: a heuristic that the latest history, the last one second, I put the entire history, and the history before that, I would, compress it and makes the video smaller. So they follow this pattern, this build overall pattern that the maximum sequence length is fixed. So the further you are from the current frame, you have a smaller image. So this is just a heuristic. I think it can be more automatic. The model is aware like which history part of it can be select. So this part of the research is actually being actively, worked on by a lot of people. It’s also quite interesting. I feel this is actually, this part of long context is a little bit ahead of the LLM part.

Ethan [01:01:41]: есть эвристика, что самую свежую историю, последнюю секунду, я помещаю целиком, а историю до этого я сжимаю и делаю видео меньше. Так что они следуют этому паттерну, этому общему паттерну, что максимальная длина последовательности фиксирована. Так что чем дальше ты от текущего кадра, тем меньше изображение. Это просто эвристика. Думаю, это может быть более автоматическим. Модель осознаёт, какую часть истории можно выбрать. Так что эта часть исследований на самом деле активно прорабатывается многими людьми. Это тоже довольно интересно. Чувствую, что эта часть про длинный контекст немного опережает LLM-часть.

Ethan [01:02:31]: So for example, like in LLMs, if you-- so contexts keep growing. Let’s say if you call tool and the tool call history is extremely long, that’s still in context, and keep growing, keep growing. Even if you switch the topic to something else, the whole context was there. There are some agentic harnesses that help you to, say, prune the tool results and, prune Like when you, when you query a file, only show like the top 200 lines or something. Those were very heuristic-driven.

Ethan [01:02:31]: Например, в LLM, если — так что контекст продолжает расти. Скажем, если ты вызываешь инструмент, и история вызовов инструмента чрезвычайно длинная, она всё ещё в контексте и продолжает расти, расти. Даже если ты переключаешь тему на что-то другое, весь контекст там. Есть некоторые agentic-харнессы, которые помогают тебе, скажем, обрезать результаты инструментов и обрезать — когда ты запрашиваешь файл, показывать только верхние 200 строк или вроде того. Это всё было очень эвристическим.

Swyx [01:03:08]: For listeners, we did a write-up on the cloud code, leak where there are eight different kinds of pruning, including like you prune the tool results and all that. So you can, you can read up on that kind of thing.

Swyx [01:03:08]: Для слушателей: мы сделали разбор утечки Claude Code, где есть восемь разных видов обрезки, включая обрезку результатов инструментов и всё такое. Так что можно почитать об этом.

Ethan [01:03:17]: I think, one breakthrough in continual learning might be like a way to automatically, manage its own context.

Ethan [01:03:17]: Думаю, один прорыв в continual learning может быть как способ автоматически управлять собственным контекстом.

Swyx [01:03:27]: These are all heuristics, and they will be replaced by machine learning.

Swyx [01:03:27]: Это всё эвристики, и они будут заменены машинным обучением.

Ethan [01:03:30]: Interestingly

Ethan [01:03:30]: Интересно

Vibhu [01:03:32]: The

Vibhu [01:03:32]: Это

Ethan [01:03:32]: the same thing is being researched in both LLMs and video models.

Ethan [01:03:32]: то же самое исследуется и в LLM, и в видеомоделях.

Vibhu [01:03:36]: The interesting thing is also like in the paper you showed, it’s actually happening at the model level, right? Compared to like language models, sure, we have base attention, but we’ll do our own compression, we’ll do our own pruning, which is separate from model error.

Vibhu [01:03:36]: Интересно ещё то, что в статье, которую ты показал, это на самом деле происходит на уровне модели, да? По сравнению с языковыми моделями — конечно, у нас есть базовый attention, но мы делаем свою компрессию, делаем свою обрезку, что отдельно от ошибки модели.

Vibhu [01:03:49]: Eventually, it all just boils in, hopefully.

Vibhu [01:03:49]: В итоге всё это просто вваривается внутрь, надеюсь.

Swyx [01:03:52]: I think this is a form of like attention, but like also know sort of reasoning attention. I feel like that’s different than normal attention.

Swyx [01:03:52]: Думаю, это форма attention, но и как бы reasoning-attention. Чувствую, что это отличается от обычного attention.

Swyx [01:04:03]: Does that, does that make sense?

Swyx [01:04:03]: Это, это имеет смысл?

Ethan [01:04:04]: It’s, it’s different in the sense that attention, not to mention, set sparse attention aside, like normal attention

Ethan [01:04:04]: Это отличается в том смысле, что attention — не говоря уже о sparse attention, отложим его — обычный attention

Swyx [01:04:13]: Like UKV, yeah

Swyx [01:04:13]: Типа QKV, да

Ethan [01:04:14]: you have to attend to all of the tokens.

Ethan [01:04:14]: тебе нужно внимать ко всем токенам.

Ethan [01:04:17]: So you don’t have a high-level mechanism to drop which tokens do-- you don’t want to attend to. As humans’ attention span is surprisingly small.

Ethan [01:04:17]: Так что у тебя нет высокоуровневого механизма, чтобы отбросить, к каким токенам ты не хочешь внимать. У людей объём внимания на удивление мал.

Ethan [01:04:28]: You can only remember 11 digit of a phone number.

Ethan [01:04:28]: Ты можешь запомнить только 11 цифр номера телефона.

Swyx [01:04:32]: But I have feature detection, right? I can detect, oh, that’s a sequence of one, two, three, four in a phone number that is 11 digit.

Swyx [01:04:32]: Но у меня есть детекция признаков, да? Я могу определить: о, это последовательность один, два, три, четыре в номере телефона, который состоит из 11 цифр.

Vibhu [01:04:39]: Very good pattern matchers.

Vibhu [01:04:39]: Очень хорошие сопоставители паттернов.

Ethan [01:04:41]: But humans’ context can-- like attention can work because we can dynamically pull in, context from different places. The same mechanism, I think is going to happen for LLMs and video models. I think we have

Ethan [01:04:41]: Но человеческий контекст может — типа attention может работать, потому что мы можем динамически подтягивать контекст из разных мест. Тот же механизм, думаю, будет происходить и для LLM, и для видеомоделей. Думаю, у нас есть

Swyx [01:04:57]: RLMs is recent-- is on, it’s on the recent work is there, which is not that, crazy, but it’s just recursive.

Swyx [01:04:57]: RLM — недавняя — это в недавних работах, что не так уж безумно, но это просто рекурсивно.

Vibhu [01:05:04]: I think it’s somewhat inherent in models too, right? Like you

Vibhu [01:05:04]: Думаю, это в какой-то мере свойственно и моделям, да? Типа ты

Swyx [01:05:06]: No, here’s a nice example here

Swyx [01:05:06]: Нет, вот хороший пример здесь

Vibhu [01:05:07]: you pull up these, you can read it fine, but, language models are also very good at slop parsing. you have a trans

Vibhu [01:05:07]: ты подтягиваешь эти, ты можешь это нормально прочитать, но языковые модели ещё и очень хороши в парсинге слопа. У тебя есть транс

Swyx [01:05:15]: I throw my typos in there, it doesn’t matter.

Swyx [01:05:15]: Я закидываю туда свои опечатки, это неважно.

Vibhu [01:05:17]: You have a, you have a transcript, you have whatever, just throw it in and it’s very good at parsing through noise. m-- that may be a brute force. It can look over a reason over it, but there’s, there’s parallels to both.

Vibhu [01:05:17]: У тебя есть транскрипт, у тебя есть что угодно — просто закинь это, и оно очень хорошо парсит сквозь шум. Может, это брутфорс. Оно может просмотреть, порассуждать над этим, но есть параллели в обоих случаях.

Swyx [01:05:31]: I think it’s just really fascinating how you relate the world models stuff to the video generation, which I don’t think a lot of people hear directly, from people like you. So I think that’s really helpful. Any other work? Do we cover like video, audio, world models, any other stuff in that omni

Swyx [01:05:31]: Думаю, это реально завораживает, как ты связываешь штуку про world models с видеогенерацией, что, думаю, не так много людей слышат напрямую от таких людей, как ты. Так что думаю, это реально полезно. Какие-то ещё работы? Мы покрыли видео, аудио, world models — что-то ещё в этой omni

Swyx [01:05:48]: team,?

Swyx [01:05:48]: команде?

Vibhu [01:05:49]: Or any other work at XAI you want to talk about? Seems like everything we see publicly announced, “Oh, cool, cookies.” And then there’s so much more to it.

Vibhu [01:05:49]: Или какая-то ещё работа в xAI, о которой хочешь рассказать? Кажется, всё, что мы видим публично объявленным: «О, круто, печеньки». А там столько всего ещё.

Swyx [01:05:58]: There’s a lot of depth.

Swyx [01:05:58]: Там много глубины.

Vibhu [01:05:59]: Any underrated stuff, just at the time there?

Vibhu [01:05:59]: Что-нибудь недооценённое, прямо из того времени?

Ethan [01:06:03]: I feel the, as a culture, it is quite interesting and a bit underrated. So the culture is, the culture is three sentences: move fast, build No goal is too ambitious, and the first principle. Like early, the goal set was very ambitious. It wasn’t very-- this wasn’t-- it wasn’t possible to achieve when I, when I was thinking, first thinking about it. Like for example, like build something in three months. And

Ethan [01:06:03]: Чувствую, что как культура это довольно интересно и немного недооценено. Культура такая, культура — три предложения: двигайся быстро, строй; ни одна цель не слишком амбициозна; и первые принципы. Рано — поставленная цель была очень амбициозной. Это было не — это было невозможно достичь, когда я, когда я первый раз об этом думал. Например, построить что-то за три месяца. И

Vibhu [01:06:36]: Was that “Okay, we’re starting team, we want image, we want video. Do it by this deadline.” Or, how do you work back? Like was it just, “Okay, we have a rough by, this date we want something out,” or is this like

Vibhu [01:06:36]: Это было «Окей, мы стартуем команду, хотим image, хотим video. Сделайте к этому дедлайну». Или как ты идёшь от обратного? Это было просто «Окей, у нас есть примерная дата, к которой мы хотим что-то выпустить», или это типа

Ethan [01:06:52]: That’s a very good point. So it’s from first principle thinking.

Ethan [01:06:52]: Это очень хороший поинт. Так что это из мышления от первых принципов.

Ethan [01:06:56]: If you think about, people might say that first principle thinking applied more to the physical world than the models. I would say, for example, like if you think about-Some limitation, for example, acquiring data, like how fast can we acquire the videos? And if you think about training the models, what’s the iteration speed for training a model end? And how would adding more GPUs accelerate that timeline? And maybe if you need human data, like what’s the turnaround time for human data to arrive? If you put all of those together, that is first principle thinking where, oh, like what is the timeline? What’s the minimum number of days that is possible to achieve something?

Ethan [01:06:56]: Если подумать — люди могут сказать, что мышление от первых принципов больше применимо к физическому миру, чем к моделям. Я бы сказал, например — если подумать о некоторых ограничениях, например, добыча данных: как быстро мы можем добыть видео? И если подумать об обучении моделей: какова скорость итераций для обучения модели? И как добавление GPU ускорит этот таймлайн? И, может, если тебе нужны человеческие данные — какое время оборота, чтобы человеческие данные пришли? Если сложить всё это вместе, это и есть мышление от первых принципов: о, какой таймлайн? Какое минимальное число дней, за которое возможно чего-то достичь?

Swyx [01:07:52]: I think there’s a-- this is a lot of Elon’s type of thinking, right? He’s like-- I think he’s famous for saying that the only law you can’t break is the laws of physics, something like that.

Swyx [01:07:52]: Думаю, это во многом тип мышления Илона, да? Он типа — думаю, он знаменит фразой, что единственный закон, который нельзя нарушить, — это законы физики, что-то такое.

Swyx [01:08:01]: Just broadly, you worked a lot with Elon.

Swyx [01:08:01]: Просто в целом — ты много работал с Илоном.

Ethan [01:08:04]: I, one benefit is working at xAI, you got a chance to interact more with Elon. So I was very fortunate to get a few retweets from him, and that was quite fun. And, he also worked very closely, with people. like people imagine online, like he’s very hands-on.

Ethan [01:08:04]: Я — одно преимущество работы в xAI: у тебя есть шанс больше взаимодействовать с Илоном. Так что мне очень повезло получить от него несколько ретвитов, и это было довольно весело. И он ещё работал очень тесно с людьми. Типа, как люди представляют онлайн, он очень hands-on.

Vibhu [01:08:34]: There are two things. one-- So I was actually looking up, Elon retweeting you. I’ll pull it up. he talked about you tweeting that you have a really good voice mode. I don’t know

Vibhu [01:08:34]: Тут две вещи. Одна — я на самом деле искал, как Илон ретвитит тебя. Я подниму. Он говорил, что ты твитнул, что у тебя реально хороший voice mode. Не знаю

Ethan [01:08:47]: Oh, me?

Ethan [01:08:47]: О, я?

Vibhu [01:08:47]: No. Him.

Vibhu [01:08:47]: Нет. Он.

Swyx [01:08:48]: Oh, I also did it. But anyway.

Swyx [01:08:48]: О, я тоже это делал. Но в общем.

Vibhu [01:08:49]: I actually-- So I would DM you feedback on voice mode because I was “Wow, really good.” And then I’m “Ugh, this sucks.” But, I don’t know. Anything you want to talk about your voice mode, building it? Was it a team you worked on as well?

Vibhu [01:08:49]: Я на самом деле — я писал тебе в DM фидбэк по voice mode, потому что я такой: «Вау, реально хорошо». А потом я: «Ух, это отстой». Но не знаю. Что-нибудь хочешь рассказать о своём voice mode, о его создании? Это была команда, над которой ты тоже работал?

Ethan [01:09:02]: Oh, that’s actually not part of the team I worked on.

Ethan [01:09:02]: О, это на самом деле не часть команды, над которой я работал.

Swyx [01:09:05]: He probably worked on more of the video. No, but Grok Voice actually

Swyx [01:09:05]: Он, наверное, больше работал над видео. Нет, но Grok Voice на самом деле

Vibhu [01:09:11]: Grok Voice

Vibhu [01:09:11]: Grok Voice

Swyx [01:09:11]: like very good. I-- This is one of those things where first of all, you can speak at 2X, which is fun.

Swyx [01:09:11]: типа очень хорош. Я — это одна из тех штук, где, во-первых, можно говорить на 2X, что прикольно.

Swyx [01:09:16]: which I listen to 2X, so I like to speak at 2X. But also I think like the interruption was better than Gemini. I don’t know how it compares to ChatGPT real time now, but as far as like driving was concerned, like having Grok in my Tesla and like driving, I think it was like-- it’s a really good experience.

Swyx [01:09:16]: Я слушаю на 2X, так что я люблю говорить на 2X. Но ещё думаю, что прерывание было лучше, чем у Gemini. Не знаю, как оно сравнивается с ChatGPT realtime сейчас, но что касается вождения — иметь Grok в моей Tesla и вести машину, думаю, это было типа — это реально хороший опыт.

Vibhu [01:09:34]: He likes voice mode. But also, just the crazy reach by Elon

Vibhu [01:09:34]: Ему нравится voice mode. Но ещё просто безумный охват у Илона

Swyx [01:09:40]: Fifty million views for just saying, “Yes, true.”

Swyx [01:09:40]: Пятьдесят миллионов просмотров просто за то, что сказал «Да, верно».

Vibhu [01:09:43]: That’s true.

Vibhu [01:09:43]: Это правда.

Swyx [01:09:44]: Oh my God

Swyx [01:09:44]: О боже

Vibhu [01:09:45]: but, it’s, it’s pretty cool how fast it came out. the other thing is the safety aspect of video mode. Anything interesting to talk about there? So

Vibhu [01:09:45]: но, это довольно круто, как быстро оно вышло. Другая вещь — аспект безопасности video mode. Что-нибудь интересное рассказать об этом? Так что

Swyx [01:09:56]: spicy

Swyx [01:09:56]: остренькое

Vibhu [01:09:57]: spicy question.

Vibhu [01:09:57]: остренький вопрос.

Ethan [01:09:58]: A lot of the countries where they don’t allow like a generative data-- generative AI videos without watermarks. So in all of the-- those countries, Grok Imagine had watermarks, and a lot of the-- a lot of the takedowns of the videos were also happening extremely fast.

Ethan [01:09:58]: Много стран, где не разрешают генеративные AI-видео без водяных знаков. Так что во всех этих странах у Grok Imagine были водяные знаки, и много — много удалений видео тоже происходили чрезвычайно быстро.

Swyx [01:10:22]: it’s, it’s part of running a social platform but also it transfers nicely to the GenAI side. Do you have a perspective on SynthID versus other kinds of watermarking?

Swyx [01:10:22]: это часть управления социальной платформой, но это ещё и хорошо переносится на сторону GenAI. Есть ли у тебя взгляд на SynthID против других видов водяных знаков?

Ethan [01:10:33]: it’s going to be

Ethan [01:10:33]: это будет

Ethan [01:10:37]: it’s going to be harder and harder to detect, the Yeah, these things. So SynthID, one thing is, previously it was only Google, and now, like a lot of different labs

Ethan [01:10:37]: это будет всё сложнее и сложнее детектировать, да, эти штуки. Так что SynthID — одно: раньше это был только Google, а теперь типа много разных лабораторий

Swyx [01:10:52]: OpenAI adopted it

Swyx [01:10:52]: OpenAI его принял

Ethan [01:10:52]: are also adapting it.

Ethan [01:10:52]: тоже его перенимают.

Ethan [01:10:54]: As-- A limitation is like the technology The paper was out there, and people can reverse engineer like how to get rid of it.

Ethan [01:10:54]: Ограничение — это типа технология — статья была опубликована, и люди могут реверс-инжинирить, как от него избавиться.

Ethan [01:11:05]: And it’s-- I think even as it advance, it’s, it’s still possible to reverse engineer it.

Ethan [01:11:05]: И — думаю, даже по мере того как оно совершенствуется, всё ещё возможно его реверс-инжинирить.

Swyx [01:11:13]: so if you are interested, you can go onto Reddit and people have taken out the exact I don’t know, what do you call it? Mask or pattern that Google applies, and then you can apply it onto any Google-generated photo, and you can reverse out the SynthID.

Swyx [01:11:13]: так что если тебе интересно, можно зайти на Reddit, и люди вытащили точную — не знаю, как это назвать? — маску или паттерн, который применяет Google, и потом ты можешь применить это к любой сгенерированной Google фотографии и реверснуть SynthID.

Ethan [01:11:30]: And it’s, it’s also harder and harder to just judge by eyes. I remember like a couple years ago, there was like six fingers or something. It’s very obvious.

Ethan [01:11:30]: И это, это ещё и всё сложнее и сложнее судить на глаз. Помню, пару лет назад было типа шесть пальцев или что-то такое. Это очень очевидно.

Vibhu [01:11:42]: My current is actually the audio. I feel like the audio is really lacking. my way to tell if something is generated, outside of okay, I think I’ve seen enough, I have a decent eye, the audio matchup, especially of Sora, is not great. It’s all similar style. But there’s

Vibhu [01:11:42]: Сейчас у меня — на самом деле это аудио. Чувствую, что аудио реально отстаёт. Мой способ определить, сгенерировано ли что-то — помимо «окей, я думаю, я насмотрелся, у меня неплохой глаз» — стыковка аудио, особенно у Sora, не очень. Всё в одном похожем стиле. Но есть

Swyx [01:11:57]: I see. those are minor imperfections.

Swyx [01:11:57]: Понятно. Это мелкие несовершенства.

Swyx [01:11:59]: I think the point is that like-- Actually, my closest reference to this is also Ian Goodfellow, ‘cause I think he did like the adversarial GAN thing where like it’s okay, here’s a picture of a zebra. Then you like change one pixel, and it becomes a panda.

Swyx [01:11:59]: Думаю, поинт в том, что — на самом деле моя ближайшая референция к этому — ещё Ian Goodfellow, потому что, по-моему, он сделал ту состязательную GAN-штуку, где типа окей, вот картинка зебры. Потом ты типа меняешь один пиксель, и она становится пандой.

Swyx [01:12:12]: Right? This is like-- this is like a classic computer vision issue.

Swyx [01:12:12]: Да? Это типа — это типа классическая проблема computer vision.

Ethan [01:12:15]: If you think about how these models were trained, like I, like I mentioned before, like GAN was in the training process. The objective of GAN is you-- is the model generates an image, and the model, there’s a judge to tell like if the image is real or not. The model is trained to make the image more real. So as the model become more and more advanced, it’s going to be harder and harder. For me personally, now I have to judge by

Ethan [01:12:15]: Если подумать, как эти модели обучались — как я упоминал раньше, GAN был в процессе обучения. Цель GAN — модель генерирует изображение, и есть судья, который говорит, реально изображение или нет. Модель обучена делать изображение более реальным. Так что по мере того как модель становится всё более продвинутой, это будет всё сложнее и сложнее. Лично для меня теперь я вынужден судить по

Ethan [01:12:49]: if the-- these videos have logical sense.

Ethan [01:12:49]: тому, есть ли в этих видео логический смысл.

Ethan [01:12:53]: If these, this video

Ethan [01:12:53]: Если эти, это видео

Swyx [01:12:55]: Have a world model.

Swyx [01:12:55]: Есть ли world model.

Swyx [01:12:57]: No, I also like it-- the audio is too nice, like too studio quality. The lighting is too good. The skin is too clear. the-- basically, the lack of imperfections.

Swyx [01:12:57]: Нет, мне ещё нравится — аудио слишком хорошее, типа слишком студийного качества. Освещение слишком хорошее. Кожа слишком чистая. По сути — отсутствие несовершенств.

Vibhu [01:13:10]: Do we have a good way to do reasoning in diffusion? Like is that what separates video generators from world models or in, -We really know how to apply it to other regressive language models. Is there a parallel for diffusion video gen world models like on that point, right? Is

Vibhu [01:13:10]: Есть ли у нас хороший способ делать reasoning в диффузии? Это ли отличает видеогенераторы от world models, или — мы реально знаем, как применять это к авторегрессивным языковым моделям. Есть ли параллель для диффузионных видеогенераторов-world-models по этому поводу, да? Есть ли

Swyx [01:13:30]: He has a thing on video agents.

Swyx [01:13:30]: У него есть штука про видеоагентов.

Ethan [01:13:31]: that’s a good question. Yeah, actually, I have a, I have a pretty big claim. The intelli- the visual intelligence are actually mostly coming from language. these video models, especially from now, since the diffusion model technology is more mature, the every time you see there is some improvement on these models, I would say mostly, this, again, comes from language model, not coming from the vid- the video model itself, like the video distribution models themselves. In Cosmos, that could be Typically these models, they have two parts. there’s a, there’s a prompt rewriter or the prompt up sampler part. I think in Cosmos, we use Llama or we use Mix- Mixtro. And the Cosmos video model itself is only 7B, and the model, the language model

Ethan [01:13:31]: это хороший вопрос. Да, на самом деле у меня есть довольно крупное заявление. Визуальный интеллект на самом деле в основном приходит из языка. Эти видеомодели, особенно теперь, поскольку технология диффузионных моделей более зрелая, — каждый раз, когда ты видишь какое-то улучшение этих моделей, я бы сказал, в основном это, опять же, приходит из языковой модели, а не из самой видеомодели, типа самих видео-distribution-моделей. В Cosmos это могло быть — обычно у этих моделей две части. Есть prompt rewriter или prompt up-sampler. По-моему, в Cosmos мы используем Llama или Mixtral. А сама видеомодель Cosmos всего 7B, и модель, языковая модель

Prompt Rewriting, Video Agents, and Agentic Generation

Переписывание промптов, видеоагенты и агентная генерация

Ethan [01:14:35]: is a prompt rewriter. It’s, it’s bigger than that. So the prompt rewriter’s task is to take user instruction and convert it to extremely detailed description of the video. So because the video, the visual-- the video distribution models, I would describe, they’re kinda dumb because they take the input

Ethan [01:14:35]: это prompt rewriter. Он, он больше, чем она. Задача prompt rewriter — взять инструкцию пользователя и превратить её в чрезвычайно детальное описание видео. Потому что видео, визуальные — видео-distribution-модели, я бы описал, они вроде как тупые, потому что они воспринимают вход

Ethan [01:15:03]: instruction literally. Because in the training process, remember that we have to describe the video as detailed as possible when we’re creating the synthetic, text pair. So this model, they take those kind of instruction to generate the videos. So in-- when you’re taking the user instructions, the user instruction usually are simple. Just say a cat or something. If you put a cat in the video model, they would take that instruction literally. They would literally show a cat, a cat in maybe a white background because you didn’t describe the background. The cat is not moving because you didn’t describe it. It takes the instruction quite literally. It’s kinda, it’s kinda dumb. The prompt rewriter is actually a much bigger model. It’s a language model that takes, the user instruction and expand it. So the thinking process you mentioned, is from there. So if you, if you look at like GPT image, like you generate a image in three minutes. Three minute is not all like a pixel generation. A lot of time is spending

Ethan [01:15:03]: буквально. Потому что в процессе обучения, помни, нам приходится описывать видео как можно детальнее, когда мы создаём синтетическую текстовую пару. Так что эта модель воспринимает такого рода инструкции, чтобы генерировать видео. Так что когда ты берёшь инструкции пользователя — инструкции пользователя обычно простые. Просто скажем, кот или что-то такое. Если ты закинешь «кот» в видеомодель, она воспримет эту инструкцию буквально. Она буквально покажет кота, кота, может, на белом фоне, потому что ты не описал фон. Кот не двигается, потому что ты не описал это. Она воспринимает инструкцию довольно буквально. Это вроде как тупо. Prompt rewriter — это на самом деле гораздо более крупная модель. Это языковая модель, которая берёт инструкцию пользователя и расширяет её. Так что процесс мышления, который ты упомянул, идёт оттуда. Так что если посмотреть на GPT image — типа, ты генерируешь изображение за три минуты. Три минуты — это не всё генерация пикселей. Много времени тратится

Vibhu [01:16:19]: Prompt writing

Vibhu [01:16:19]: На написание промпта

Ethan [01:16:19]: on thinking.

Ethan [01:16:19]: на мышление.

Ethan [01:16:20]: So prompt rewriting now have evolved to, not only just as thinking, it can, it can also be a agent, a agentic model. For example, say you want, you wanted to generate the image of today’s news. So the-- So it’s likely they’ll go to fetch today’s news online and then, process and digest them, then organize the layout and generate it. Another thing quite interesting is,

Ethan [01:16:20]: Так что переписывание промптов теперь эволюционировало не только в мышление — оно может быть ещё и агентом, агентной моделью. Например, скажем, ты хочешь сгенерировать изображение сегодняшних новостей. Так что — скорее всего, оно пойдёт за сегодняшними новостями онлайн, потом обработает и переварит их, потом организует макет и сгенерирует это. Ещё одна довольно интересная вещь —

Vibhu [01:16:53]: If I’m not mistaken, these are-- it’s no longer a diffusion model though, right? It’s autoregressively Or is there still

Vibhu [01:16:53]: Если я не ошибаюсь, это — это уже не диффузионная модель, да? Это авторегрессивно — или там всё ещё

Ethan [01:17:02]: There are different approaches. For example, Gemini Omni. Since they said it’s Omni, I believe it’s a, it’s a single model. Maybe it’s something it’s a language model with a diffusion head or something. Like the language model do the thinking, do the agentic tool calling, and then it would, use the diffusion head to generate the image in the end. There were also approaches like Cosmos, where you have a separate language model and separate diffusion models. And there were also like a purely language model, like you discretize the images, and then you generate the image as discrete tokens. So there are different approaches. I would say like

Ethan [01:17:02]: Есть разные подходы. Например, Gemini Omni. Раз они говорят, что это Omni, я полагаю, это одна модель. Может, это что-то типа языковой модели с диффузионной головой или вроде того. Языковая модель делает мышление, делает агентный вызов инструментов, а потом использует диффузионную голову, чтобы сгенерировать изображение в конце. Были ещё подходы вроде Cosmos, где у тебя отдельная языковая модель и отдельные диффузионные модели. И были ещё типа чисто языковая модель, где ты дискретизируешь изображения, а потом генерируешь изображение как дискретные токены. Так что есть разные подходы. Я бы сказал типа

Vibhu [01:17:44]: One of, one of the claims I’ve seen for why these approaches struggle is because a lot of the benefits for how we currently learn reasoning with language models is you basically iteratively generate reason. You have your thought, and then you work on that answer, right? So if you have like Omni model and then diffusion head, you can’t feed that back in to continue reasoning, right? So you can’t go like text, image, text, image. You can’t reason on the output and then go back to diffusion. But in the new Gemini Omni, you would be able to, as long as you have diffusion.

Vibhu [01:17:44]: Одно из заявлений, которое я видел, почему эти подходы испытывают трудности, в том, что много преимуществ того, как мы сейчас учим reasoning с языковыми моделями, в том, что ты по сути итеративно генерируешь рассуждение. У тебя есть мысль, и потом ты работаешь над этим ответом, да? Так что если у тебя типа Omni-модель и потом диффузионная голова, ты не можешь скормить это обратно, чтобы продолжить рассуждение, да? Так что ты не можешь идти текст, изображение, текст, изображение. Ты не можешь рассуждать над выходом и потом вернуться к диффузии. Но в новом Gemini Omni ты бы смог, пока у тебя есть диффузия.

Ethan [01:18:15]: I’m not sure if

Ethan [01:18:15]: Я не уверен, есть ли

Vibhu [01:18:16]: But

Vibhu [01:18:16]: Но

Ethan [01:18:16]: they have that process. it’s definitely possible in the Omni paradigm.

Ethan [01:18:16]: у них этот процесс. Это определённо возможно в парадигме Omni.

Ethan [01:18:22]: So if you think about like traditional multi-model language model, they would have a VIT encoder that can encode the image. So if they have a diffusion head, they can generate the image and then put that back into the VIT encoder, encode that, and then do the iterative refinement if the result Yeah.

Ethan [01:18:22]: Так что если подумать про традиционную мультимодальную языковую модель, у них был бы ViT-энкодер, который может закодировать изображение. Так что если у них диффузионная голова, они могут сгенерировать изображение, потом поместить это обратно в ViT-энкодер, закодировать это, а потом делать итеративное уточнение, если результат — да.

Swyx [01:18:44]: I think you have to jointly train the VIT and the diffusion to make that somewhat reasonable, ‘cause otherwise you’re kind of mismatching or feeding in slop.

Swyx [01:18:44]: Думаю, тебе придётся совместно обучать ViT и диффузию, чтобы это было сколько-то разумным, потому что иначе ты вроде как рассогласовываешь или скармливаешь слоп.

Vibhu [01:18:55]: I think it depends on the stage of training. You might be able to freeze it. But anyway, also just on your earlier

Vibhu [01:18:55]: Думаю, это зависит от стадии обучения. Возможно, ты сможешь его заморозить. Но в общем, ещё про твой более ранний

Swyx [01:19:00]: Wait. I wanted to also make explicit. We do know that NanoBanana and GPT image are autoregressive, language model with diffusion head.

Swyx [01:19:00]: Стоп. Я хотел ещё сделать явным. Мы знаем, что NanoBanana и GPT image — авторегрессивные, языковая модель с диффузионной головой.

Swyx [01:19:09]: as far as I can tell from your description of Grok image, it is not. It is, it is end.

Swyx [01:19:09]: насколько я могу судить из твоего описания Grok image, это не так. Это сквозная модель.

Ethan [01:19:14]: I cannot

Ethan [01:19:14]: Я не могу

Swyx [01:19:15]: You cannot

Swyx [01:19:15]: Ты не можешь

Ethan [01:19:15]: comment on that.

Ethan [01:19:15]: это комментировать.

Swyx [01:19:16]: Well, the way that you described it. but, yeah, I think it-- there’s, there’s different approaches, right? Like you started off saying prompt rewriter is, the-- a big part of the intelligence.

Swyx [01:19:16]: Ну, судя по тому, как ты это описал. Но да, думаю — есть разные подходы, да? Типа ты начал с того, что prompt rewriter — это большая часть интеллекта.

Vibhu [01:19:24]: and even on that, I think everyone should try using an early diffusion model. If you’ve used Stable Diffusion one or whatever, if you’ve seen the prompts ultra-high res, four K this style, oh my God, the first time I tried one, you don’t talk to them like language models, right? Your prompting is very, comma separated

Vibhu [01:19:24]: и даже по этому поводу — думаю, всем стоит попробовать использовать раннюю диффузионную модель. Если ты использовал Stable Diffusion 1 или что угодно, если ты видел эти промпты «ultra-high res, 4K, this style» — о боже, в первый раз, когда я попробовал, ты не разговариваешь с ними как с языковыми моделями, да? Твой промптинг — это очень разделённый запятыми

Swyx [01:19:43]: It’s literally talking in the labels that were in the data set, right?

Swyx [01:19:43]: Это буквально разговор в метках, которые были в датасете, да?

Swyx [01:19:46]: But basically, I’m just trying to make the point that prompt writer and then image is different from autoregressive language model with diffusion hit. Right? They’re different things.

Swyx [01:19:46]: Но по сути я просто пытаюсь донести поинт, что prompt rewriter и потом изображение — это отличается от авторегрессивной языковой модели с диффузионной головой. Да? Это разные вещи.

Ethan [01:19:56]: they’re different.

Ethan [01:19:56]: они разные.

Swyx [01:19:57]: Just wanted to establish.

Swyx [01:19:57]: Просто хотел установить.

Ethan [01:19:59]: I’d say, the common part is, the image part. So it’s, it’s quite surprising that, a lot of the improvement came from the

Ethan [01:19:59]: Я бы сказал, общая часть — это часть с изображением. Так что довольно удивительно, что много улучшений пришло из

Swyx [01:20:12]: Language side

Swyx [01:20:12]: Языковой стороны

Ethan [01:20:12]: the thinking the tool calling. So I still remember, in Cosmos, I generated a happy sheep and can if without any rewriting, it’s-- it looks so, CGI, and after rewrite it looks, it looks so beautiful.

Ethan [01:20:12]: из мышления, вызова инструментов. Так что я до сих пор помню, в Cosmos я сгенерировал счастливую овцу, и без всякого переписывания она выглядит так CGI-шно, а после переписывания выглядит так красиво.

Ethan [01:20:31]: I think

Ethan [01:20:31]: Думаю

Swyx [01:20:32]: Without any joint training.

Swyx [01:20:32]: Без всякого совместного обучения.

Ethan [01:20:34]: actually, without any joint training. it’s-- with rewriting, it’s already much better. See, a very interesting thing, what happened is the video agents, mostly language models, will call these, generative model, either it’s a separate model or a diffusion head or whatever, as tool. So this model can iteratively refine the results or even, generate longer content through a very long train of thought. It’s actually very similar to how human create art. So we don’t, we don’t generate the pixels directly. We literally draw something on And I think through this process, the-- these models not only use diffusion as one of the tool, it can also use traditional tool. It can also use, image editing tools from Photoshop. It can use, video editor, FFmpeg, whatever, to take combination of these and the generative AI technology as a, as a set of tool, and they can, they can iteratively create a better, a much better, video for production-grade quality. If you look at existing, professional creators, they don’t, they don’t end at, generating a video from these models. They would take this video to their editor and edit here and there.

Ethan [01:20:34]: на самом деле без всякого совместного обучения. С переписыванием уже гораздо лучше. Видишь, очень интересная вещь, что происходит — видеоагенты, в основном языковые модели, будут вызывать эти генеративные модели — будь то отдельная модель, или диффузионная голова, или что угодно — как инструмент. Так что эта модель может итеративно уточнять результаты или даже генерировать более длинный контент через очень длинную цепочку рассуждений. Это на самом деле очень похоже на то, как человек создаёт искусство. Мы не генерируем пиксели напрямую. Мы буквально рисуем что-то. И думаю, через этот процесс эти модели не только используют диффузию как один из инструментов, они могут использовать и традиционные инструменты. Они могут использовать инструменты редактирования изображений из Photoshop. Они могут использовать видеоредактор, FFmpeg, что угодно, чтобы взять комбинацию этого и технологии генеративного AI как набор инструментов, и они могут итеративно создать лучшее, гораздо лучшее видео продакшен-качества. Если посмотреть на существующих профессиональных креаторов, они не заканчивают на генерации видео из этих моделей. Они берут это видео в свой редактор и редактируют тут и там.

Swyx [01:22:11]: So much post-production in And sometimes actually, the reason the video is good is not really the video model, it’s actually the editing.

Swyx [01:22:11]: Так много пост-продакшена. И иногда на самом деле причина, по которой видео хорошее, — не сама видеомодель, а на самом деле монтаж.

Swyx [01:22:21]: And yes, we also are engaged in the same process as well. Would you love to use a video editing model?

Swyx [01:22:21]: И да, мы тоже занимаемся тем же процессом. Хотел бы ты использовать модель видеомонтажа?

Ethan [01:22:27]: Actually, there’s, Grok Imagine Agent beta. That was the, that was the first attempt in that direction.

Ethan [01:22:27]: На самом деле есть Grok Imagine Agent beta. Это была первая попытка в этом направлении.

Ethan [01:22:38]: So I think, the process would be similar to like

Ethan [01:22:38]: Так что думаю, процесс был бы похож на типа

Vibhu [01:22:44]: It’s just agent mode.

Vibhu [01:22:44]: Это просто agent mode.

Ethan [01:22:46]: you can, you can ask it to

Ethan [01:22:46]: ты можешь, ты можешь попросить его

Swyx [01:22:48]: There’s no blog post for it

Swyx [01:22:48]: Для него нет блог-поста

Ethan [01:22:49]: maybe generate a minute, video, which is not possible if you ask the same prompt to video models. But this model will ca- literally call different tools to do that.

Ethan [01:22:49]: может, сгенерировать минутное видео, что невозможно, если задать тот же промпт видеомоделям. Но эта модель буквально вызовет разные инструменты, чтобы это сделать.

Ethan [01:23:05]: So yeah, this is actually an interesting thing. So when we first released, a video editing model, I see on X some people try the video editing feature with, “Edit this video to be one minute.” ‘cause they didn’t understand how video editing work. Video editing typically is just a removal, add, replace, style transfer, this kind of thing. But that’s actually a valid request under the assumption of video agents. So these agents should be able to understand these kind of, long horizon tasks to be able to easily, create a long-form video. I think this is, this is really fascinating ‘cause it’s kinda take-- it’s taking the same direction as first you have these, assisted-- assisted coding, kind of like tab completion, GitHub Copilot. And from there, you gradually evolve to Codex and Cloud Code, where you do things fully automated. So in agent, in Grok Imagine Agent mode, you can, you can still go in there and do stuff by yourself.

Ethan [01:23:05]: Так что да, это на самом деле интересная вещь. Когда мы впервые выпустили модель видеомонтажа, я видел на X, как некоторые люди пробуют функцию видеомонтажа с «Отредактируй это видео так, чтобы оно стало минутным». Потому что они не понимали, как работает видеомонтаж. Видеомонтаж обычно — это просто удаление, добавление, замена, перенос стиля, такого рода вещи. Но это на самом деле валидный запрос в рамках допущения о видеоагентах. Так что эти агенты должны уметь понимать такого рода задачи с длинным горизонтом, чтобы уметь легко создавать видео в длинной форме. Думаю, это реально завораживает, потому что это вроде как берёт — это берёт то же направление, что и сначала — assisted coding, типа автодополнения, GitHub Copilot. И оттуда ты постепенно эволюционируешь к Codex и Claude Code, где ты делаешь вещи полностью автоматизированно. Так что в agent-режиме Grok Imagine Agent ты можешь по-прежнему зайти туда и делать что-то сам.

Ethan [01:24:22]: gradually, as the model capability increase, it will be able to do everything fully automated.

Ethan [01:24:22]: постепенно, по мере того как возможности модели растут, она сможет делать всё полностью автоматизированно.

Swyx [01:24:30]: I like that. okay.

Swyx [01:24:30]: Мне это нравится. Окей.

Ethan [01:24:32]: That’s good.

Ethan [01:24:32]: Это хорошо.

Swyx [01:24:32]: So it looks like it’s still generating.

Swyx [01:24:32]: Так что похоже, оно всё ещё генерирует.

Vibhu [01:24:34]: Also, I did notice the Grok image gen was always very fast. I don’t know if this is something you guys benchmarked, but, this is just a tangent. Compared to what I used to use before the latest OpenAI’s image gen, and same with Gemini Nano Banana, I would oftentimes use Grok just for the speed.

Vibhu [01:24:34]: Ещё я заметил, что Grok image gen всегда был очень быстрым. Не знаю, бенчмаркили ли вы это, но это просто отступление. По сравнению с тем, что я использовал раньше — последней генерацией изображений OpenAI, и то же с Gemini Nano Banana — я часто использовал Grok просто ради скорости.

Swyx [01:24:54]: It’s, it’s in the benchmark somewhere that’s

Swyx [01:24:54]: Это где-то в бенчмарке, это

Vibhu [01:24:56]: It’s

Vibhu [01:24:56]: Это

Swyx [01:24:56]: in the Imagine API blog post that they have all the speed things.

Swyx [01:24:56]: в блог-посте Imagine API, где у них все эти штуки про скорость.

Swyx [01:25:00]: it mostly combination of distillation plus inference.

Swyx [01:25:00]: это в основном комбинация дистилляции плюс инференс.

Ethan [01:25:04]: There are a bunch of things. we talk about distillation, and if you talk about thinking, if you don’t have any thinking budget, the model can just think three minutes and then come back to you. And also, inferenceThe inference infra team was very talented, and they were, they were able to accelerate a hell lot of these models.

Ethan [01:25:04]: Там куча вещей. Мы говорим о дистилляции, и если говорить о мышлении — если у тебя нет никакого бюджета на мышление, модель может просто думать три минуты и потом вернуться к тебе. А ещё инференс — команда инфраструктуры инференса была очень талантлива, и они смогли адски ускорить много этих моделей.

Swyx [01:25:27]: my comment on the, on the video agents things, I’m trying to figure out, when people say video agents, when you initially told me about your bet on video agents or your vision for video agents, I was a little bit disappointed. I was “you mean, like models are tapped out, now we have to do agents?” But, I think you have to, right? The question now is, how much model training is it really going to make a difference versus just building a better harness? Like you said the models don’t have to be jointly trained. you can just take an shelf frontier reasoning model, slap it on a harness, give it Grok as a tool. That’s it. That’s your video agent. Doesn’t seem super satisfying. Obviously, you can train and get some more percentage points of per- performance. But, if your central claim that the majority of video or generative media, alpha or whatever, is actually coming from language intelligence and not, image diffusion or video diffusion, then that is the future.

Swyx [01:25:27]: Мой комментарий по штуке про видеоагентов: я пытаюсь понять — когда люди говорят «видеоагенты», когда ты впервые рассказал мне о своей ставке на видеоагентов или своём видении видеоагентов, я был немного разочарован. Я такой: «ты имеешь в виду, типа, модели исчерпаны, теперь нам приходится делать агентов?» Но думаю, тебе приходится, да? Вопрос теперь в том, насколько обучение модели реально будет иметь значение против просто построения лучшего харнесса? Типа ты сказал, что модели не обязательно совместно обучать. Ты можешь просто взять готовую фронтирную reasoning-модель, нацепить её на харнесс, дать ей Grok как инструмент. Вот и всё. Вот твой видеоагент. Не кажется супер удовлетворительным. Очевидно, ты можешь обучать и получить ещё несколько процентных пунктов производительности. Но если твоё центральное заявление, что большинство видео- или generative-media-альфы или чего угодно на самом деле приходит из языкового интеллекта, а не из диффузии изображений или видео — тогда это и есть будущее.

Vibhu [01:26:30]: it’s pretty cool

Vibhu [01:26:30]: это довольно круто

Swyx [01:26:31]: It’s just like primarily just weight.

Swyx [01:26:31]: Это просто как в основном вес.

Vibhu [01:26:33]: If you pop back at the example, it generated frames. Sorry to interrupt, it’s been saying “Okay, I’m gonna start stitching these frames together.”

Vibhu [01:26:33]: Если вернуться к примеру, оно сгенерировало кадры. Извини, что прерываю, оно говорило: «Окей, я начну сшивать эти кадры вместе».

Swyx [01:26:42]: So

Swyx [01:26:42]: Так что

Vibhu [01:26:42]: It’s using FFmpeg like using code.

Vibhu [01:26:42]: Оно использует FFmpeg, типа использует код.

Swyx [01:26:43]: This is what GPT Image Pro as well is doing, right?

Swyx [01:26:43]: Это то, что GPT Image Pro тоже делает, да?

Swyx [01:26:46]: Like, this is also just writing code in the background and then just

Swyx [01:26:46]: Типа, это тоже просто написание кода в фоне и потом просто

Vibhu [01:26:48]: Stitching

Vibhu [01:26:48]: Сшивание

Swyx [01:26:49]: doing an image pass on the final output. It feels dissatisfying for the people who want to just train models.

Swyx [01:26:49]: делает проход по изображению на финальном выходе. Это кажется неудовлетворительным для людей, которые хотят просто обучать модели.

Vibhu [01:26:54]: It’s interesting, right? it’s, it’s also somewhat exciting. Like you brought up earlier, a lot of the gains don’t come as much from the video. I think you can see that in the language model space too, right? Anthropic, very good at coding. They’re multimodal, not the best, right? They have basic input PDF, but there’s clearly a disconnect in the quality of their image video processing, audio processing, yet intelligence very top tier. Other labs, Gemini, OpenAI, xAI, you can add modalities, but it’s not like they’re unlocking crazy capabilities, right? So it’s interesting.

Vibhu [01:26:54]: Это интересно, да? Это, это ещё и в какой-то мере захватывающе. Как ты поднял раньше, много выигрышей приходит не столько из видео. Думаю, это видно и в пространстве языковых моделей, да? Anthropic очень хороши в кодинге. Они мультимодальные, не самые лучшие, да? У них базовый ввод PDF, но есть явный разрыв в качестве их обработки изображений-видео, обработки аудио — при этом интеллект топового уровня. Другие лаборатории — Gemini, OpenAI, xAI — ты можешь добавлять модальности, но это не то чтобы они открывают безумные возможности, да? Так что это интересно.

Ethan [01:27:32]: It’s interesting to see that, like the video model’s capability increase actually come from language model being more intelligent. I think video agent, like it can unlock more stuff than my- you might imagine. So there’s a few things. So one thing is when we are prompting these models, so most of the people were actually not very good at prompting.

Ethan [01:27:32]: Интересно видеть, что рост возможностей видеомодели на самом деле приходит из того, что языковая модель становится более интеллектуальной. Думаю, видеоагент — он может открыть больше, чем ты можешь вообразить. Так что есть несколько вещей. Одна вещь — когда мы промптим эти модели, большинство людей на самом деле не очень хороши в промптинге.

Ethan [01:27:59]: Actually, language models have a better sense of how to prompt AI models. AI models know AI models better. So if you jointly train these models, maybe the model have a better sense of, how to prompt each model. Like a different model

Ethan [01:27:59]: На самом деле языковые модели лучше чувствуют, как промптить AI-модели. AI-модели знают AI-модели лучше. Так что если совместно обучить эти модели, может, у модели будет лучшее чутьё, как промптить каждую модель. Типа разная модель

Vibhu [01:28:15]: Of course

Vibhu [01:28:15]: Конечно

Ethan [01:28:15]: might be different. Another thing is it might not as simple as just, like generate a few clips and slap them together using FFmpeg. Like you might-- there might be more like image and video editing tool appear in this process. Say, if you want to exactly add a blob of text at this timestamp, the videos model-- video models might not get that intention very precisely.

Ethan [01:28:15]: может быть разной. Ещё одна вещь — это может быть не так просто, как просто сгенерировать несколько клипов и слепить их вместе через FFmpeg. Типа ты можешь — может появиться больше инструментов редактирования изображений и видео в этом процессе. Скажем, если ты хочешь точно добавить кусок текста на этом таймстемпе, видеомодели могут не уловить это намерение очень точно.

Ethan [01:28:48]: But these are possible using these deterministic tools. The long-- The video agents can use all sorts of tools, so you don’t have to put all of the capabilities into the generation model itself.

Ethan [01:28:48]: Но это возможно с помощью этих детерминированных инструментов. Видеоагенты могут использовать всевозможные инструменты, так что тебе не нужно вкладывать все возможности в саму генеративную модель.

Swyx [01:29:04]: I think that’s very true. no, so for what it’s worth, I think you’re right. I think that this will be a big category. I think probably you are predicting like the next one year in video is gonna be all this.

Swyx [01:29:04]: Думаю, это очень верно. Нет, чего бы это ни стоило, думаю, ты прав. Думаю, это будет большая категория. Думаю, ты, наверное, предсказываешь, что следующий год в видео будет весь про это.

Vibhu [01:29:18]: Do you have a time prediction for how-- when this stuff ramps up? Like

Vibhu [01:29:18]: Есть ли у тебя прогноз по времени, как — когда эта штука разгонится? Типа

Swyx [01:29:22]: they already started.

Swyx [01:29:22]: оно уже началось.

Vibhu [01:29:23]: Is,

Vibhu [01:29:23]: Это,

Swyx [01:29:24]: It’s not very good yet.

Swyx [01:29:24]: Оно пока не очень хорошее.

Vibhu [01:29:25]: Are we so-- No, it’s so, it’s so good. I think the last one’s just longer.

Vibhu [01:29:25]: Мы это так — нет, это так, это так хорошо. Думаю, последнее просто длиннее.

Vibhu [01:29:29]: it didn’t give me a minute.

Vibhu [01:29:29]: оно не дало мне минуту.

Ethan [01:29:30]: Last thirty-six.

Ethan [01:29:30]: Последнее — тридцать шесть.

Vibhu [01:29:30]: It gave me thirty-six seconds. But are we feeling it now? Is there gonna be inflection? Is there any timeline predictions you wanna make?

Vibhu [01:29:30]: Оно дало мне тридцать шесть секунд. Но мы это чувствуем уже сейчас? Будет ли перелом? Есть ли какие-то прогнозы по таймлайну, которые хочешь сделать?

Ethan [01:29:37]: by the end of this year is-- this is going to

Ethan [01:29:37]: к концу этого года это — это будет

Ethan [01:29:41]: be a big hit. So the inflection point will be where, the videos generated by video agents can get to like production grade quality, so it can be presented and it can be, it can be distributed in ads. And when-- once that happen, I think the enterprise will have much more budget for video models because the agents are, inherently more expensive than the, than the video models themselves, ‘cause they do this iterative process. They generate many variations.

Ethan [01:29:41]: большим хитом. Так что точка перелома будет там, где видео, сгенерированные видеоагентами, смогут дойти до продакшен-качества, так что их можно будет презентовать и распространять в рекламе. И когда — как только это произойдёт, думаю, у предприятий будет гораздо больше бюджета на видеомодели, потому что агенты по своей природе дороже, чем сами видеомодели, потому что они делают этот итеративный процесс. Они генерируют много вариаций.

Ethan [01:30:23]: but once these models have this, pass this usability threshold, I think it’s, it’s going to be a exponential growth beyond that.

Ethan [01:30:23]: но как только эти модели пройдут этот порог пригодности, думаю, дальше это будет экспоненциальный рост.

Swyx [01:30:35]: I would, fund a company right now based on this thing.

Swyx [01:30:35]: Я бы профинансировал компанию прямо сейчас на основе этой штуки.

Robotics, Physical AI, and Internet-Trained World Models

Робототехника, физический AI и обученные на интернете world models

Swyx [01:30:40]: so I think you’re right. One thing I’m, I’m surprising, I’m reflecting on the whole like past hour or so of conversation, you are-- I think you’re into world models and video generation for video generation’s sake. I think that a lot of other world models people, we’ve interviewed a lot of them, general intuition and Fei Li and all those guys and Moondream, which I think I told you about. Moonlake.

Swyx [01:30:40]: так что думаю, ты прав. Одна вещь, которой я удивляюсь, размышляя обо всём этом часе или около того разговора, — ты, думаю, ты увлечён world models и видеогенерацией ради самой видеогенерации. Думаю, многие другие люди по world models — мы интервьюировали многих из них, General Intuition, и Fei-Fei Li, и всех тех ребят, и Moondream, о котором, кажется, я тебе рассказывал. Moonlake.

Vibhu [01:31:01]: Lake.

Vibhu [01:31:01]: Lake.

Swyx [01:31:01]: I keep saying Moondream. Goddammit. Moonlake. A lot of them actually say like robotics is the end game. Like embodied robotics, like you want real-time, you want interactive. It is to interact with the physical world. You’re not that concerned about it.

Swyx [01:31:01]: Я всё время говорю Moondream. Чёрт. Moonlake. Многие из них на самом деле говорят, что робототехника — это финальная игра. Типа воплощённая робототехника, типа ты хочешь реальное время, хочешь интерактивность. Это чтобы взаимодействовать с физическим миром. Ты не так этим обеспокоен.

Ethan [01:31:15]: I think robotics will be a, will be a big part of it for sure.the process may happen naturally. So my prediction on robotics is that the problem is physical AI might be solved, like without actually need to

Ethan [01:31:15]: Думаю, робототехника будет большой частью этого, точно. Процесс может произойти естественно. Так что мой прогноз по робототехнике в том, что проблема — физический AI может быть решён, типа без необходимости фактически

Swyx [01:31:36]: Be in the real world

Swyx [01:31:36]: Быть в реальном мире

Ethan [01:31:37]: need to be in the real world. So it might, it might get solved by a video-- A LLM is very strong video capability. So remember we talk about the real-time interactive long horizon video. Once these models-- So now these models are just training on like screen recordings and computer screens. Once these models can use computers and understand the future state of computer extremely well, the robots might be, might be one of the, one of the tools, a very powerful AI can use. So the powerful AI might just, be able to control the physical embodiment naturally.

Ethan [01:31:37]: быть в реальном мире. Так что это может, это может быть решено через видео — LLM с очень сильными видеовозможностями. Так что помни, мы говорили про интерактивное видео в реальном времени с длинным горизонтом. Как только эти модели — сейчас эти модели просто обучаются на записях экрана и компьютерных экранах. Как только эти модели смогут использовать компьютеры и чрезвычайно хорошо понимать будущее состояние компьютера, роботы могут стать одним из инструментов, которые очень мощный AI может использовать. Так что мощный AI может просто уметь управлять физическим воплощением естественно.

Why Ethan Left xAI and What Comes Next

Почему Итан ушёл из xAI и что дальше

Swyx [01:32:28]: I see that for sure. Cool. I know, I know we are coming up on time. you had-- you left one more spicy topic, which is why you left xAI.

Swyx [01:32:28]: Я это точно вижу. Круто. Я знаю, я знаю, что мы подходим к концу времени. У тебя была — ты оставил ещё одну острую тему: почему ты ушёл из xAI.

Ethan [01:32:38]: For me, there’s, there’s a lot of, a lot of research you want to do that you cannot do at, as a company. And also like the priorities and objective the-- of a company typically can change very fast. It is-- It’s also the same for xAI. So now is kind of like the time so there is some research I want to do, especially more on language model side like I cannot do at xAI.

Ethan [01:32:38]: Для меня есть много исследований, которые хочется делать и которые нельзя делать в компании. И ещё, типа, приоритеты и цели компании обычно могут меняться очень быстро. Это — это так же и для xAI. Так что сейчас как бы такое время — есть некоторые исследования, которые я хочу делать, особенно больше на стороне языковых моделей, что я не мог делать в xAI.

Swyx [01:33:11]: Oh, okay, yeah. So you’re, you’re basically leaving You’re, you’re-- you had this whole transition from computer vision to world models, video generation, to now you’re like focusing on LLMs.

Swyx [01:33:11]: О, окей, да. То есть ты, ты по сути уходишь — ты, у тебя был весь этот переход от computer vision к world models, видеогенерации, к тому, что теперь ты типа фокусируешься на LLM.

Vibhu [01:33:22]: But it seems a lot of you saying focusing on LLMs, you really in the past hour described how it all ties together, right? Like But I don’t know. What do you mean by focusing on LLMs? Is there

Vibhu [01:33:22]: Но кажется, многое из того, что ты говоришь о фокусе на LLM, — ты ведь за прошедший час описал, как всё это связано вместе, да? Типа — но не знаю. Что ты имеешь в виду под фокусом на LLM? Есть ли

Ethan [01:33:33]: I realize the fact that the video models, even like in the beginning, the game might come from improvement on diffusion technology, but this is a point where actually most of the game, come from the language models themselves.

Ethan [01:33:33]: Я осознаю тот факт, что у видеомоделей — даже типа в начале, выигрыш мог приходить из улучшения технологии диффузии, но это точка, где на самом деле большинство выигрыша приходит из самих языковых моделей.

Swyx [01:33:50]: It’s a huge black pill for anyone who has like spent their career in like generative, media.

Swyx [01:33:50]: Это огромная чёрная пилюля для любого, кто провёл свою карьеру в типа generative media.

Vibhu [01:33:56]: it-- that’s an extreme view, right? The-- You still definitely need a bit of both, right?

Vibhu [01:33:56]: Это — это крайний взгляд, да? Тебе — тебе всё ещё определённо нужно немного и того, и другого, да?

Vibhu [01:34:01]: There’s just, it seems like more pressing, impactful work to do now on language model side.

Vibhu [01:34:01]: Просто кажется, что есть более насущная, более влиятельная работа, которую нужно делать сейчас на стороне языковых моделей.

Swyx [01:34:07]: Do you have any similar predictions? you-- so you predict the video agents, and I think you will be right. on the language side, what are you looking for in the next one year?

Swyx [01:34:07]: Есть ли у тебя похожие прогнозы? Ты — ты предсказал видеоагентов, и думаю, ты будешь прав. На языковой стороне — что ты ищешь в следующем году?

Ethan [01:34:16]: I think one thing pretty interesting I think might be happening soon is the language models will be like context-aware and manage its own context.

Ethan [01:34:16]: Думаю, одна довольно интересная вещь, которая, думаю, может произойти скоро, — языковые модели будут типа context-aware и будут управлять собственным контекстом.

Ethan [01:34:29]: So some-- Like from the video model side, we’ve been suffering from the long horizon issue, like we want to generate video longer and longer, and we’ve been trying to solve the context length issues through various ways. One thing is just brute-forcing train longer context lengths. Another is to manage the context better. I think the same thing in language model is also going to be happening soon. So for example, like the language models, they’re not aware of how long their own context length is. Once they hit like eighty percent or something, automatic context compression is getting triggered. And the model, is not aware of that when it’s working. And some-- maybe it’s good for the models to know, “Oh, I’m, I’m approaching like eighty percent,” or something. And something also pretty interesting, like for example, in OpenClau, like you-- every time you type in something, a times-- the current local time is automatically attached to your message, so the model actually know what time is it. So this is making the model time-aware. And also like in tool calling the-- a lot of the intermediate tool call results automatically prune. So there’s like context removal, context addition, and, context compaction. So all of these are from the harnesses themselves. But from our experience, the heuristic engineering also helps the models get this absorbed into the models themselves. that’s something very interesting to explore.

Ethan [01:34:29]: Так что некоторые — типа со стороны видеомоделей мы страдали от проблемы длинного горизонта, типа мы хотим генерировать видео всё длиннее и длиннее, и мы пытались решить проблемы длины контекста разными способами. Один — просто брутфорсом обучать на более длинном контексте. Другой — управлять контекстом лучше. Думаю, то же самое в языковых моделях тоже скоро произойдёт. Например, языковые модели не осознают, насколько длинна их собственная длина контекста. Как только они достигают типа восьмидесяти процентов или вроде того, срабатывает автоматическая компрессия контекста. И модель не осознаёт этого, когда работает. И, может, моделям было бы хорошо знать: «О, я приближаюсь к восьмидесяти процентам» или что-то такое. И ещё одна довольно интересная вещь — например, в OpenClaude, типа каждый раз, когда ты вводишь что-то, текущее локальное время автоматически прикрепляется к твоему сообщению, так что модель на самом деле знает, который час. Так что это делает модель time-aware. И ещё, типа, при вызове инструментов много промежуточных результатов вызова инструментов автоматически обрезается. Так что есть как бы удаление контекста, добавление контекста и уплотнение контекста. Так что всё это — из самих харнессов. Но из нашего опыта инженерия эвристик тоже помогает моделям впитать это в самих себя. Это что-то очень интересное для исследования.

Vibhu [01:36:12]: So infinite context?

Vibhu [01:36:12]: То есть бесконечный контекст?

Ethan [01:36:14]: Maybe.

Ethan [01:36:14]: Может быть.

Vibhu [01:36:15]: No, but it’s, it’s interesting, right? you

Vibhu [01:36:15]: Нет, но это интересно, да? Ты

Swyx [01:36:17]: It is in the space of memory and continual learning and

Swyx [01:36:17]: Это в пространстве памяти и continual learning и

Vibhu [01:36:20]: I don’t know. It’s also like in the space of agent harness use, right? You’re seeing

Vibhu [01:36:20]: Не знаю. Это ещё и типа в пространстве использования агентного харнесса, да? Ты видишь

Swyx [01:36:25]: No, he’s saying he doesn’t want to do it in a harness, right?

Swyx [01:36:25]: Нет, он говорит, что не хочет делать это в харнессе, да?

Vibhu [01:36:27]: No, but models are also being trained on uni-- using harnesses, right?

Vibhu [01:36:27]: Нет, но модели ещё и обучаются на использовании харнессов, да?

Vibhu [01:36:32]: So some of it is, you could say, implicitly leaking in, right? part of that post-training of language models is, okay, using it in coding harnesses, in which case, when are agents spawned? When is compaction gonna happen? it’s not explicit you have this much token window, which I don’t know if you want it to be, as that’ll change, but it’s, it’s somewhat leaking in there.

Vibhu [01:36:32]: Так что часть этого, можно сказать, неявно просачивается, да? Часть этого пост-обучения языковых моделей — окей, использование их в кодинг-харнессах, в случае чего — когда спавнятся агенты? Когда произойдёт компакция? Это не явно, что у тебя такое-то окно токенов, что — не знаю, хочешь ли ты, чтобы оно таким было, поскольку это будет меняться, но это в какой-то мере просачивается туда.

Ethan [01:36:58]: I’m imagining, what if the model have access to the whole-- the code of the agent harness itself and being able to modify it to whatever you want. Say, if the agent harness is short enough, you can just put in the context lengths in the system prompt, and then the model will say, “When I want to spawn a future version of myself, I can modify the agent harness.” For example, if I-- the agent harness can be, “Oh, when I’m reading-”A long document, I can choose to read the whole thing in chunks and, come back, smash the summary together, or I can just read the first two hundred lines and, discard the rest. And all kind of choices, if they can be made by the models themselves, it might be very interesting to see that the model can, program the model can program itself online in test time.

Ethan [01:36:58]: Я представляю — а что если у модели есть доступ ко всему — к коду самого агентного харнесса и она может модифицировать его как захочет. Скажем, если агентный харнесс достаточно короткий, ты можешь просто поместить длину контекста в системный промпт, и тогда модель скажет: «Когда я хочу заспавнить будущую версию себя, я могу модифицировать агентный харнесс». Например, если я — агентный харнесс может быть: «О, когда я читаю длинный документ, я могу выбрать прочитать всё целиком по кускам и вернуться, слепить summary вместе, или я могу просто прочитать первые двести строк и отбросить остальное». И всевозможные выборы, если они могут делаться самими моделями, может быть очень интересно увидеть, что модель может программировать — модель может программировать саму себя онлайн во время инференса.

Career Lessons: Moving Across ML Domains

Карьерные уроки: переходы между доменами ML

Swyx [01:38:02]: so the self-modifying harness is also part of, OpenClaw and Py, but I think there’s a lot more work to do there. Very cool. I think part of me is kind of curious. I think you are part of Big Lab, right? And there’s this career path of a researcher at a Big Lab, which is you are-- you train models, you get more compute, you train better models, and you keep going. And somewhat, I feel like you’re opting out of that. And if I were you, I would be “Oh, I think this is, a bit of a career risk.” what?

Swyx [01:38:02]: так что самомодифицирующийся харнесс — это тоже часть OpenClaude и Py, но думаю, там есть гораздо больше работы. Очень круто. Часть меня вроде как любопытна. Думаю, ты часть Big Lab, да? И есть этот карьерный путь исследователя в Big Lab: ты обучаешь модели, получаешь больше compute, обучаешь лучшие модели, и продолжаешь дальше. А ты в какой-то мере, чувствую, отказываешься от этого. И будь я на твоём месте, я бы такой: «О, думаю, это вроде как карьерный риск». Что?

Swyx [01:38:36]: I don’t have any comment apart from, you’re very strongly convicted. I think that a lot of people in your shoes would not be doing what you did.

Swyx [01:38:36]: У меня нет никакого комментария, кроме того, что ты очень сильно убеждён. Думаю, многие люди на твоём месте не делали бы того, что сделал ты.

Ethan [01:38:43]: Speaking of my career, if I look back, actually, there were, there were a lot of huge transitions. So ten years ago, I was, I was doing research with a ResNet authors, Xiangyu Zhang and Jian Sun. Yeah, at that time, the research were completely different. It was, mostly confirmation, like image recognition, object detection, object tracking. I was also doing neural net compression at that time. It was quite different from knowledge dissolutions these days. And at that time, I was-- I wanted to be a professor, and I applied. When I applied for a PhD, I already had a few first author papers at top conferences, so I confidently applied at the top schools. It turns out I got rejected by all of the top PhD programs. So I had to, I had to go to the industry. At that time, I was at Facebook AI Research fair, led by Yann LeCun.

Ethan [01:38:43]: Говоря о моей карьере, если оглянуться, на самом деле было много огромных переходов. Так, десять лет назад я занимался исследованиями с авторами ResNet, Xiangyu Zhang и Jian Sun. Да, в то время исследования были совершенно другими. Это было в основном convolution, типа распознавание изображений, детекция объектов, трекинг объектов. Я также занимался сжатием нейронных сетей в то время. Это сильно отличалось от дистилляции знаний этих дней. И в то время я хотел стать профессором, и я подавал документы. Когда я подавал на PhD, у меня уже было несколько статей с первым авторством на топовых конференциях, так что я уверенно подавал в топовые школы. Оказалось, меня отвергли все топовые PhD-программы. Так что мне пришлось пойти в индустрию. В то время я был в Facebook AI Research, FAIR, который возглавлял Yann LeCun.

Swyx [01:39:51]: I wanted to talk about VJPA, but it’s different.

Swyx [01:39:51]: Я хотел поговорить про V-JEPA, но это другое.

Ethan [01:39:53]: I know. Yeah, we can leave it for another time.

Ethan [01:39:53]: Я знаю. Да, можем оставить это на другой раз.

Ethan [01:39:57]: I switched to At that time, I switched to self-surprised learning. It was, it was quite different from what I was doing in contribution.

Ethan [01:39:57]: Я переключился на — в то время я переключился на self-supervised learning. Это сильно отличалось от того, чем я занимался в convolution.

Ethan [01:40:07]: And after that is NVIDIA Cosmos. So I realized scaling up was extremely important. So at NVIDIA, I was mainly focusing on scaling. So one thing is Cosmos scaling the video distribution models to a few billion parameters. And another thing is, I was working on MoEs. The Megatron MoEs was the first, was the first framework open source to be able to train these MoEs at very large scales, hundred billions parameters to even trillions parameters efficiently at, forty percent MFU.

Ethan [01:40:07]: А после этого был NVIDIA Cosmos. Так что я осознал, что масштабирование чрезвычайно важно. Так что в NVIDIA я в основном фокусировался на масштабировании. Одна вещь — Cosmos, масштабирование видео-distribution-моделей до нескольких миллиардов параметров. А другая — я работал над MoE. Megatron MoE был первым опенсорсным фреймворком, способным обучать эти MoE в очень больших масштабах, от сотен миллиардов параметров до даже триллионов параметров эффективно, при сорока процентах MFU.

Ethan [01:40:51]: And going to switching to xAI was trying to work on even larger compute scale even further. And yeah, looking at this trajectory, I actually worked on a lot of different things. So I feel actually within ML, it’s actually easier to switch than you think. a lot of people might have mindset that, “Oh, I work on, I work on computer vision. I always have to work on computer vision, and I cannot switch to language.” And, but from my experience, at least at NVIDIA, I worked on both language model MoEs and also video models. It’s, it’s actually not the case. A lot of, a lot of the core principles how to train large models are largely the same. And yeah, for me, I feel right now the bottleneck, for video models is actually the language part the agent, which is why I want to go to work more on LLMs. One thing is it’s, it’s a bit of a challenge. I don’t think it’s a huge, jump, so.

Ethan [01:40:51]: А переход в xAI был попыткой работать на ещё большем масштабе compute, ещё дальше. И да, глядя на эту траекторию, я на самом деле работал над множеством разных вещей. Так что я чувствую, на самом деле внутри ML переключаться легче, чем ты думаешь. У многих людей может быть установка, что «о, я работаю над computer vision, я всегда должен работать над computer vision, и я не могу переключиться на язык». Но из моего опыта, по крайней мере в NVIDIA, я работал и над MoE для языковых моделей, и над видеомоделями. Это на самом деле не так. Многие из основных принципов того, как обучать большие модели, во многом одинаковы. И да, для меня я чувствую, что прямо сейчас узкое место для видеомоделей — это на самом деле языковая часть, агент, вот почему я хочу пойти больше работать над LLM. Одна вещь — это немного вызов. Не думаю, что это огромный скачок, так что.

Closing Thoughts

Заключительные мысли

Swyx [01:42:18]: kudos to you. I think you have a lot of, strong vision there. Yeah, I think that was mostly everything that we wanted to cover. You’ve been very generous with your time, and I, it’s really nice that you are able to share all these things now. We don’t have to go through xAI to clear everything. but also we

Swyx [01:42:18]: респект тебе. Думаю, у тебя много, сильное видение там. Да, думаю, это было в основном всё, что мы хотели покрыть. Ты был очень щедр со своим временем, и, это реально приятно, что ты можешь поделиться всеми этими вещами теперь. Нам не нужно проходить через xAI, чтобы всё провести. Но ещё мы

Ethan [01:42:35]: Oh,

Ethan [01:42:35]: О,

Swyx [01:42:35]: I think we didn’t get you in trouble.

Swyx [01:42:35]: думаю, мы не подставили тебя под неприятности.

Ethan [01:42:37]: It’s a lot of good stuff about xAI compared to what you just see in the releases, right? You don’t realize how many more levels there are to it.

Ethan [01:42:37]: Это много хорошего о xAI по сравнению с тем, что ты просто видишь в релизах, да? Не осознаёшь, сколько там ещё уровней.

Swyx [01:42:44]: xAI, please do more podcasts.

Swyx [01:42:44]: xAI, пожалуйста, делайте больше подкастов.

Swyx [01:42:47]: anyway.

Swyx [01:42:47]: в общем.

Swyx [01:42:48]: but thank you for, sharing. It’s been very kind. And also, I wanna hear more from you. I think you are going to embark on your next phase. You haven’t announced what you’re doing next, but clearly you have, more vision and more ambition on this path, and I think you’re, you’re basically kind of gradient descending to, whatever your final form is.

Swyx [01:42:48]: но спасибо, что поделился. Это было очень любезно. И ещё, я хочу услышать от тебя больше. Думаю, ты собираешься вступить в свою следующую фазу. Ты не объявил, чем займёшься дальше, но явно у тебя есть больше видения и больше амбиций на этом пути, и думаю, ты по сути вроде как градиентным спуском идёшь к своей финальной форме.

Ethan [01:43:08]: Thank you. Yeah. Yeah, I’ll, I’ll share more about my next chapter soon.

Ethan [01:43:08]: Спасибо. Да. Да, я поделюсь больше о своей следующей главе скоро.

Ethan [01:43:14]: Thank you for having me.

Ethan [01:43:14]: Спасибо, что пригласили.

Swyx [01:43:16]: Thanks for coming.

Swyx [01:43:16]: Спасибо, что пришёл.

Discussion about this episode

Обсуждение этого выпуска