Why Video Agent models are next — Ethan He, xAI Grok Imagine

Почему модели видеоагентов — следующий рубеж — Ethan He, xAI Grok Imagine

На этой неделе мы объявляем спикеров AIEWF! Пройдите опрос AI Engineering!

Сегодняшний гость Итан впервые присоединился к нам на LS Paper Club как ведущий по NVIDIA Cosmos World Model, но затем перешёл в xAI и за 3 месяца построил Grok Imagine:

Он возвращается на Latent Space с парой ядерно-горячих тезисов: что видеомодели получают свой интеллект главным образом от LLM, а не от обучения на видеоданных, и что следующий рубеж для по-настоящему интерактивных, работающих в реальном времени, рассчитанных на длинный горизонт world models — это работать над LLM (возможно, и над Interaction Models тоже…)

Скажем так: в ближайшей перспективе следующая Sora будет не лучшей видеомоделью, а видеоагентом.

Генеративные медиа могут пойти по пути, более близкому к эволюции AI-кодинга, который сместился с фокуса на one-shot-выдачу по качеству и стоимости к многоходовым reasoning- и планирующим моделям для агентов и систем, способных планировать, редактировать, тестировать, отлаживать и отправлять PR.

В какой-то момент кодинг-модели стали настолько хороши, что единственным значимым следующим шагом для повышения производительности стало управление оркестрацией этих моделей.

Теперь, по мере того как производительность видеомоделей значительно растёт по реализму, консистентности и следованию промпту, при этом становясь более экономичной по стоимости, следующей ступенью эволюции видеогенерации тоже могут стать системы, способные планировать, генерировать, редактировать, критиковать и итерировать на протяжении всей творческой задачи.

В этом выпуске Итан вместе с swyx и Vibhu разбирают, что на самом деле нужно, чтобы строить фронтирные image- и video-системы: данные, VAE, diffusion transformers, выравнивание аудио и видео, ускорение инференса и скрытую стоимость хранения и перемещения огромных видеодатасетов. От создания NVIDIA Cosmos world model до прихода в xAI, когда Grok Imagine строился с нуля, Ethan He был в центре одной из самых важных работ в области видеогенерации, мультимодальных моделей и world models реального времени.

Мы подробно говорим о Grok Imagine, о том, как небольшая команда xAI выпустила свою первую мультимодальную видеомодель за три месяца, почему скорость итераций важнее почти всего остального в разработке моделей и почему многие из крупнейших улучшений приходят из исправления крошечных багов в пайплайнах данных и обучения.

Flipbook: будущее videomaxxing

Видеоагенты — почти стопроцентная ставка на главный тренд следующего года. Мы завершаем взглядом на то, что лежит за пределами видеоагентов:

Flipbook произвёл небольшую сенсацию в этом году, когда вышел, но большинство воспринимает его как забавную демку. Итан же относится к нему очень серьёзно: с учётом того, что скорость и стоимость инференса снижаются каждый год, будущее кастомного видео-JIT-UI ближе, чем вы думаете. Мы поговорили о том, почему videogen-модели могут стать фронтендом AI, как генеративный UI может заменить традиционный HTML/CSS, почему world models должны быть в реальном времени, интерактивными и с длинным горизонтом, и почему будущее видеогенерации может зависеть от языковых моделей и агентов больше, чем от одной только диффузии.

Мы обсуждаем:

Почему быстрые итерации важнее встречПочему мелкие баги в обучении могут давать огромный прирост качества моделиПочему кодинг-модели могут снова сделать compute узким местомКак image- и video-модели обучаются на синтетических подписяхРоль VAE и латентного пространства во фронтирных видеомоделяхПочему image-модели — это фундамент для видеомоделейКомпромисс между временной компрессией и интерактивностью в реальном времениFlipbook, Neural OS и будущее генеративного UIПочему будущие интерфейсы могут идти от намерения пользователя к пикселямСкрытая стоимость обучения видеомоделей: хранение, egress и GPU-часыКак дистилляция шагов и consistency-модели (вроде OpenAI sCM) ускоряют видеоинференс на порядкиGrok Imagine 0.9 и крупномасштабная аудио-видео генерацияПочему выравнивание аудио и видео сложнее, чем выравнивание текста и видеоОпределение world models по версии ИтанаReference-to-video, видеорасширение и видеогенерация с длинным контекстомПочему исследовательская коммуникация xAI недооценивает Grok ImagineКак культура xAI сформировала скорость разработкиAI-водяные знаки, SynthID и детектирование сгенерированных медиаПочему переписывание промптов важно для видеомоделейGrok Imagine Agent и подъём видеоагентовПочему языковые модели могут открыть лучшую видеогенерациюРобототехника, физический AI и воплощённые world modelsПочему Итан ушёл из xAI и переключился на LLMСамоуправляемый контекст, память и следующий рубеж для языковых моделей

Ethan He

LinkedIn: https://www.linkedin.com/in/ethanhe42X: https://x.com/EthanHe_42

Тайм-коды

00:00:00 Введение

00:01:25 От NVIDIA Cosmos к xAI

00:03:24 Создание Grok Imagine с нуля

00:10:07 Как обучают image- и video-модели

00:18:53 Видеокомпрессия, VAE и компромиссы реального времени

00:22:10 Генеративный UI, Flipbook и Neural OS

00:32:10 Стоимость обучения больших видеомоделей

00:37:04 Дистилляция, GAN и быстрый видеоинференс

00:41:21 Аудио-видео генерация и Grok Imagine 0.9

00:48:34 Что делает модель world model?

00:55:51 Reference-видео, длинный контекст и видеопамять

01:00:11 Культура xAI, исследования и построение от первых принципов

01:09:45 AI-безопасность, водяные знаки и переписывание промптов

01:13:10 Видеоагенты и создание контента с помощью AI

01:27:32 Почему языковые модели открывают лучшее видео

01:31:15 Робототехника, физический AI и воплощённые world models

01:32:38 Почему Итан ушёл из xAI

01:34:16 Самоуправляемый контекст и будущее LLM

01:38:43 Карьерный путь Итана и заключительные мысли

Расшифровка

Введение: Ethan He, Latent Space и путь к xAI

Swyx [00:00:00]: Мы здесь в студии с Ethan He, недавно работавшим в xAI. Добро пожаловать.

Ethan [00:00:10]: Спасибо. Рад быть здесь.

Swyx [00:00:11]: С нами также Vibhu. Ты впервые пришёл к нам, попал в мир Latent Space, потому что работал над Cosmos в NVIDIA и сделал статью. Нам она очень понравилась. Ты её ещё и презентовал, так что спасибо за это.

Ethan [00:00:23]: Я на самом деле ещё и про MoE дважды рассказывал на Latent Space.

Swyx [00:00:29]: А как ты вообще о нас узнал? Мы сами с тобой связались? Так это было?

Ethan [00:00:33]: Нет, на самом деле я — через сообщество. Я как-то осознал: о, есть же это онлайн-сообщество, где люди говорят об AI и учатся друг у друга по статьям каждую неделю, на Paper Club. Это очень приятно.

Ethan [00:00:49]: Я много чему научился.

Swyx [00:00:49]: Думаю, три года не останавливаемся. Не прерывались даже на Рождество и Новый год. Многие недели хочется остановиться, но оно всё продолжается.

Vibhu [00:00:58]: Нет, это было здорово. Помню, ты выложил, что работал над статьёй, и я такой: «О, очень круто. У нас есть Paper Club. Расскажи тогда».

Vibhu [00:01:04]: Но, возможно, я связался с тобой уже после.

Swyx [00:01:05]: Ты — потому что это любительский клуб, так?

Swyx [00:01:08]: Так что это очень необычно, но иногда к нам заходят авторы статей и сами их объясняют. Сегодня мы как раз разобрали статью poolside, которая, судя по всему, была очень хороша.

Vibhu [00:01:18]: Вышла вчера.

Vibhu [00:01:19]: Довольно интересная, да? Полностью открытая. Они рассказывают всё, и про системы. Так что хорошая. Будем рекомендовать людям почитать.

Swyx [00:01:25]: Введи нас в курс своего перехода в xAI, потому что я даже не знаю, когда ты присоединился. Просто расскажи историю этого перехода.

От NVIDIA Cosmos к xAI: масштабирование видео и world models

Ethan [00:01:34]: До xAI я работал над world model Cosmos в NVIDIA. Cosmos — это гигантская видео-foundation-модель, которая стремится симулировать мир и служит фундаментом для всех робототехников, чтобы строить поверх неё. Когда я построил первый Cosmos, я понял, что у этой штуки тоже есть scaling law, похожий на языковые модели, и нам нужно дальше масштабировать видеомодели. Вот почему я понял, что мне нужно перейти куда-то, где гораздо больше вычислительных ресурсов. Вот как я

Swyx [00:02:13]: Чем в NVIDIA?

Vibhu [00:02:14]: GPU-богачи сами пришли.

Vibhu [00:02:19]: А по срокам, когда был Cosmos? Это же было довольно рано, да? Открытая world model, открытая статья, всё.

Ethan [00:02:25]: Это был конец двадцать четвёртого.

Vibhu [00:02:28]: Конец двадцать четвёртого.

Ethan [00:02:30]: Потом в середине двадцать пятого я перешёл в xAI. К тому моменту — я присоединился примерно тогда, когда xAI как раз собиралась строить видеомодели и мультимодальные модели. Не было ни инфраструктуры, ни данных, ни модели, и буквально силами нескольких инженеров мы построили это за три месяца и выпустили первую модель, Grok Imagine ноль точка девять.

Ethan [00:02:55]: И с тех пор я продолжаю работать над видеомоделями и сместился больше от обучения к пост-обучению видеомоделей. Например, reference-to-video — что-то вроде функции камео — и видеорасширения. А перед уходом я работал над world model, возглавляя небольшую команду, сфокусированную на видеогенерации в реальном времени с длинным горизонтом.

Создание Grok Imagine с нуля за три месяца

Swyx [00:03:24]: Можешь дать примерный roadmap: окей, ты в совершенно новой команде. Grok раньше был только текстовым, или они партнёрились с BFL для генерации изображений. Какие — что за строительные блоки? У тебя есть compute, данные можно где-то добыть. Просто какова последовательность вещей, о которых стоит думать, когда настраиваешь новую команду?

Vibhu [00:03:43]: На самом деле даже глубже, не просто данные, которые можно добыть. Вам же ещё пришлось проходить через получение данных, так? То есть вы выпустили это довольно быстро, но да.

Swyx [00:03:51]: три месяца — это как

Vibhu [00:03:52]: От всего

Swyx [00:03:52]: на удивление быстро.

Ethan [00:03:55]: Одно я скажу: спасибо моему опыту в NVIDIA, потому что в первый раз, когда мы вместе строили Cosmos, мы делали это около года. Так что это уже второй раз, как я это делаю. Примерно представляю, что нужно делать. Я бы сказал, самое важное — это таланты. Все были очень сильными и умными, очень близкими друг к другу, к общей цели. Это сильно ускоряет дело. Ты снижаешь объём коммуникации между людьми, и каждый может работать на одну и ту же цель. Это как — каждый день в календаре не так много встреч, может, один синк в день, а после этого всё — просто строишь. Тогда было очень весело.

Ethan [00:04:47]: И ещё одно — у xAI очень сильный фундамент по data inference, model inference, и эта поддержка сильно помогает разработке модели. Когда я смотрю на обучение моделей, на самом деле самое важное — это сколько итераций ты можешь сделать в день? И чем больше итераций, тем быстрее ты можешь обучать модель. Так что если у тебя очень сильная инфраструктура и много compute, ты можешь обучать эти модели за очень короткий период. Это даёт тебе гораздо больший буфер для ошибок, и это также даёт возможность находить больше багов.

Скорость итераций, compute и отладка пайплайнов моделей

Swyx [00:05:46]: А что такое итерация? Это несколько сотен шагов или что ты

Ethan [00:05:50]: Скажем, просто обучение модели — типа добыть новые данные, может, разработать новые алгоритмы и обучить новую модель, может, в меньшем масштабе, или

Swyx [00:06:01]: То есть время цикла для любого гиперпараметра, который ты ищешь.

Ethan [00:06:04]: Время цикла, и до того, чтобы оценить эту модель. Эта модель лучше моей предыдущей итерации?

Ethan [00:06:11]: Так что

Swyx [00:06:11]: То есть это как — до тебя кто-то уже всё настроил так, что ты можешь очень быстро итерировать.

Ethan [00:06:15]: Думаю, фундамент там чрезвычайно хорош для разработки и исследования моделей.

Ethan [00:06:23]: И часто я обнаруживаю, что — это, может, скучно, но многие улучшения приходят не из новых алгоритмов. Они приходят из нахождения мелких багов тут и там в пайплайне данных, в пайплайне обучения модели. Именно они дают самый большой буст качеству модели.

Vibhu [00:06:46]: Интересно, да? Ты говоришь, что это маленькая команда, меньше коммуникации, но при этом много качества — это поиск мелких багов. Кажется контринтуитивным, да? У тебя много людей — можно вычистить больше багов, но интересно увидеть и обратную сторону, да?

Swyx [00:07:00]: Мне ещё интересно — ты не пробовал использовать LLM для поиска багов? Не знаю.

Ethan [00:07:05]: Помню, в то время была середина две тысячи двадцать пятого, и кодинг-модели тогда были ещё не очень. Помню, в декабре две тысячи двадцать пятого они были чрезвычайно хороши. Да, я их тогда использовал. Это помогает. Иногда они выдают код, который сложно поддерживать, хотя в первый раз они что-то строят очень быстро. Но это давало такой spaghetti-код, тысячи строк, которые я не мог поддерживать, и сама LLM не могла понять, что не так и как это улучшить. Но теперь мне это кажется гораздо лучше. Да, хочу поднять ещё один момент: теперь кодинг-модели гораздо эффективнее и могут помогать нам реализовывать что-то гораздо быстрее. Compute может снова стать узким местом, потому что раньше — если ты хотел обучить новую модель, скажем, сгенерировать новые синтетические данные или написать новый алгоритм, это могло занять несколько недель. И в течение этого периода у тебя могло не быть экспериментов для запуска. Но теперь ты можешь построить эту штуку за несколько часов, и тогда сразу обучить модель.

Ethan [00:08:24]: Теперь тебе нужно иметь достаточно compute, чтобы перепробовать все идеи. Так что compute может снова стать узким местом скорости итераций.

Swyx [00:08:36]: Да, честно говоря, я думаю, это довольно стрессовая работа, потому что ты такой: «Ну, я должен пробовать всё, и если я не пробую, то плохо делаю свою работу».

Vibhu [00:08:48]: Есть ещё стресс от того, что ты съедаешь тысячи GPU в час, что очень дорого, и compute мог бы пойти другим исследователям.

Swyx [00:08:56]: У тебя есть папочка Илон, чтобы

Vibhu [00:08:57]: У тебя есть папочка Илон.

Ethan [00:08:59]: Это было

Vibhu [00:09:00]: Но всё равно есть конечный объём compute, и ты хочешь использовать его, использовать его хорошо, хочешь его больше.

Ethan [00:09:06]: Это и правда было довольно стрессово. Да, думаю, одно — с нынешними кодинг-моделями многие из этих задач можно автоматизировать, что гораздо лучше. Во-вторых, это марафон, так что нужно поддерживать хорошее здоровье и регулярный режим.

Vibhu [00:09:28]: Тяжело это слышать, когда ты переходишь от нуля к ничему за два месяца.

Swyx [00:09:32]: И, думаю, очевидно, культура в xAI очень известна тем, что люди работают очень усердно. Одно, во что я хотел углубиться — в заметках, которые ты прислал заранее, у тебя были конкретные комментарии о стоимости обучения видеогенерации. Видимо, это на Colossus-1, да? Двухсотмегаваттный кластер. Что угодно, чем хочешь поделиться об этом.

Vibhu [00:09:54]: Думаю, мы говорим о трёх вещах, да? Есть видеогенерация, есть ещё image-gen-модель, которую вы выпустили. Хочешь завершить — окей, от нуля к единице, у тебя несколько месяцев. Просто какие этапы создания image-gen-модели?

Swyx [00:10:06]: О, да, я, наверное, отвлёкся.

Как обучают image- и video-модели: синтетические подписи, токенизаторы и VAE

Vibhu [00:10:07]: Извини. А оттуда есть видеогенерация, есть аудиогенерация. Хотелось бы перейти к ним дальше. Но каковы эти первые несколько месяцев? Маленькая команда, много багов, итераций, но как это выглядит? Берём ли мы что-то готовое? Или просто берём данные и compute? Каковы эти несколько месяцев? Как ты доходишь до state-of-the-art image-gen-модели? С чего ты вообще начинаешь?

Ethan [00:10:28]: Я не могу комментировать конкретно, как делала xAI, но это довольно стандартный процесс. Могу привести примеры из Cosmos. В основном, чтобы построить видеомодель, тебе сначала нужно построить image-модель. И данные, которые нужны для обучения этих двух моделей, — это на сто процентов синтетические пары язык-изображение или язык-видео. Потому что в интернете видео на самом деле не ассоциируются с текстом естественным образом. Можно сказать: о, на YouTube есть заголовок, есть описание и комментарии

Swyx [00:11:11]: Заголовок

Ethan [00:11:11]: к видео, но обычно они не релевантны самому видео. Скажем, видео — это природная сцена с горами или что-то такое, а заголовок — «Я сегодня так счастлив».

Ethan [00:11:26]: Так что у них вообще нет корреляции. Поэтому первый шаг — нужно сгенерировать синтетические пары языка с видео. То есть ты собираешь видео из интернета и используешь VLM, чтобы делать подписи к видео. И тут возникает вопрос: как вообще получить VLM с самого начала? Если нет

Swyx [00:11:55]: Ты, то есть ты сплавляешь модель, да? Типа

Ethan [00:11:57]: Скажем, если никакой VLM не существует, то как ты вообще сгенерируешь текст в начале, да? Это невозможно.

Swyx [00:12:04]: Понятно.

Ethan [00:12:05]: В начале ты просишь человека описать видео как можно детальнее. Например, просишь описать всё: все объекты, всех персонажей, все взаимодействия и диалоги в видео. Так что в протоколе разметки Cosmos цель, которую мы давали разметчикам, была такая: ты должен описать видео настолько детально, чтобы слепой человек, услышав этот кусок текста, мог реконструировать в голове, как выглядит видео.

Swyx [00:12:43]: Видео или изображение? Ты говоришь про изображения.

Ethan [00:12:44]: Видео или изображение, любое из них.

Vibhu [00:12:47]: Это было довольно распространено, когда мы перешли от CLIP и DALL-E, да?

Vibhu [00:12:51]: Всё это — обучение на очень детальных подписях к изображениям. То же применяется к видео, но вместо

Ethan [00:12:57]: то же применяется

Vibhu [00:12:57]: использования мультимодальной модели, которой передают видео и изображения и которая пишет богатые описания, можно также

Swyx [00:13:04]: Думаю, есть этот традиционный взгляд на supervised, очень сильно курируемую человеком штуку. Мне кажется, есть прорыв с unsupervised, да? Когда у тебя достаточно, чтобы бутстрапнуть, и можно просто закинуть общий корпус или что угодно. Типа unsupervised-сопоставление зрения и языка, да? Когда у тебя просто перемежающиеся изображения и текст, и оно само учится. Для меня вот это и есть прорыв VLM, который отличается от CLIP, отличается от эпохи LM.

Ethan [00:13:36]: Интересно видеть, что тебе вроде как нужны оба типа данных.

Ethan [00:13:41]: Например, для

Swyx [00:13:41]: Тебе это нужно, чтобы бутстрапнуть. Да

Ethan [00:13:43]: для обучения генеративной модели обычно есть ещё небольшой процент неразмеченных данных. То есть модели даётся инструкция сгенерировать видео без какой-либо текстовой инструкции. Это тоже может помочь модели обобщать. После этого этапа генеративных синтетических пар один важный общий шаг — обучить компрессор или токенизатор изображений или видео. Потому что — технически, теоретически можно обучать image- или video-модели на чистых пикселях, но проблема в том, что это очень много токенов. Например, одно изображение тысяча на тысячу — это около миллиона токенов, миллиона пикселей. Обучать трансформер на этом невозможно. Так что нужно обучить токенизатор, который может идти от изображения к латентному пространству и из латентного пространства обратно к изображению.

Swyx [00:14:45]: Вот почему мы так назвали подкаст.

Swyx [00:14:48]: Но, по сути, ты говоришь о науке о словаре.

Ethan [00:14:50]: Да, словарь.

Swyx [00:14:51]: И что — что невозможно — типа миллион невозможен?

Ethan [00:14:54]: В генеративных моделях словарь непрерывный. Это непрерывное пространство. Можно представить, что ты отображаешь изображение в вектор. Это вектор фиксированной длины. Шестнадцать или сорок восемь, что-то такое. А потом ты отображаешь этот вектор обратно в пространство изображения. И отображение основано на патчах. То есть, скажем, у тебя есть

Ethan [00:15:22]: патч шестнадцать на шестнадцать, и ты сопоставляешь, отображаешь этот патч пикселей в это латентное пространство.

Swyx [00:15:29]: Мы это разбирали

Vibhu [00:15:30]: Это как vision transformers

Swyx [00:15:32]: VAE,

Ethan [00:15:33]: VAE.

Vibhu [00:15:34]: Ты по сути сжимаешь свой вход, делаешь генерацию, всю эту генерацию ты прорабатываешь в меньшей размерности, а потом проецируешь обратно наружу.

Swyx [00:15:43]: VAE — это форма компрессии, но для меня штука с патчингом — это из ViT, да?

Ethan [00:15:48]: Можно сделать и так.

Swyx [00:15:49]: Буквально, да, статья называется типа «шестнадцать на шестнадцать — это всё, что нужно». Что-то такое. И ещё, думаю, люди проводят много сравнений этого вида патчинга со свёртками.

Swyx [00:16:02]: То есть ты как бы реконструируешь старую парадигму через новую.

Ethan [00:16:05]: На самом деле в VAE есть и свёрточные сети, и трансформеры. Можно делать и так, и так.

Ethan [00:16:14]: После этого VAE то, что ты получаешь, — это токены латентного пространства и языковые токены. Теперь обучение diffusion transformer — обычно генеративные модели используют diffusion transformers — на самом деле довольно стандартное. Оно очень похоже на то, как ты обучаешь языковую трансформерную модель. Не такая уж большая разница. Просто токены — визуальные токены на вход, визуальные токены на выход. Единственное отличие — есть процесс шумоподавления. То есть ты обучаешь модель снимать часть шума. Ты добавляешь случайный шум к визуальным токенам, а потом обучаешь модель убирать этот шум, чтобы сгенерировать чистые токены. На инференсе модель может итеративно убирать шум, начиная со стопроцентного шума.

Swyx [00:17:12]: А ещё, чтобы ускорить дело на дереве технологий диффузии, есть CFG, и ещё есть latent diffusion, там — там кто-то в этом участвовал. Думаю, где-то по ходу, очевидно, stability и все эти ребята запионерили много этой архитектуры. Не знаю, хочешь ли ты в это углубиться, или, или давай к видеостороне — решай сам.

Бутстрапинг видео из image-моделей и временная компрессия

Ethan [00:17:37]: После того как ты обучаешь такую image-модель, причина, по которой она — фундамент для видеомоделей, в том, что image-модели дешевле обучать, и у них гораздо более плотная связь между языком и текстом. То есть, извини, между языком и изображениями. Например, ты обучаешь на миллиарде изображений, и есть отображение от текста к изображению. А стоимость обучить такое же — миллиард текстов на миллиард видео — гораздо выше, потому что у видео естественным образом больше токенов, чем у изображений. Потому что у диффузионных моделей их понимание языка чисто приходит из этого отображения. Так что если у тебя недостаточно отображений — если ты обучаешь только на, скажем, десяти миллионах видео, то ты можешь увидеть недостаточно языковых токенов в обучении, и твоя модель недостаточно понимает человеческое намерение. Вот почему тебе действительно нужно — ты сначала обучаешь эти image diffusion-модели, а потом бутстрапишь видеомодель оттуда.

Swyx [00:18:53]: Одно, что я хотел спросить, потому что — на самом деле, думаю, ты первый человек по видеомоделям, с которым я когда-либо говорил. Мы говорили с Luma и со всеми теми ребятами. Есть все эти трюки в видеокомпрессии, где по сути от кадра к кадру не так много различий, так что на самом деле тебе не нужно перегенерировать или сохранять весь кадр, да? Но, думаю, MP4-компрессия или что-то подобное.

Swyx [00:19:16]: Заманчиво ли использовать это? Или, насколько я могу судить, все просто относятся к этому как: «Нет, мы просто будем генерировать каждый кадр». Это примерно state-of-the-art?

Ethan [00:19:27]: Есть несколько разных подходов. Скажем, во-первых — ты хочешь просто напрямую использовать MP4-компрессию и использовать это как токены для обучения трансформеров, да? Люди на самом деле это пробовали, но главная проблема в том, что латентное пространство для MP4-токенов было не очень понятным для моделей. На этом чрезвычайно сложно обучать. И есть

Ethan [00:20:01]: Вот почему они создали VAE, которые создают более непрерывное латентное пространство, чтобы модели могли понять это латентное пространство и учиться на нём гораздо проще. Даже внутри VAE есть разная сложность латентного пространства. Можно представить себе самый простой, самый наивный VAE: у тебя есть изображение, и ты просто схлопываешь всё изображение в вектор. То есть тебе не нужно обучать никакой VAE, да? Но на таком латентном пространстве моделям чрезвычайно сложно обучаться. Вот почему есть споры о том, как сжимать токены. Ты упомянул, что можно сжимать кадр за кадром. А ещё можно сжимать временное измерение.

Ethan [00:20:52]: Разница в том, что если ты сжимаешь временное измерение, ты получаешь гораздо более высокую степень компрессии. Потому что между кадрами есть временная избыточность: этот кадр и предыдущий, скорее всего, в основном похожи, так что есть только небольшое различие. Например, в 12.1 VAE, по-моему, у них компрессия восемь на восемь на четыре. То есть четыре временных токена сжимаются в один токен. Это позволяет сэкономить много длины контекста. Если делать кадр за кадром, тебе придётся делать, может, восемь на восемь на один. Твоя длина контекста будет в четыре раза больше. При этом преимущество покадровой компрессии, мы, возможно, вернёмся к этому позже, — это работа в реальном времени и интерактивность. Потому что если ты стримишь выход модели кадр за кадром, модель может реагировать на любой запрос пользователя мгновенно. А если у тебя временная компрессия в четыре раза, то

Swyx [00:22:06]: Может быть лаг

Ethan [00:22:07]: там по природе есть лаг.

Swyx [00:22:10]: То есть ты в это сильно веришь. Давай просто перейдём к этому, раз уж у нас и так подготовлен визуал. Есть несколько фронтирных применений видеогенерации в реальном времени. Так что Flipbook — один из примеров, который недавно стал вирусным, да? Что такое Flipbook?

Генеративный UI в реальном времени: Flipbook, Neural OS и diffusion-фронтенды

Ethan [00:22:23]: Flipbook — это что-то вроде веб-браузера. Видно, что у него сверху UI веб-браузера. Разница в том, что все эти UI генерируются генеративной image-моделью в реальном времени, и всё здесь — фейк. Но ты можешь исследовать этот мир, этот воображаемый мир. Скажем, вот у нас инженерия Великой пирамиды. Модель генерирует это для нас, чтобы понять, как она работает, и если мы хотим перемещаться вокруг и понять подробнее, мы можем кликнуть на какие-то из описаний здесь, и модель сгенерирует новую страницу, новую подстраницу с деталями, которые мы хотим узнать.

Swyx [00:23:14]: То есть по сути мы как бы проигрываем видео, но оно ставится на паузу до нашего следующего взаимодействия, а потом просто проигрывает следующее на основе нашего взаимодействия.

Swyx [00:23:23]: Что довольно круто.

Vibhu [00:23:25]: И ты как бы сам выбираешь свою историю. Вот это было: как сделать пирамиду? Техника рычагов показалась интересной, да? Оно показывает, как взять — окей, я хочу узнать, что это

Swyx [00:23:35]: В демо, в демо-твите было больше анимации между кадрами.

Vibhu [00:23:38]: Думаю, оно просто пропускает,

Swyx [00:23:39]: А, оно просто пропускает много кадров.

Ethan [00:23:40]: У них ещё есть видеорежим

Vibhu [00:23:42]: Оно много берёт. Там много людей

Ethan [00:23:42]: но, много людей этим пользуются.

Ethan [00:23:45]: Так что оно недоступно.

Vibhu [00:23:46]: Есть лайв-видеопоток. Можем попробовать,

Swyx [00:23:50]: То есть это пример того будущего, которое ты видишь в крайней форме. Мы — очевидно, мы сегодня не в нём.

Swyx [00:23:56]: Но в мире, где инференс полностью бесплатен, это лучше, чем генерировать код и текст?

Ethan [00:24:02]: Это, это конечное состояние того, где будет world model, я думаю. Представь, что интернета не существует, и ты вводишь google.com. Что, что должна показать тебе модель? Модель может что-то вообразить, и вот что модель воображает. И эти веб-страницы вообще не существуют. Так что я думаю, по мере того как стоимость инференса снижается, у нас будет генеративный UI для всего. Если подумать, как работают кодинг-модели: они пишут код для веб-страницы, и рендеринг кода может быть сконвертирован в бинарник, а бинарник рендерит пиксели на экране. А мы в машинном обучении каждый раз, когда у нас прорыв, очевидно, это более интуитивно. Так почему бы нам не иметь инструкцию пользователя сразу в пиксели? То есть генеративный UI будет от намерения пользователя сразу в пиксели. И скажем, даже если я хочу email — допустим, у всех один и тот же интерфейс, но я хочу его слегка другим. Я хочу, чтобы email показывался мне как TikTok, чтобы я мог свайпать письма влево и вправо. Или, может, ты хочешь чего-то ещё. У нас могут быть совершенно разные штуки. Или, скажем, я смотрю Instagram stories и мне не нравится кнопка «Нравится». Я всё время могу случайно её нажать. И генеративный UI это решает. Так что это будет революционная замена интерфейса. То есть в будущем у нас могут быть гораздо более мощные

Ethan [00:25:50]: LLM и кодинг-модели, работающие за кулисами. А на фронтенде diffusion-модель будет фактически фронтендом, который показывает тебе всё. Вот как я это себе представляю.

Swyx [00:26:02]: Diffusion-фронтенд, детерминированный бэкенд.

Swyx [00:26:04]: Что-то в этом роде. Мне это кажется очень дорогим, но,

Vibhu [00:26:08]: Мне интересно, что ты назвал LLM, пишущие код на бэкенде, детерминированными, но окей.

Swyx [00:26:14]: Ты пишешь это один раз

Vibhu [00:26:15]: Сравни это с

Swyx [00:26:16]: А потом выполняешь.

Ethan [00:26:17]: Если подумать о стоимости — скажем, H100 стоит $1 в час, и если ты используешь это восемь часов в день и тридцать дней, то каждый месяц ты платишь эти двести сорок, на самом деле ты не захочешь за это платить. Это даже дороже, чем Claude Code Max. Но если подумать, что стоимость compute снижается примерно в два раза каждый год, я думаю, это будущее, скорее всего, наступит в течение нескольких лет.

Vibhu [00:26:49]: Это всё вместе, да? Стоимость compute снижается, compute становится быстрее, модель становится умнее

Ethan [00:26:54]: Эффективнее

Vibhu [00:26:54]: модель становится меньше.

Swyx [00:26:55]: Не знаю, почему ты говоришь в два раза, потому что, по-моему, это типа в 100 раз. В языковых моделях это примерно от ста до тысячи раз каждые двенадцать-восемнадцать месяцев при одном и том же уровне LMSys ELO.

Vibhu [00:27:08]: Это с учётом всего вместе, да? Это производительность модели вместе с compute. Так что иначе, чем просто снижение стоимости compute. Но очень интересное будущее.

Swyx [00:27:19]: Так что веб-дизайнерам придётся прокричать, что доступность — это проблема, да? Как ты справляешься со скринридерами или чем-то таким. Но да, это сторителлинг более высокой пропускной способности, чем что угодно, что ты можешь сгенерировать кодом, да? Так что, думаю, это примерно идея.

Ethan [00:27:34]: И я бы немного добавил: человек естественным образом имеет максимальную пропускную способность, когда смотрит на вещи, смотрит видео, и у нас также максимальная выходная пропускная способность, когда мы говорим. Так что в будущем это может быть что-то вроде: мы говорим с AI-моделями, а AI-модель отвечает генеративным UI. Это была бы максимальная входная и выходная пропускная способность для взаимодействия с AI-моделями, пока не появится Neuralink.

Vibhu [00:28:06]: И это ещё очень кастомно, да? Некоторые люди очень визуальны, некоторые не настолько визуальны, да? Они предпочитают текст. Но самое лучшее в генеративном UI, да, — он может быть и текстом.

Swyx [00:28:17]: Есть ещё один проект, который мы хотели подсветить, — Neural OS. Похожая идея, но здесь ты буквально оперируешь, симулируешь операционную систему с помощью видеомодели.

Swyx [00:28:27]: И можно играть в Doom, можно делать Firefox. Мне это кажется чуть менее впечатляющим, очевидно, потому что это ОС, которую я могу запустить.

Swyx [00:28:37]: Но здесь всё вымышлено.

Vibhu [00:28:40]: Я по привычке нажал Command+W, чтобы закрыть вкладку Firefox. Оно не упало. Вот почему я сказал

Swyx [00:28:45]: Это слишком иммерсивно.

Vibhu [00:28:46]: Это, это слишком иммерсивно для меня.

Swyx [00:28:47]: Слишком иммерсивно.

Vibhu [00:28:48]: Я хотел закрыть вкладку.

Vibhu [00:28:49]: Но да, я могу играть в сгенерированную диффузию.

Swyx [00:28:51]: Это шокирующе быстро.

Swyx [00:28:54]: Потому что помню, было демо, может, год-два назад. Кто-то пытался сделать шутер от первого лица с image-моделью. Не было никакой консистентности. Было очень медленно. А тут выглядит реалистично — это Doom.

Vibhu [00:29:07]: Думаю, тут две стороны, да? Окей, что значит запускать игру? Тяжёлая её часть — это на самом деле игровой движок, всё освещение, вся эта графика. А это просто что-то вроде видео, да? Типа, мы решили консистентность. Это всё ещё выглядит как генерация изображений несколько лет назад. Есть некоторая временная консистентность, но это по сути просто изображения, сшитые вместе как кадровое видео. Но это хорошее визуальное представление, чтобы вообразить будущее, которое хочешь увидеть, да? Вот что я вижу в этих штуках больше всего.

Ethan [00:29:38]: Это напоминает мне о том, как видеомодели становятся всё лучше и лучше. Neural OS — если просто посмотреть, ощущается как просто кривая версия Windows, которые у нас могли бы быть, да? Но разница в том, что эта модель переобучена на существующих операционных системах. Она не может сгенерировать ничего, отличного от этого. Но на самом деле это тоже похоже на видеомодели. Когда мы обучаем эти видеомодели, image-модели, мы обучаем их на интернете. В интернете нет воображаемых сверхъестественных штук. Но как только мы обучили эту модель, ты можешь подсказать модели сгенерировать что-то сверхъестественное, чего никогда не существовало в датасете. Так что если ты обучишь свой Neural OS или нейрокомпьютер на стандартных записях экрана со всего интернета, модель может вообразить совершенно новый интерфейс для взаимодействия с компьютером.

Swyx [00:30:43]: Это одна из тех вещей, что для меня магическая. Обычно обобщение за пределы распределения — это плохо, но каким-то образом мы выучили какую-то внутреннюю world model, так что ты говоришь: вот это плюс, но пусть выглядит как радуги и бабочки, и оно это сделает, и это будет вроде как иметь смысл.

Swyx [00:31:03]: Так что да, это вроде как круто. Да, не знаю, есть ли ещё какой комментарий. Я хотел чуть больше затронуть штуку про архитектуру модели, в которую ты, по-моему, заходил. Это реально завораживает. У нас не так часто бывает возможность об этом поговорить. Одна из статей, которую мы разбирали, — мы разбирали каждый ежегодный релиз Segment Anything. И не знаю, следишь ли ты — ты же computer-vision-человек, так что ты

Ethan [00:31:26]: Я знаю

Swyx [00:31:27]: Они сделали memory attention, что довольно интересно. И я всегда думаю: всё, где можно по временному измерению сохранять какую-то консистентность, мне кажется очень завораживающим, и не знаю, по сути — разве сторона CV, перетекающая в сторону видеогенерации, не недоисследована, да? Мы говорим о ней для разметки, но на самом деле можно заимствовать саму архитектуру.

Ethan [00:31:50]: Есть, есть и совершенно другие подходы, да? Ты поднял термин world model, так что мы перешли от видеомодели к world model. Есть диффузия, но есть и другие подходы, которые люди делают. Так что, может, в них тоже потом углубимся?

Swyx [00:32:03]: У него есть целое определение world models и всё такое. Чувствую, мы много на тебя вывалили. Комментируй, что хочешь.

Почему видеомодели дороги: хранение, I/O и масштаб обучения

Ethan [00:32:10]: Думаю, одно, к чему стоит вернуться, — окей, мы говорили о шагах обучения от image-gen к видеомодели. Одно, что мы видим не так часто, — окей, ты поднял дельту в обучающих данных, да? Так что

Ethan [00:32:24]: у тебя не будет так много — видеомодель может плохо обобщать, но какова стоимость обучения большой видеомодели? Для LLM мы примерно знаем, даже вот poolside-штука, что вышла сегодня, да? Это модель уровня Gemma, обученная примерно на сорока триллионах токенов на стольких-то H200 за столько-то времени, да? Видно точную стоимость этого. Сколько GPU-часов, сколько стоят H200. Как нам посчитать с конца то же самое для видеомоделей, image-моделей? Как это разложить? Могу поделиться прикидкой на коленке. На удивление, видеомодели — стоимость очень сопоставима с языковыми моделями, и очевидно, самый большой масштаб — у языковых моделей, может, у среднемасштабных языковых моделей. Я бы сказал, просто хранить видео само по себе стоит дорого. Можно посмотреть на AWS или где-то.

Ethan [00:33:20]: Правда — скажем, если у тебя миллиард видео, и допустим, каждое видео, скажем, пять мегабайт, то тебе нужно пять петабайт просто чтобы хранить эти видео. И ещё помни, мы говорили, что ты используешь VAE для сжатия видео, и тебе также нужно хранить — обычно нужно хранить эти непрерывные фичи в хранилище. Это тоже сопоставимо по размеру с самими видео. Так что просто хранение этих видео и фич — это десятки петабайт сами по себе. И,

Swyx [00:33:58]: Я, я как раз посмотрел расчёт. Пять петабайт на S3 Standard — это сто тысяч в месяц.

Ethan [00:34:05]: И

Swyx [00:34:05]: Это сопоставимо

Ethan [00:34:05]: и тебе нужно

Swyx [00:34:06]: И

Ethan [00:34:06]: А потом десятки петабайт — двести тысяч. И ещё дороже — у тебя есть ingress и egress.

Swyx [00:34:13]: О, да.

Ethan [00:34:14]: Типа — через интернет. Тебе нужно просто скачать эти видео, и я думаю, на AWS это дороже, чем просто хранить эти видео.

Swyx [00:34:25]: Хранить, да.

Ethan [00:34:25]: И на каждый обучающий прогон тебе, наверное, нужно их вытянуть один раз. Если ты обучаешь несколько раз, то это ещё больше. Так что только хранение, сеть — эти затраты, это будет несколько миллионов в месяц, просто чтобы всё хранить, не говоря уже о стоимости GPU.

Ethan [00:34:45]: И

Swyx [00:34:45]: Моё побочное отступление: аренда compute, аренда GPU очень эффективна. С одной стороны, окей, ты можешь быть xAI и построить свой дата-центр. А не стоит ли нам построить ещё и своё хранилище-compute? Типа

Ethan [00:34:57]: Конечно

Swyx [00:34:57]: облачные затраты по сравнению с просто,

Ethan [00:34:59]: Ты экономишь так много

Swyx [00:35:00]: хранением. Да, именно.

Swyx [00:35:01]: Особенно с egress и всем таким. Так что.

Ethan [00:35:04]: Это хорошая идея, но тут есть и свои сложности.

Swyx [00:35:09]: Конечно, конечно.

Ethan [00:35:10]: Например, люди, которые строят GPU-дата-центры, могут не ожидать такого объёма хранилища. И да, люди строят хранилище, обычно они просто строят его где-то с одними CPU.

Swyx [00:35:23]: Я только что посмотрел. Пять — AWS берёт плату только за egress, не за ingress. Tier five для пяти петабайт — это двести тридцать тысяч.

Ethan [00:35:32]: Даже дороже, чем хранение.

Swyx [00:35:34]: Но хранение — за месяц, да? Ты заезжаешь, а выехать не можешь. Так что это так круто. Окей. Так вот есть эта сторона.

Ethan [00:35:41]: Так что, TL;DR, моя прикидка на коленке

Swyx [00:35:42]: Данных больше, чем ты думаешь. Да.

Ethan [00:35:44]: моя прикидка GPU-часов на стоимость GPU — тоже очень много, я упускаю часть хранения.

Swyx [00:35:49]: Ты также — ты по сути ещё и более IO-bound, чем при обычном обучении.

Swyx [00:35:55]: Да. Потому что загрузка данных, кэширование всего — становится сверхважно.

Ethan [00:36:00]: В Cosmos мы сделали много оптимизаций, чтобы оно не было IO-bound. Так что, говоря об обучении — само обучение модели, стоимость GPU, если посмотреть на открытые модели, насколько большие эти видеомодели — по-моему, у LTX девятнадцать миллиардов параметров. Это dense-модель. И люди также исследуют MoE, так что может быть двадцать миллиардов активных и типа сотни миллиардов в сумме. Так что это даже — это размер среднего LLM. И если посмотреть на число токенов — мы раскрыли это в Cosmos. Это тоже десятки триллионов токенов на визуальных токенах. Так что, складывая всё вместе, стоимость обучения этих видеомоделей на самом деле сопоставима с LLM. Не говоря уже о том, что инфраструктура немного отличается от LLM, так что обучать эти модели может быть менее эффективно.

Ускорение инференса: дистилляция шагов, consistency-модели и GAN

Swyx [00:37:04]: А получаешь ли ты выгоды от традиционного ускорения диффузии? Для изображений есть LCM, LoRA для дообучения. Есть много всего, что

Ethan [00:37:15]: Flow matching.

Swyx [00:37:16]: есть flow matching. Много всего сделано. Есть какое-то пересечение, что применяется к диффузии на стороне инференса и всё такое, или?

Ethan [00:37:23]: Разница — сторона инференса — это совершенно другая история.

Ethan [00:37:28]: Думаю, на стороне обучения снизить эту стоимость может быть немного сложно. А на стороне инференса самый большой выигрыш — от дистилляции этих моделей. Это называется дистилляция шагов, немного отличается от дистилляции знаний в LLM. Обычно для flow-matching-моделей тебе нужно около 100 шагов или вроде того. Diffusion-модели нужно даже больше, типа 1000 шагов, чтобы сгенерировать хорошее изображение или видео. Дистилляция шагов — это попытка научиться генерировать за меньшее число шагов из самой модели. Это как — сейчас ты используешь полную модель, чтобы генерировать за 100 шагов, а потом берёшь модель, которая генерирует только за 10 шагов, и даёшь этой модели учиться у идеальной.

Ethan [00:38:25]: почему это работает

Swyx [00:38:27]: Похоже на strong-to-weak.

Ethan [00:38:28]: Да. Это вроде

Swyx [00:38:29]: Дистилляция

Ethan [00:38:29]: как strong-to-weak. С точки зрения моделирования сильная модель, модель-учитель пытается смоделировать изображения и видео интернета, а это распределение чрезвычайно сложное. Но модель с дистилляцией шагов просто пытается учиться у учителя. Учитель — это модель, и её размер фиксирован, так что распределение гораздо проще, чем весь интернет. Вот интуиция, которая у меня есть, почему дистилляция шагов может работать. Обычно эти модели, когда их разворачивают в продакшене, работают всего за несколько шагов. В Cosmos, по-моему, у нас были четыре шага и восемь шагов. Если делать более простую задачу, image-to-image-трансляцию, оно может работать даже за меньшее число шагов, типа один шаг в Cosmos Transfer.

Swyx [00:39:22]: Думаю, это та же интуиция, что направляет многие работы по consistency-моделям. Я скидывал тебе ссылку на sCM. Не знаю, разбирал ли ты её. Для меня это была одна из самых впечатляющих статей, что я видел от OpenAI.

Swyx [00:39:34]: Что это объединяющая великая концепция consistency-моделей. Не знаю, есть ли у тебя какие комментарии.

Ethan [00:39:41]: Есть, есть несколько разных подходов,

Swyx [00:39:46]: О, да. Вот оно.

Swyx [00:39:47]: Два шага против двадцати или 100 шагов, неважно. Уже готово.

Ethan [00:39:52]: Есть, есть несколько разных подходов, например, consistency-модель, и есть ещё — на самом деле не стоит забывать про GAN. GAN, на самом деле, был OG

Swyx [00:40:05]: OG

Ethan [00:40:05]: дистилляции шагов, потому что он с самого начала обучался всего на один шаг. На самом деле много — например, есть distribution matching distillation, который использует GAN как один из лоссов для дистилляции. GAN просто говорит тебе: «Эй, сгенерируй изображение», и потом

Ethan [00:40:31]: у него есть дискриминатор, чтобы сказать, реально ли это изображение или нет. Так что модели нужно выучить только одно из распределения, а не всё распределение. Потому что при обучении модель просят реконструировать ground-truth-изображение из интернета, что чрезвычайно сложно. А когда ты обучаешь GAN, это пошаговый процесс. Это просто: «Эй, ты генерируешь изображение. Выглядит ли это изображение настолько же реальным, как изображение из интернета?» Что гораздо более простая задача. И да, комбинируя много этих подходов вместе, люди обычно так и делают, типа consistency-модель, и distribution matching, и GAN, и мы можем получить эти few-step-модели.

Аудио-видео генерация и временное выравнивание

Swyx [00:41:21]: Ещё один шаг, который я хотел добавить, — это аудио и видео.

Ethan [00:41:26]: Так вот, Grok Imagine ноль точка девять, по-моему, это первая аудио-видео модель, развёрнутая в большом масштабе. Так что

Swyx [00:41:39]: И это была твоя первая модель?

Ethan [00:41:40]: это была первая модель Grok Imagine. Это аудио-видео, совместная генерация. Думаю, сложная часть — выравнивание модальностей, потому что до этой модели у нас было выравнивание текст-видео. У нас есть это соответствие между текстом и видео. Обычно большинство VLM понимают изображения и видео. Видео — очень редко, и аудио они в основном не понимают. А если посмотреть на генерацию аудио на стороне LLM, можно прекрасно с ними поговорить, но если попросить спеть песню или что-то такое, это обычно не очень хорошо. И ещё у них нет музыки. Сложная часть в том, что — на самом деле у аудио две компоненты. Есть дискретная компонента и непрерывная компонента. Дискретная компонента — это как язык.

Ethan [00:42:44]: Когда мы говорим, это просто некоторые

Swyx [00:42:47]: Это вопрос ASR, да.

Ethan [00:42:49]: Это, это текстовые токены с некоторыми характеристиками, я бы сказал.

Ethan [00:42:54]: Но музыка

Swyx [00:42:56]: Думаю, ребята из speech с этим не согласятся.

Swyx [00:42:57]: Типа дисфлюэнции и потом,

Vibhu [00:43:00]: Есть тона, можно разозлиться.

Ethan [00:43:01]: Ну, я говорю в основном.

Ethan [00:43:03]: Но музыка совершенно другая. Она очень непрерывная, и её нельзя моделировать как дискретные токены в языковых моделях. Вот в чём сложная часть для моделей, не говоря уже о том, что нам нужно выровнять текст, видео и аудио вместе.

Ethan [00:43:26]: Так что

Vibhu [00:43:26]: Как?

Ethan [00:43:28]: Так что значимые — некоторые значимые сложности типа — мы говорили, что VLM не могут понимать, большинство из них не могут понимать аудио.

Ethan [00:43:39]: Так что тебе нужен какой-то способ генерации синтетических данных для аудио. Тебе нужно делать подписи моделью, а это требует — это требует много усилий по синтетическим данным и человеческим данным. И не просто, на удивление, большинство LLM очень плохо распознают, типа, бит, тон и детали музыки. Они могут дать какое-то общее предсказание, что это за песня, но очень сложно описать детали музыки. Как мы упоминали в генерации изображений: нужно описать изображение как можно детальнее, чтобы кто-то слепой мог это реконструировать. Так что здесь это как кто-то

Vibhu [00:44:32]: Глухой

Ethan [00:44:32]: кто-то глухой мог реконструировать, как звучит музыка, фактически её не слушая. Может, можно думать об этом как о — или они называют это партитурой.

Vibhu [00:44:49]: Субтитры, да.

Ethan [00:44:49]: Нужно иметь все детали музыки и диалога.

Vibhu [00:44:55]: То есть сложность там обычно в таких вещах, как музыка и аудио, или просто — типа, есть ли базовая линия? Окей, есть достаточно данных, где мы можем понять нарратив, разговор, но есть нюансы в аудио — вот где ты упираешься во все проблемы с данными, или это просто с нулевой стадии, ты просто делаешь всё с нуля?

Ethan [00:45:15]: Так что одна важная вещь — это выравнивание. То есть модель должна знать, что видео и аудио — она должна иметь выравнивание по времени, типа на каком временном шаге видео- и аудио-токен соответствуют друг другу. Но на самом деле у нас нет такого выравнивания для большинства других модальностей. Если подумать про текст и изображение, текст и видео — они слабо выровнены. Можно иметь описание того, что происходит в видео, но не обязательно точно, обычно у тебя нет точного описания, о, на временном шаге одна секунда что произошло?

Vibhu [00:46:02]: Это очень

Ethan [00:46:03]: На временном шаге две секунды что произошло

Vibhu [00:46:03]: грубо. Да.

Swyx [00:46:05]: Так какой был идеальный временной шаг? Тебе пришлось это аблировать, и потом получается типа четыре секунды или вроде того.

Ethan [00:46:09]: Это сводится к тому, как ты проектируешь модель, чтобы модель осознавала время как модальность. То есть модель типа осознаёт время. И это нечто довольно уникальное, если подумать про LLM. Если попросить LLM выполнить задачу, скажем, ты просишь, и она говорит: «О, эта задача, наверное, займёт двенадцать часов», а возвращается через час. Говорит: «Я уже потратила два дня на это и исчерпала всё».

Ethan [00:46:47]: Так что у самих LLM нет чувства времени.

Vibhu [00:46:53]: Я на самом деле не думаю, что это просто отсутствие чувства времени. Думаю, это в какой-то мере обосновано, да?

Vibhu [00:46:58]: Типа ты говоришь кому-то: «Окей, поработай над этой фичей. Реализуй это» — есть общее понимание, которое у тебя было бы, сколько это займёт без LLM, работающих на скорости LLM, да? Так что вспомни два года назад: если я попрошу тебя построить новый фронтенд для Latent Space, со строкой поиска, со всем этим — ты прикинешь, что это займёт несколько дней, да?

Vibhu [00:47:19]: Так что ты говоришь LLM: «Построй это». Это займёт у меня несколько дней. Но думаю, это в какой-то мере обосновано, а не то что у них нет лучшего — не говорю, что у них отличное понимание, но думаю, на этом примере видно, откуда это берётся, да? Ты обучен на всём этом тексте.

Swyx [00:47:35]: Они, они пытаются оценить, что сказал бы человек.

Vibhu [00:47:37]: потому что это то, что, это то, что данные примерно представляют. Это не они

Ethan [00:47:41]: Это пришло из корпуса в интернете. У людей есть оценка, сколько времени.

Vibhu [00:47:45]: И даже не просто в прямых обучающих примерах, да? Просто твоё понимание мира из токенов о том, сколько что занимает, да? Сходи прочитай книгу. Это займёт у тебя какое-то время, да?

Vibhu [00:47:56]: Даже если ты не делаешь ничего, кроме чтения книги, это занимает несколько дней. Так что да, LLM, я прочитал, заняло несколько часов.

Vibhu [00:48:01]: У меня уйдёт несколько часов, чтобы пройти это исследование. Но это отступление.

Swyx [00:48:05]: В какой-то мере, да.

Swyx [00:48:06]: Это ход мысли, который я до сих пор по-настоящему не выражал: по сути полная world model должна быть ещё и рекурсивной, в смысле, что участник world model тоже должен осознавать, что у него есть world model. Что вроде как вся эта рекурсивная штука дальше по цепочке. Но да, и что world model может быть неправа, и что им нужно её обновлять, и так далее. Да. Мы это тоже доказывали в рассылке, что нужны как бы рекурсивные или состязательные world models.

World Models: видео в реальном времени, с длинным горизонтом, интерактивное

Vibhu [00:48:34]: Просто чтобы спросить: как ты определяешь world model?

Swyx [00:48:38]: О, да, давай туда.

Ethan [00:48:40]: Так что

Vibhu [00:48:40]: Просто для контекста, мы говорили о видеогенерации, и потом есть — если ты говоришь, что есть различие между world models, какое твоё определение? Как ты видишь эти два?

Ethan [00:48:53]: Так что дисклеймер: я не собираюсь спорить, что такое world model. Да. Есть много определений, так что я просто расскажу о своём определении. Поскольку я пришёл из мультимодального домена, говорю в основном из видео. Так что world model — это интерактивное видео в реальном времени с длинным горизонтом. Здесь три части. Давай разберём их по одной. Интерактивность — давай просто посмотрим на Facebook и нейрокомпьютер. Часть про интерактивность: world model позволяет тебе взаимодействовать с ними через клавиатуру, мышь и, может, ещё голос. Всё это — модальность. Ты можешь взаимодействовать с моделью, и модель должна реагировать разумно. Вторая часть — реальное время. Как только ты, скажем, двигаешь мышью, если, скажем, world model генерирует игру — как быстро игра может отреагировать? Если ты типа профессиональный игрок в CS:GO — скажешь, о, нужно реагировать — он новичок — за менее чем десять миллисекунд или — да, даже меньше. Так что это не большинство — нет, шестьдесят FPS. Погнали. О, триста FPS. О, пятьсот FPS. Стоп. Окей, да. Э-э, да, триста FPS, это три миллисекунды. Так что нужно реагировать — о, чёрт. Окей. Да

Ethan [00:50:29]: в течение миллисекунды. Большинство видеомоделей не могут так. Да. Но если, скажем, у тебя видеомодель типа цифрового человека, время отклика может быть более щедрым. Может, обычно для голосового взаимодействия в реальном времени это около двухсот миллисекунд. Так что это гораздо более щедро. Но даже двести миллисекунд довольно сложно, потому что помни, мы упоминали

Ethan [00:51:01]: у тебя есть эта временная компрессия из VAE. Так что если ты не сжимаешь временное измерение, твоя длина последовательности взорвётся. Так что если ты хочешь иметь эту работу в реальном времени в своей модели, тебе нужно решить проблему контекста. И третья часть — длинный горизонт, потому что мы — если ты собираешься играть с видеоиграми не просто несколько секунд, большинство видеомоделей — всего несколько секунд. Мы собираемся играть минутами, часами. Модель должна уметь генерировать длинный контент.

Ethan [00:51:42]: Так что, складывая эти три вместе, это интерактивное видео в реальном времени с длинным горизонтом. Думаю, конечным состоянием будет, например, видеоверсия Flipbook, где ты можешь взаимодействовать с нейрокомпьютером. Ты двигаешь мышью, кликаешь на генеративный интерфейс, и он ответит тебе через пиксели, генерируя в реальном времени. Но дойти туда — это очень долгий путь. Так что один из первых шагов в Grok Imagine, где я возглавлял небольшую команду world model, был построить видеорасширение. Видеорасширение — это первый шаг интерактивности. Да. Это первый шаг. Да. Это первый шаг — у тебя оно здесь есть, видеоредактирование, да. Да. Да. Так что первый шаг, потому что это открывает видео с длинным горизонтом. Обычно для большинства моделей видеогенерации ты даёшь ей промпт или изображение как начальный кадр. Генерируешь видео — вот и всё. Это просто один раз, готово. И некоторые креаторы пытаются использовать последний кадр как первый кадр для второго видео. Иногда это работает, но если сделать так несколько раз, качество падает. У неё нет этого контекста — да, по всему видео, так что временной — да, именно. Да, потому что ты дал ей только последний кадр, конечно, да? Да. Именно. И — на самом деле это довольно забавный хак. Если ты видел типа — о, нет, он говорит что-то получше. Да. И, например, Veo, по-моему, у Veo 3 есть типа секундный контекст последнего видео. Это чуть лучше, чем использовать последний кадр, но у него та же проблема — похожая проблема, что качество падает. Если расширить несколько раз до одной минуты, качество видео будет выглядеть гораздо хуже, чем первое видео. Во-вторых, ещё проблема в том, что у модели нет дальнего знания о том, что происходило раньше. Скажем, если они генерируют какой-то диалог, два человека говорят, и их голос может измениться со временем, особенно если вторая обусловленность не покрывает предыдущий контекст. Так что это ключевые сложности. Так что у видеорасширения Grok Imagine есть исторический контекст всех ранее сгенерированных видео. У него есть контекст того, кто говорит и какие объекты появлялись, и всё это, чтобы сгенерировать следующее видео. Так что если делать это наивно, можно представить — просто закинуть все токены предыдущей истории видео в контекст. Длина контекста легко взорвётся. Особенно для видеомоделей это может быть типа несколько миллионов контекста, я бы представил — длина контекста. Да. Да.

Swyx [00:54:58]: Давай побежим с этим.

Ethan [00:54:59]: Например, в Cosmos, по-моему, всего пять секунд видео — это типа пятьдесят или шестьдесят тысяч токенов. Так что если сделать пятьдесят секунд, это пятьсот тысяч токенов. Если делать дольше, легко взорвётся. Эта проблема длинного горизонта была первым шагом, который мы пытались решить в world model. Оказалось, что люди — да, люди любят видеорасширение. Типа очень много креаторов любят использовать видеорасширение, чтобы создавать видео в более длинной форме. Эта часть мне нравится, что у тебя есть промежуточный шаг к конечной цели, а не просто прямой выстрел в финальную версию.

Swyx [00:55:48]: Но я вижу, что у тебя сильное видение того, где мы хотим оказаться.

Длинный контекст, избыточность и эффективное интерактивное видео

Vibhu [00:55:51]: Кажется ли это проблемой эффективности? Окей, мы на контексте в несколько миллионов токенов. Если провести параллель с языковыми моделями: у нас был очень короткий контекст, две тысячи, восемь тысяч, потом масштабировали до одного миллиона, десяти миллионов. Конечно, есть эффективный контекст, но в конце концов — чего оно стоит? Конечно, есть вся сторона обучающих данных. В видео может быть чуть проще, потому что у нас есть видео на сто миллионов токенов, да? Просто возьми фильм с полным контекстом там. Это вопрос эффективности с точки зрения инференса, что типа дорого, но мы знаем, как это решить? Или почему это не подход? Мой более широкий поинт был о твоём втором пункте про world models: ты говоришь, что оно должно быть интерактивным и живым, да? Ты должен мочь играть в игру и видеть взаимодействие вживую. Так что одна вещь, которую я вижу в исследованиях: то, что ты реально подаёшь в проде, часто отличается от того, что ты строишь, да? Мы говорили о дистилляции. Ты обучаешь большую модель, дистиллируешь её, делаешь квантизацию, спекулятивное декодирование. Мы делаем всё это, чтобы подавать эффективно. Не стоит ли нам просто иметь решение, типа world model, которая хорошо взаимодействует, делать оптимизацию инференса, подавать её, дистиллировать вторично, чтобы сделать её работающей в реальном времени после того, как ты её решил? Ещё одна параллель — скажем, continual learning, да? Что нам нужно — чтобы кто-то это решил и показал, что оно работает, пусть неэффективно. Дай несколько лет, люди сделают это эффективным. То же самое с обычным attention, да? Оно сработало. За несколько лет у людей появились разные формы attention, и мы отмасштабировали его, чтобы оно было эффективным на длинном контексте, да? Так что тут как бы две вещи, да? Одна — кажется, оно работает. Ты его отмасштабировал. Не можем ли мы просто масштабировать его гораздо эффективнее со временем? Нужен ли нам отдельный подход, если этот работает? И то же самое с интерактивностью, да? Если мы можем это сделать — если мы можем как-то решить, чтобы оно работало, мы можем решить, как сделать его более эффективным с точки зрения инференса, позже.

Ethan [00:57:53]: Это на самом деле очень хороший поинт. В видео на самом деле много избыточностей. Мы решаем много пиксельной избыточности через VAE, но есть больше избыточности в видео на дальней дистанции и с длинным горизонтом. Скажем, если персонаж появляется в первом клипе, а потом исчезает и появляется снова только в конце видео, тебе, наверное, не нужен этот контекст в середине генерации. То есть тебе нужен этот персонаж только там, где он нужен. Вот почему я помог построить ещё одну функцию. Это reference-видео.

Vibhu [00:58:36]: Оно здесь?

Swyx [00:58:36]: это тот же релиз модели или другой?

Ethan [00:58:39]: Это другой.

Ethan [00:58:41]: Тебе, наверное, надо поискать в

Swyx [00:58:43]: Я найду

Ethan [00:58:43]: X reference to video.

Ethan [00:58:46]: Так что reference-видео позволяет тебе загрузить до семи изображений как обусловленность и сгенерировать видео. Скажем, если я хочу — это могут быть персонажи, или объекты, или даже сцены. Скажем, я хочу обусловить на селфи Sean'а, держащего клинок

Swyx [00:59:07]: У нас есть собака

Ethan [00:59:08]: или что угодно.

Swyx [00:59:08]: Мы поместим собаку в эту штуку.

Ethan [00:59:09]: ты можешь поместить их туда, и видеомодели сгенерируют видео и скопируют контекст. Так что это может решить много проблем там, типа проблемы длинного контекста. Ему не нужен очень длинный контекст, но это — я чувствую, что это промежуточное решение. Модель

Swyx [00:59:29]: Это читерство.

Ethan [00:59:30]: модель должна уметь избирательно знать, откуда брать референсы. Скажем, если я хочу сгенерировать фильм, я генерирую авторегрессивно, типа по десять секунд за раз. И вот появляется этот персонаж — я могу оглянуться туда, где он впервые появился, и вернуть это. Да, вот это, я поместил референсы. Да, это Optimus, Einstein, я сам, Annie.

Vibhu [01:00:02]: Как ни странно, я использовал Grok Search, чтобы это найти, и он вытащил твой пост в LinkedIn. Но да, мы нашли.

Ethan [01:00:08]: Интересно.

Vibhu [01:00:10]: Но

Недооценённые работы xAI, культура и водяные знаки

Swyx [01:00:11]: это проблема. Это не твоя вина, но xAI не очень хорошо коммуницирует всю эту работу, которую ты делаешь, потому что у них просто релиз модели — и всё. Но на самом деле эти детали очень хороши.

Swyx [01:00:22]: Насколько я понимаю, всё, что ты только что описал, — это state-of-the-art, типа никто другой этого не делал.

Vibhu [01:00:30]: Много — да, у меня гораздо больше

Swyx [01:00:32]: И потом, и потом ты просто выкладываешь этот блог-пост с печеньками. Я — этого недостаточно, да?

Swyx [01:00:37]: но я, очевидно, это высокоуровневые цифры, которые люди хотят знать. Но нет, окей, так что

Vibhu [01:00:42]: И я думаю, отчасти это ещё то, что некоторые лаборатории не делятся исследованиями о том, что происходит. И если

Swyx [01:00:50]: Нет, но это буквально хвастовство тем, насколько они хороши, да?

Swyx [01:00:54]: Типа, почему бы не сказать, что вы способны расширять с полным контекстом? Это не секретный соус. Это типа — мы сделали работу. Да, не знаю.

Ethan [01:01:02]: у разных лабораторий немного разные стили коммуникации.

Swyx [01:01:07]: В общем, если кто-то из xAI слушает — мы всегда рады помочь вам рассказать вашу историю. Да, окей, так что ты сделал референсы, и думаю, поинт, который ты делаешь, в том, что это вроде как костыль, да? Это — ты можешь сделать семь, но как насчёт 100?

Swyx [01:01:23]: Да? Тогда тебе нужно что-то совершенно другое.

Ethan [01:01:26]: Так что думаю, это механизм, чтобы выбирать контекст из истории, и ты можешь не помещать всю историю в контекст. Например, есть статья под названием Frame Pack, в которой

Ethan [01:01:41]: есть эвристика, что самую свежую историю, последнюю секунду, я помещаю целиком, а историю до этого я сжимаю и делаю видео меньше. Так что они следуют этому паттерну, этому общему паттерну, что максимальная длина последовательности фиксирована. Так что чем дальше ты от текущего кадра, тем меньше изображение. Это просто эвристика. Думаю, это может быть более автоматическим. Модель осознаёт, какую часть истории можно выбрать. Так что эта часть исследований на самом деле активно прорабатывается многими людьми. Это тоже довольно интересно. Чувствую, что эта часть про длинный контекст немного опережает LLM-часть.

Ethan [01:02:31]: Например, в LLM, если — так что контекст продолжает расти. Скажем, если ты вызываешь инструмент, и история вызовов инструмента чрезвычайно длинная, она всё ещё в контексте и продолжает расти, расти. Даже если ты переключаешь тему на что-то другое, весь контекст там. Есть некоторые agentic-харнессы, которые помогают тебе, скажем, обрезать результаты инструментов и обрезать — когда ты запрашиваешь файл, показывать только верхние 200 строк или вроде того. Это всё было очень эвристическим.

Swyx [01:03:08]: Для слушателей: мы сделали разбор утечки Claude Code, где есть восемь разных видов обрезки, включая обрезку результатов инструментов и всё такое. Так что можно почитать об этом.

Ethan [01:03:17]: Думаю, один прорыв в continual learning может быть как способ автоматически управлять собственным контекстом.

Swyx [01:03:27]: Это всё эвристики, и они будут заменены машинным обучением.

Ethan [01:03:30]: Интересно

Vibhu [01:03:32]: Это

Ethan [01:03:32]: то же самое исследуется и в LLM, и в видеомоделях.

Vibhu [01:03:36]: Интересно ещё то, что в статье, которую ты показал, это на самом деле происходит на уровне модели, да? По сравнению с языковыми моделями — конечно, у нас есть базовый attention, но мы делаем свою компрессию, делаем свою обрезку, что отдельно от ошибки модели.

Vibhu [01:03:49]: В итоге всё это просто вваривается внутрь, надеюсь.

Swyx [01:03:52]: Думаю, это форма attention, но и как бы reasoning-attention. Чувствую, что это отличается от обычного attention.

Swyx [01:04:03]: Это, это имеет смысл?

Ethan [01:04:04]: Это отличается в том смысле, что attention — не говоря уже о sparse attention, отложим его — обычный attention

Swyx [01:04:13]: Типа QKV, да

Ethan [01:04:14]: тебе нужно внимать ко всем токенам.

Ethan [01:04:17]: Так что у тебя нет высокоуровневого механизма, чтобы отбросить, к каким токенам ты не хочешь внимать. У людей объём внимания на удивление мал.

Ethan [01:04:28]: Ты можешь запомнить только 11 цифр номера телефона.

Swyx [01:04:32]: Но у меня есть детекция признаков, да? Я могу определить: о, это последовательность один, два, три, четыре в номере телефона, который состоит из 11 цифр.

Vibhu [01:04:39]: Очень хорошие сопоставители паттернов.

Ethan [01:04:41]: Но человеческий контекст может — типа attention может работать, потому что мы можем динамически подтягивать контекст из разных мест. Тот же механизм, думаю, будет происходить и для LLM, и для видеомоделей. Думаю, у нас есть

Swyx [01:04:57]: RLM — недавняя — это в недавних работах, что не так уж безумно, но это просто рекурсивно.

Vibhu [01:05:04]: Думаю, это в какой-то мере свойственно и моделям, да? Типа ты

Swyx [01:05:06]: Нет, вот хороший пример здесь

Vibhu [01:05:07]: ты подтягиваешь эти, ты можешь это нормально прочитать, но языковые модели ещё и очень хороши в парсинге слопа. У тебя есть транс

Swyx [01:05:15]: Я закидываю туда свои опечатки, это неважно.

Vibhu [01:05:17]: У тебя есть транскрипт, у тебя есть что угодно — просто закинь это, и оно очень хорошо парсит сквозь шум. Может, это брутфорс. Оно может просмотреть, порассуждать над этим, но есть параллели в обоих случаях.

Swyx [01:05:31]: Думаю, это реально завораживает, как ты связываешь штуку про world models с видеогенерацией, что, думаю, не так много людей слышат напрямую от таких людей, как ты. Так что думаю, это реально полезно. Какие-то ещё работы? Мы покрыли видео, аудио, world models — что-то ещё в этой omni

Swyx [01:05:48]: команде?

Vibhu [01:05:49]: Или какая-то ещё работа в xAI, о которой хочешь рассказать? Кажется, всё, что мы видим публично объявленным: «О, круто, печеньки». А там столько всего ещё.

Swyx [01:05:58]: Там много глубины.

Vibhu [01:05:59]: Что-нибудь недооценённое, прямо из того времени?

Ethan [01:06:03]: Чувствую, что как культура это довольно интересно и немного недооценено. Культура такая, культура — три предложения: двигайся быстро, строй; ни одна цель не слишком амбициозна; и первые принципы. Рано — поставленная цель была очень амбициозной. Это было не — это было невозможно достичь, когда я, когда я первый раз об этом думал. Например, построить что-то за три месяца. И

Vibhu [01:06:36]: Это было «Окей, мы стартуем команду, хотим image, хотим video. Сделайте к этому дедлайну». Или как ты идёшь от обратного? Это было просто «Окей, у нас есть примерная дата, к которой мы хотим что-то выпустить», или это типа

Ethan [01:06:52]: Это очень хороший поинт. Так что это из мышления от первых принципов.

Ethan [01:06:56]: Если подумать — люди могут сказать, что мышление от первых принципов больше применимо к физическому миру, чем к моделям. Я бы сказал, например — если подумать о некоторых ограничениях, например, добыча данных: как быстро мы можем добыть видео? И если подумать об обучении моделей: какова скорость итераций для обучения модели? И как добавление GPU ускорит этот таймлайн? И, может, если тебе нужны человеческие данные — какое время оборота, чтобы человеческие данные пришли? Если сложить всё это вместе, это и есть мышление от первых принципов: о, какой таймлайн? Какое минимальное число дней, за которое возможно чего-то достичь?

Swyx [01:07:52]: Думаю, это во многом тип мышления Илона, да? Он типа — думаю, он знаменит фразой, что единственный закон, который нельзя нарушить, — это законы физики, что-то такое.

Swyx [01:08:01]: Просто в целом — ты много работал с Илоном.

Ethan [01:08:04]: Я — одно преимущество работы в xAI: у тебя есть шанс больше взаимодействовать с Илоном. Так что мне очень повезло получить от него несколько ретвитов, и это было довольно весело. И он ещё работал очень тесно с людьми. Типа, как люди представляют онлайн, он очень hands-on.

Vibhu [01:08:34]: Тут две вещи. Одна — я на самом деле искал, как Илон ретвитит тебя. Я подниму. Он говорил, что ты твитнул, что у тебя реально хороший voice mode. Не знаю

Ethan [01:08:47]: О, я?

Vibhu [01:08:47]: Нет. Он.

Swyx [01:08:48]: О, я тоже это делал. Но в общем.

Vibhu [01:08:49]: Я на самом деле — я писал тебе в DM фидбэк по voice mode, потому что я такой: «Вау, реально хорошо». А потом я: «Ух, это отстой». Но не знаю. Что-нибудь хочешь рассказать о своём voice mode, о его создании? Это была команда, над которой ты тоже работал?

Ethan [01:09:02]: О, это на самом деле не часть команды, над которой я работал.

Swyx [01:09:05]: Он, наверное, больше работал над видео. Нет, но Grok Voice на самом деле

Vibhu [01:09:11]: Grok Voice

Swyx [01:09:11]: типа очень хорош. Я — это одна из тех штук, где, во-первых, можно говорить на 2X, что прикольно.

Swyx [01:09:16]: Я слушаю на 2X, так что я люблю говорить на 2X. Но ещё думаю, что прерывание было лучше, чем у Gemini. Не знаю, как оно сравнивается с ChatGPT realtime сейчас, но что касается вождения — иметь Grok в моей Tesla и вести машину, думаю, это было типа — это реально хороший опыт.

Vibhu [01:09:34]: Ему нравится voice mode. Но ещё просто безумный охват у Илона

Swyx [01:09:40]: Пятьдесят миллионов просмотров просто за то, что сказал «Да, верно».

Vibhu [01:09:43]: Это правда.

Swyx [01:09:44]: О боже

Vibhu [01:09:45]: но, это довольно круто, как быстро оно вышло. Другая вещь — аспект безопасности video mode. Что-нибудь интересное рассказать об этом? Так что

Swyx [01:09:56]: остренькое

Vibhu [01:09:57]: остренький вопрос.

Ethan [01:09:58]: Много стран, где не разрешают генеративные AI-видео без водяных знаков. Так что во всех этих странах у Grok Imagine были водяные знаки, и много — много удалений видео тоже происходили чрезвычайно быстро.

Swyx [01:10:22]: это часть управления социальной платформой, но это ещё и хорошо переносится на сторону GenAI. Есть ли у тебя взгляд на SynthID против других видов водяных знаков?

Ethan [01:10:33]: это будет

Ethan [01:10:37]: это будет всё сложнее и сложнее детектировать, да, эти штуки. Так что SynthID — одно: раньше это был только Google, а теперь типа много разных лабораторий

Swyx [01:10:52]: OpenAI его принял

Ethan [01:10:52]: тоже его перенимают.

Ethan [01:10:54]: Ограничение — это типа технология — статья была опубликована, и люди могут реверс-инжинирить, как от него избавиться.

Ethan [01:11:05]: И — думаю, даже по мере того как оно совершенствуется, всё ещё возможно его реверс-инжинирить.

Swyx [01:11:13]: так что если тебе интересно, можно зайти на Reddit, и люди вытащили точную — не знаю, как это назвать? — маску или паттерн, который применяет Google, и потом ты можешь применить это к любой сгенерированной Google фотографии и реверснуть SynthID.

Ethan [01:11:30]: И это, это ещё и всё сложнее и сложнее судить на глаз. Помню, пару лет назад было типа шесть пальцев или что-то такое. Это очень очевидно.

Vibhu [01:11:42]: Сейчас у меня — на самом деле это аудио. Чувствую, что аудио реально отстаёт. Мой способ определить, сгенерировано ли что-то — помимо «окей, я думаю, я насмотрелся, у меня неплохой глаз» — стыковка аудио, особенно у Sora, не очень. Всё в одном похожем стиле. Но есть

Swyx [01:11:57]: Понятно. Это мелкие несовершенства.

Swyx [01:11:59]: Думаю, поинт в том, что — на самом деле моя ближайшая референция к этому — ещё Ian Goodfellow, потому что, по-моему, он сделал ту состязательную GAN-штуку, где типа окей, вот картинка зебры. Потом ты типа меняешь один пиксель, и она становится пандой.

Swyx [01:12:12]: Да? Это типа — это типа классическая проблема computer vision.

Ethan [01:12:15]: Если подумать, как эти модели обучались — как я упоминал раньше, GAN был в процессе обучения. Цель GAN — модель генерирует изображение, и есть судья, который говорит, реально изображение или нет. Модель обучена делать изображение более реальным. Так что по мере того как модель становится всё более продвинутой, это будет всё сложнее и сложнее. Лично для меня теперь я вынужден судить по

Ethan [01:12:49]: тому, есть ли в этих видео логический смысл.

Ethan [01:12:53]: Если эти, это видео

Swyx [01:12:55]: Есть ли world model.

Swyx [01:12:57]: Нет, мне ещё нравится — аудио слишком хорошее, типа слишком студийного качества. Освещение слишком хорошее. Кожа слишком чистая. По сути — отсутствие несовершенств.

Vibhu [01:13:10]: Есть ли у нас хороший способ делать reasoning в диффузии? Это ли отличает видеогенераторы от world models, или — мы реально знаем, как применять это к авторегрессивным языковым моделям. Есть ли параллель для диффузионных видеогенераторов-world-models по этому поводу, да? Есть ли

Swyx [01:13:30]: У него есть штука про видеоагентов.

Ethan [01:13:31]: это хороший вопрос. Да, на самом деле у меня есть довольно крупное заявление. Визуальный интеллект на самом деле в основном приходит из языка. Эти видеомодели, особенно теперь, поскольку технология диффузионных моделей более зрелая, — каждый раз, когда ты видишь какое-то улучшение этих моделей, я бы сказал, в основном это, опять же, приходит из языковой модели, а не из самой видеомодели, типа самих видео-distribution-моделей. В Cosmos это могло быть — обычно у этих моделей две части. Есть prompt rewriter или prompt up-sampler. По-моему, в Cosmos мы используем Llama или Mixtral. А сама видеомодель Cosmos всего 7B, и модель, языковая модель

Переписывание промптов, видеоагенты и агентная генерация

Ethan [01:14:35]: это prompt rewriter. Он, он больше, чем она. Задача prompt rewriter — взять инструкцию пользователя и превратить её в чрезвычайно детальное описание видео. Потому что видео, визуальные — видео-distribution-модели, я бы описал, они вроде как тупые, потому что они воспринимают вход

Ethan [01:15:03]: буквально. Потому что в процессе обучения, помни, нам приходится описывать видео как можно детальнее, когда мы создаём синтетическую текстовую пару. Так что эта модель воспринимает такого рода инструкции, чтобы генерировать видео. Так что когда ты берёшь инструкции пользователя — инструкции пользователя обычно простые. Просто скажем, кот или что-то такое. Если ты закинешь «кот» в видеомодель, она воспримет эту инструкцию буквально. Она буквально покажет кота, кота, может, на белом фоне, потому что ты не описал фон. Кот не двигается, потому что ты не описал это. Она воспринимает инструкцию довольно буквально. Это вроде как тупо. Prompt rewriter — это на самом деле гораздо более крупная модель. Это языковая модель, которая берёт инструкцию пользователя и расширяет её. Так что процесс мышления, который ты упомянул, идёт оттуда. Так что если посмотреть на GPT image — типа, ты генерируешь изображение за три минуты. Три минуты — это не всё генерация пикселей. Много времени тратится

Vibhu [01:16:19]: На написание промпта

Ethan [01:16:19]: на мышление.

Ethan [01:16:20]: Так что переписывание промптов теперь эволюционировало не только в мышление — оно может быть ещё и агентом, агентной моделью. Например, скажем, ты хочешь сгенерировать изображение сегодняшних новостей. Так что — скорее всего, оно пойдёт за сегодняшними новостями онлайн, потом обработает и переварит их, потом организует макет и сгенерирует это. Ещё одна довольно интересная вещь —

Vibhu [01:16:53]: Если я не ошибаюсь, это — это уже не диффузионная модель, да? Это авторегрессивно — или там всё ещё

Ethan [01:17:02]: Есть разные подходы. Например, Gemini Omni. Раз они говорят, что это Omni, я полагаю, это одна модель. Может, это что-то типа языковой модели с диффузионной головой или вроде того. Языковая модель делает мышление, делает агентный вызов инструментов, а потом использует диффузионную голову, чтобы сгенерировать изображение в конце. Были ещё подходы вроде Cosmos, где у тебя отдельная языковая модель и отдельные диффузионные модели. И были ещё типа чисто языковая модель, где ты дискретизируешь изображения, а потом генерируешь изображение как дискретные токены. Так что есть разные подходы. Я бы сказал типа

Vibhu [01:17:44]: Одно из заявлений, которое я видел, почему эти подходы испытывают трудности, в том, что много преимуществ того, как мы сейчас учим reasoning с языковыми моделями, в том, что ты по сути итеративно генерируешь рассуждение. У тебя есть мысль, и потом ты работаешь над этим ответом, да? Так что если у тебя типа Omni-модель и потом диффузионная голова, ты не можешь скормить это обратно, чтобы продолжить рассуждение, да? Так что ты не можешь идти текст, изображение, текст, изображение. Ты не можешь рассуждать над выходом и потом вернуться к диффузии. Но в новом Gemini Omni ты бы смог, пока у тебя есть диффузия.

Ethan [01:18:15]: Я не уверен, есть ли

Vibhu [01:18:16]: Но

Ethan [01:18:16]: у них этот процесс. Это определённо возможно в парадигме Omni.

Ethan [01:18:22]: Так что если подумать про традиционную мультимодальную языковую модель, у них был бы ViT-энкодер, который может закодировать изображение. Так что если у них диффузионная голова, они могут сгенерировать изображение, потом поместить это обратно в ViT-энкодер, закодировать это, а потом делать итеративное уточнение, если результат — да.

Swyx [01:18:44]: Думаю, тебе придётся совместно обучать ViT и диффузию, чтобы это было сколько-то разумным, потому что иначе ты вроде как рассогласовываешь или скармливаешь слоп.

Vibhu [01:18:55]: Думаю, это зависит от стадии обучения. Возможно, ты сможешь его заморозить. Но в общем, ещё про твой более ранний

Swyx [01:19:00]: Стоп. Я хотел ещё сделать явным. Мы знаем, что NanoBanana и GPT image — авторегрессивные, языковая модель с диффузионной головой.

Swyx [01:19:09]: насколько я могу судить из твоего описания Grok image, это не так. Это сквозная модель.

Ethan [01:19:14]: Я не могу

Swyx [01:19:15]: Ты не можешь

Ethan [01:19:15]: это комментировать.

Swyx [01:19:16]: Ну, судя по тому, как ты это описал. Но да, думаю — есть разные подходы, да? Типа ты начал с того, что prompt rewriter — это большая часть интеллекта.

Vibhu [01:19:24]: и даже по этому поводу — думаю, всем стоит попробовать использовать раннюю диффузионную модель. Если ты использовал Stable Diffusion 1 или что угодно, если ты видел эти промпты «ultra-high res, 4K, this style» — о боже, в первый раз, когда я попробовал, ты не разговариваешь с ними как с языковыми моделями, да? Твой промптинг — это очень разделённый запятыми

Swyx [01:19:43]: Это буквально разговор в метках, которые были в датасете, да?

Swyx [01:19:46]: Но по сути я просто пытаюсь донести поинт, что prompt rewriter и потом изображение — это отличается от авторегрессивной языковой модели с диффузионной головой. Да? Это разные вещи.

Ethan [01:19:56]: они разные.

Swyx [01:19:57]: Просто хотел установить.

Ethan [01:19:59]: Я бы сказал, общая часть — это часть с изображением. Так что довольно удивительно, что много улучшений пришло из

Swyx [01:20:12]: Языковой стороны

Ethan [01:20:12]: из мышления, вызова инструментов. Так что я до сих пор помню, в Cosmos я сгенерировал счастливую овцу, и без всякого переписывания она выглядит так CGI-шно, а после переписывания выглядит так красиво.

Ethan [01:20:31]: Думаю

Swyx [01:20:32]: Без всякого совместного обучения.

Ethan [01:20:34]: на самом деле без всякого совместного обучения. С переписыванием уже гораздо лучше. Видишь, очень интересная вещь, что происходит — видеоагенты, в основном языковые модели, будут вызывать эти генеративные модели — будь то отдельная модель, или диффузионная голова, или что угодно — как инструмент. Так что эта модель может итеративно уточнять результаты или даже генерировать более длинный контент через очень длинную цепочку рассуждений. Это на самом деле очень похоже на то, как человек создаёт искусство. Мы не генерируем пиксели напрямую. Мы буквально рисуем что-то. И думаю, через этот процесс эти модели не только используют диффузию как один из инструментов, они могут использовать и традиционные инструменты. Они могут использовать инструменты редактирования изображений из Photoshop. Они могут использовать видеоредактор, FFmpeg, что угодно, чтобы взять комбинацию этого и технологии генеративного AI как набор инструментов, и они могут итеративно создать лучшее, гораздо лучшее видео продакшен-качества. Если посмотреть на существующих профессиональных креаторов, они не заканчивают на генерации видео из этих моделей. Они берут это видео в свой редактор и редактируют тут и там.

Swyx [01:22:11]: Так много пост-продакшена. И иногда на самом деле причина, по которой видео хорошее, — не сама видеомодель, а на самом деле монтаж.

Swyx [01:22:21]: И да, мы тоже занимаемся тем же процессом. Хотел бы ты использовать модель видеомонтажа?

Ethan [01:22:27]: На самом деле есть Grok Imagine Agent beta. Это была первая попытка в этом направлении.

Ethan [01:22:38]: Так что думаю, процесс был бы похож на типа

Vibhu [01:22:44]: Это просто agent mode.

Ethan [01:22:46]: ты можешь, ты можешь попросить его

Swyx [01:22:48]: Для него нет блог-поста

Ethan [01:22:49]: может, сгенерировать минутное видео, что невозможно, если задать тот же промпт видеомоделям. Но эта модель буквально вызовет разные инструменты, чтобы это сделать.

Ethan [01:23:05]: Так что да, это на самом деле интересная вещь. Когда мы впервые выпустили модель видеомонтажа, я видел на X, как некоторые люди пробуют функцию видеомонтажа с «Отредактируй это видео так, чтобы оно стало минутным». Потому что они не понимали, как работает видеомонтаж. Видеомонтаж обычно — это просто удаление, добавление, замена, перенос стиля, такого рода вещи. Но это на самом деле валидный запрос в рамках допущения о видеоагентах. Так что эти агенты должны уметь понимать такого рода задачи с длинным горизонтом, чтобы уметь легко создавать видео в длинной форме. Думаю, это реально завораживает, потому что это вроде как берёт — это берёт то же направление, что и сначала — assisted coding, типа автодополнения, GitHub Copilot. И оттуда ты постепенно эволюционируешь к Codex и Claude Code, где ты делаешь вещи полностью автоматизированно. Так что в agent-режиме Grok Imagine Agent ты можешь по-прежнему зайти туда и делать что-то сам.

Ethan [01:24:22]: постепенно, по мере того как возможности модели растут, она сможет делать всё полностью автоматизированно.

Swyx [01:24:30]: Мне это нравится. Окей.

Ethan [01:24:32]: Это хорошо.

Swyx [01:24:32]: Так что похоже, оно всё ещё генерирует.

Vibhu [01:24:34]: Ещё я заметил, что Grok image gen всегда был очень быстрым. Не знаю, бенчмаркили ли вы это, но это просто отступление. По сравнению с тем, что я использовал раньше — последней генерацией изображений OpenAI, и то же с Gemini Nano Banana — я часто использовал Grok просто ради скорости.

Swyx [01:24:54]: Это где-то в бенчмарке, это

Vibhu [01:24:56]: Это

Swyx [01:24:56]: в блог-посте Imagine API, где у них все эти штуки про скорость.

Swyx [01:25:00]: это в основном комбинация дистилляции плюс инференс.

Ethan [01:25:04]: Там куча вещей. Мы говорим о дистилляции, и если говорить о мышлении — если у тебя нет никакого бюджета на мышление, модель может просто думать три минуты и потом вернуться к тебе. А ещё инференс — команда инфраструктуры инференса была очень талантлива, и они смогли адски ускорить много этих моделей.

Swyx [01:25:27]: Мой комментарий по штуке про видеоагентов: я пытаюсь понять — когда люди говорят «видеоагенты», когда ты впервые рассказал мне о своей ставке на видеоагентов или своём видении видеоагентов, я был немного разочарован. Я такой: «ты имеешь в виду, типа, модели исчерпаны, теперь нам приходится делать агентов?» Но думаю, тебе приходится, да? Вопрос теперь в том, насколько обучение модели реально будет иметь значение против просто построения лучшего харнесса? Типа ты сказал, что модели не обязательно совместно обучать. Ты можешь просто взять готовую фронтирную reasoning-модель, нацепить её на харнесс, дать ей Grok как инструмент. Вот и всё. Вот твой видеоагент. Не кажется супер удовлетворительным. Очевидно, ты можешь обучать и получить ещё несколько процентных пунктов производительности. Но если твоё центральное заявление, что большинство видео- или generative-media-альфы или чего угодно на самом деле приходит из языкового интеллекта, а не из диффузии изображений или видео — тогда это и есть будущее.

Vibhu [01:26:30]: это довольно круто

Swyx [01:26:31]: Это просто как в основном вес.

Vibhu [01:26:33]: Если вернуться к примеру, оно сгенерировало кадры. Извини, что прерываю, оно говорило: «Окей, я начну сшивать эти кадры вместе».

Swyx [01:26:42]: Так что

Vibhu [01:26:42]: Оно использует FFmpeg, типа использует код.

Swyx [01:26:43]: Это то, что GPT Image Pro тоже делает, да?

Swyx [01:26:46]: Типа, это тоже просто написание кода в фоне и потом просто

Vibhu [01:26:48]: Сшивание

Swyx [01:26:49]: делает проход по изображению на финальном выходе. Это кажется неудовлетворительным для людей, которые хотят просто обучать модели.

Vibhu [01:26:54]: Это интересно, да? Это, это ещё и в какой-то мере захватывающе. Как ты поднял раньше, много выигрышей приходит не столько из видео. Думаю, это видно и в пространстве языковых моделей, да? Anthropic очень хороши в кодинге. Они мультимодальные, не самые лучшие, да? У них базовый ввод PDF, но есть явный разрыв в качестве их обработки изображений-видео, обработки аудио — при этом интеллект топового уровня. Другие лаборатории — Gemini, OpenAI, xAI — ты можешь добавлять модальности, но это не то чтобы они открывают безумные возможности, да? Так что это интересно.

Ethan [01:27:32]: Интересно видеть, что рост возможностей видеомодели на самом деле приходит из того, что языковая модель становится более интеллектуальной. Думаю, видеоагент — он может открыть больше, чем ты можешь вообразить. Так что есть несколько вещей. Одна вещь — когда мы промптим эти модели, большинство людей на самом деле не очень хороши в промптинге.

Ethan [01:27:59]: На самом деле языковые модели лучше чувствуют, как промптить AI-модели. AI-модели знают AI-модели лучше. Так что если совместно обучить эти модели, может, у модели будет лучшее чутьё, как промптить каждую модель. Типа разная модель

Vibhu [01:28:15]: Конечно

Ethan [01:28:15]: может быть разной. Ещё одна вещь — это может быть не так просто, как просто сгенерировать несколько клипов и слепить их вместе через FFmpeg. Типа ты можешь — может появиться больше инструментов редактирования изображений и видео в этом процессе. Скажем, если ты хочешь точно добавить кусок текста на этом таймстемпе, видеомодели могут не уловить это намерение очень точно.

Ethan [01:28:48]: Но это возможно с помощью этих детерминированных инструментов. Видеоагенты могут использовать всевозможные инструменты, так что тебе не нужно вкладывать все возможности в саму генеративную модель.

Swyx [01:29:04]: Думаю, это очень верно. Нет, чего бы это ни стоило, думаю, ты прав. Думаю, это будет большая категория. Думаю, ты, наверное, предсказываешь, что следующий год в видео будет весь про это.

Vibhu [01:29:18]: Есть ли у тебя прогноз по времени, как — когда эта штука разгонится? Типа

Swyx [01:29:22]: оно уже началось.

Vibhu [01:29:23]: Это,

Swyx [01:29:24]: Оно пока не очень хорошее.

Vibhu [01:29:25]: Мы это так — нет, это так, это так хорошо. Думаю, последнее просто длиннее.

Vibhu [01:29:29]: оно не дало мне минуту.

Ethan [01:29:30]: Последнее — тридцать шесть.

Vibhu [01:29:30]: Оно дало мне тридцать шесть секунд. Но мы это чувствуем уже сейчас? Будет ли перелом? Есть ли какие-то прогнозы по таймлайну, которые хочешь сделать?

Ethan [01:29:37]: к концу этого года это — это будет

Ethan [01:29:41]: большим хитом. Так что точка перелома будет там, где видео, сгенерированные видеоагентами, смогут дойти до продакшен-качества, так что их можно будет презентовать и распространять в рекламе. И когда — как только это произойдёт, думаю, у предприятий будет гораздо больше бюджета на видеомодели, потому что агенты по своей природе дороже, чем сами видеомодели, потому что они делают этот итеративный процесс. Они генерируют много вариаций.

Ethan [01:30:23]: но как только эти модели пройдут этот порог пригодности, думаю, дальше это будет экспоненциальный рост.

Swyx [01:30:35]: Я бы профинансировал компанию прямо сейчас на основе этой штуки.

Робототехника, физический AI и обученные на интернете world models

Swyx [01:30:40]: так что думаю, ты прав. Одна вещь, которой я удивляюсь, размышляя обо всём этом часе или около того разговора, — ты, думаю, ты увлечён world models и видеогенерацией ради самой видеогенерации. Думаю, многие другие люди по world models — мы интервьюировали многих из них, General Intuition, и Fei-Fei Li, и всех тех ребят, и Moondream, о котором, кажется, я тебе рассказывал. Moonlake.

Vibhu [01:31:01]: Lake.

Swyx [01:31:01]: Я всё время говорю Moondream. Чёрт. Moonlake. Многие из них на самом деле говорят, что робототехника — это финальная игра. Типа воплощённая робототехника, типа ты хочешь реальное время, хочешь интерактивность. Это чтобы взаимодействовать с физическим миром. Ты не так этим обеспокоен.

Ethan [01:31:15]: Думаю, робототехника будет большой частью этого, точно. Процесс может произойти естественно. Так что мой прогноз по робототехнике в том, что проблема — физический AI может быть решён, типа без необходимости фактически

Swyx [01:31:36]: Быть в реальном мире

Ethan [01:31:37]: быть в реальном мире. Так что это может, это может быть решено через видео — LLM с очень сильными видеовозможностями. Так что помни, мы говорили про интерактивное видео в реальном времени с длинным горизонтом. Как только эти модели — сейчас эти модели просто обучаются на записях экрана и компьютерных экранах. Как только эти модели смогут использовать компьютеры и чрезвычайно хорошо понимать будущее состояние компьютера, роботы могут стать одним из инструментов, которые очень мощный AI может использовать. Так что мощный AI может просто уметь управлять физическим воплощением естественно.

Почему Итан ушёл из xAI и что дальше

Swyx [01:32:28]: Я это точно вижу. Круто. Я знаю, я знаю, что мы подходим к концу времени. У тебя была — ты оставил ещё одну острую тему: почему ты ушёл из xAI.

Ethan [01:32:38]: Для меня есть много исследований, которые хочется делать и которые нельзя делать в компании. И ещё, типа, приоритеты и цели компании обычно могут меняться очень быстро. Это — это так же и для xAI. Так что сейчас как бы такое время — есть некоторые исследования, которые я хочу делать, особенно больше на стороне языковых моделей, что я не мог делать в xAI.

Swyx [01:33:11]: О, окей, да. То есть ты, ты по сути уходишь — ты, у тебя был весь этот переход от computer vision к world models, видеогенерации, к тому, что теперь ты типа фокусируешься на LLM.

Vibhu [01:33:22]: Но кажется, многое из того, что ты говоришь о фокусе на LLM, — ты ведь за прошедший час описал, как всё это связано вместе, да? Типа — но не знаю. Что ты имеешь в виду под фокусом на LLM? Есть ли

Ethan [01:33:33]: Я осознаю тот факт, что у видеомоделей — даже типа в начале, выигрыш мог приходить из улучшения технологии диффузии, но это точка, где на самом деле большинство выигрыша приходит из самих языковых моделей.

Swyx [01:33:50]: Это огромная чёрная пилюля для любого, кто провёл свою карьеру в типа generative media.

Vibhu [01:33:56]: Это — это крайний взгляд, да? Тебе — тебе всё ещё определённо нужно немного и того, и другого, да?

Vibhu [01:34:01]: Просто кажется, что есть более насущная, более влиятельная работа, которую нужно делать сейчас на стороне языковых моделей.

Swyx [01:34:07]: Есть ли у тебя похожие прогнозы? Ты — ты предсказал видеоагентов, и думаю, ты будешь прав. На языковой стороне — что ты ищешь в следующем году?

Ethan [01:34:16]: Думаю, одна довольно интересная вещь, которая, думаю, может произойти скоро, — языковые модели будут типа context-aware и будут управлять собственным контекстом.

Ethan [01:34:29]: Так что некоторые — типа со стороны видеомоделей мы страдали от проблемы длинного горизонта, типа мы хотим генерировать видео всё длиннее и длиннее, и мы пытались решить проблемы длины контекста разными способами. Один — просто брутфорсом обучать на более длинном контексте. Другой — управлять контекстом лучше. Думаю, то же самое в языковых моделях тоже скоро произойдёт. Например, языковые модели не осознают, насколько длинна их собственная длина контекста. Как только они достигают типа восьмидесяти процентов или вроде того, срабатывает автоматическая компрессия контекста. И модель не осознаёт этого, когда работает. И, может, моделям было бы хорошо знать: «О, я приближаюсь к восьмидесяти процентам» или что-то такое. И ещё одна довольно интересная вещь — например, в OpenClaude, типа каждый раз, когда ты вводишь что-то, текущее локальное время автоматически прикрепляется к твоему сообщению, так что модель на самом деле знает, который час. Так что это делает модель time-aware. И ещё, типа, при вызове инструментов много промежуточных результатов вызова инструментов автоматически обрезается. Так что есть как бы удаление контекста, добавление контекста и уплотнение контекста. Так что всё это — из самих харнессов. Но из нашего опыта инженерия эвристик тоже помогает моделям впитать это в самих себя. Это что-то очень интересное для исследования.

Vibhu [01:36:12]: То есть бесконечный контекст?

Ethan [01:36:14]: Может быть.

Vibhu [01:36:15]: Нет, но это интересно, да? Ты

Swyx [01:36:17]: Это в пространстве памяти и continual learning и

Vibhu [01:36:20]: Не знаю. Это ещё и типа в пространстве использования агентного харнесса, да? Ты видишь

Swyx [01:36:25]: Нет, он говорит, что не хочет делать это в харнессе, да?

Vibhu [01:36:27]: Нет, но модели ещё и обучаются на использовании харнессов, да?

Vibhu [01:36:32]: Так что часть этого, можно сказать, неявно просачивается, да? Часть этого пост-обучения языковых моделей — окей, использование их в кодинг-харнессах, в случае чего — когда спавнятся агенты? Когда произойдёт компакция? Это не явно, что у тебя такое-то окно токенов, что — не знаю, хочешь ли ты, чтобы оно таким было, поскольку это будет меняться, но это в какой-то мере просачивается туда.

Ethan [01:36:58]: Я представляю — а что если у модели есть доступ ко всему — к коду самого агентного харнесса и она может модифицировать его как захочет. Скажем, если агентный харнесс достаточно короткий, ты можешь просто поместить длину контекста в системный промпт, и тогда модель скажет: «Когда я хочу заспавнить будущую версию себя, я могу модифицировать агентный харнесс». Например, если я — агентный харнесс может быть: «О, когда я читаю длинный документ, я могу выбрать прочитать всё целиком по кускам и вернуться, слепить summary вместе, или я могу просто прочитать первые двести строк и отбросить остальное». И всевозможные выборы, если они могут делаться самими моделями, может быть очень интересно увидеть, что модель может программировать — модель может программировать саму себя онлайн во время инференса.

Карьерные уроки: переходы между доменами ML

Swyx [01:38:02]: так что самомодифицирующийся харнесс — это тоже часть OpenClaude и Py, но думаю, там есть гораздо больше работы. Очень круто. Часть меня вроде как любопытна. Думаю, ты часть Big Lab, да? И есть этот карьерный путь исследователя в Big Lab: ты обучаешь модели, получаешь больше compute, обучаешь лучшие модели, и продолжаешь дальше. А ты в какой-то мере, чувствую, отказываешься от этого. И будь я на твоём месте, я бы такой: «О, думаю, это вроде как карьерный риск». Что?

Swyx [01:38:36]: У меня нет никакого комментария, кроме того, что ты очень сильно убеждён. Думаю, многие люди на твоём месте не делали бы того, что сделал ты.

Ethan [01:38:43]: Говоря о моей карьере, если оглянуться, на самом деле было много огромных переходов. Так, десять лет назад я занимался исследованиями с авторами ResNet, Xiangyu Zhang и Jian Sun. Да, в то время исследования были совершенно другими. Это было в основном convolution, типа распознавание изображений, детекция объектов, трекинг объектов. Я также занимался сжатием нейронных сетей в то время. Это сильно отличалось от дистилляции знаний этих дней. И в то время я хотел стать профессором, и я подавал документы. Когда я подавал на PhD, у меня уже было несколько статей с первым авторством на топовых конференциях, так что я уверенно подавал в топовые школы. Оказалось, меня отвергли все топовые PhD-программы. Так что мне пришлось пойти в индустрию. В то время я был в Facebook AI Research, FAIR, который возглавлял Yann LeCun.

Swyx [01:39:51]: Я хотел поговорить про V-JEPA, но это другое.

Ethan [01:39:53]: Я знаю. Да, можем оставить это на другой раз.

Ethan [01:39:57]: Я переключился на — в то время я переключился на self-supervised learning. Это сильно отличалось от того, чем я занимался в convolution.

Ethan [01:40:07]: А после этого был NVIDIA Cosmos. Так что я осознал, что масштабирование чрезвычайно важно. Так что в NVIDIA я в основном фокусировался на масштабировании. Одна вещь — Cosmos, масштабирование видео-distribution-моделей до нескольких миллиардов параметров. А другая — я работал над MoE. Megatron MoE был первым опенсорсным фреймворком, способным обучать эти MoE в очень больших масштабах, от сотен миллиардов параметров до даже триллионов параметров эффективно, при сорока процентах MFU.

Ethan [01:40:51]: А переход в xAI был попыткой работать на ещё большем масштабе compute, ещё дальше. И да, глядя на эту траекторию, я на самом деле работал над множеством разных вещей. Так что я чувствую, на самом деле внутри ML переключаться легче, чем ты думаешь. У многих людей может быть установка, что «о, я работаю над computer vision, я всегда должен работать над computer vision, и я не могу переключиться на язык». Но из моего опыта, по крайней мере в NVIDIA, я работал и над MoE для языковых моделей, и над видеомоделями. Это на самом деле не так. Многие из основных принципов того, как обучать большие модели, во многом одинаковы. И да, для меня я чувствую, что прямо сейчас узкое место для видеомоделей — это на самом деле языковая часть, агент, вот почему я хочу пойти больше работать над LLM. Одна вещь — это немного вызов. Не думаю, что это огромный скачок, так что.

Заключительные мысли

Swyx [01:42:18]: респект тебе. Думаю, у тебя много, сильное видение там. Да, думаю, это было в основном всё, что мы хотели покрыть. Ты был очень щедр со своим временем, и, это реально приятно, что ты можешь поделиться всеми этими вещами теперь. Нам не нужно проходить через xAI, чтобы всё провести. Но ещё мы

Ethan [01:42:35]: О,

Swyx [01:42:35]: думаю, мы не подставили тебя под неприятности.

Ethan [01:42:37]: Это много хорошего о xAI по сравнению с тем, что ты просто видишь в релизах, да? Не осознаёшь, сколько там ещё уровней.

Swyx [01:42:44]: xAI, пожалуйста, делайте больше подкастов.

Swyx [01:42:47]: в общем.

Swyx [01:42:48]: но спасибо, что поделился. Это было очень любезно. И ещё, я хочу услышать от тебя больше. Думаю, ты собираешься вступить в свою следующую фазу. Ты не объявил, чем займёшься дальше, но явно у тебя есть больше видения и больше амбиций на этом пути, и думаю, ты по сути вроде как градиентным спуском идёшь к своей финальной форме.

Ethan [01:43:08]: Спасибо. Да. Да, я поделюсь больше о своей следующей главе скоро.

Ethan [01:43:14]: Спасибо, что пригласили.

Swyx [01:43:16]: Спасибо, что пришёл.

Обсуждение этого выпуска