Moonlake: Causal World Models should be Multimodal, Interactive, and Efficient — with Chris Manning and Fan-yun Sun

Moonlake: каузальные мировые модели должны быть мультимодальными, интерактивными и эффективными — с Крисом Мэннингом и Fan-yun Sun

За последний квартал мы провели небольшую серию о мировых моделях: от введения в тему с Yi Tay, до исследования Marble с Fei-Fei Li и Justin Johnson из World Labs, до превью мировых моделей, обученных на массивных 1 игровых датасетах с Pim de Witte из General Intuition (который теперь изложил их подход к мировым моделям совместно с Not Boring), до обсуждения мировой модели Cosmos с Andrew White из Edison Scientific в нашем новом подкасте о науке, до публикации наших собственных тезисов об адверсариальных мировых моделях. Тем временем Nvidia, Waymo и Tesla опубликовали свои подходы, Google выпустила Genie 3, а Yann LeCun привлёк $1 млрд для AMI и опубликовал LeWorldModel.

Сегодняшние гости предлагают радикально иной подход к мировому моделированию по сравнению со всеми вышеупомянутыми игроками — хотя Genie 3 впечатляет, её многочисленные недостатки демонстрируют проблемы их подхода — клиппинг местности, отсутствие интерактивности (один игрок, нет физики / никакие объекты кроме игрока не двигаются) и максимум 60 секунд погружения.

Moonlake AI (вдохновлённая логотипом Dreamworks) — полная противоположность: сразу мультиплеер, невероятная интерактивность, неограниченное время жизни, способность создавать МНОЖЕСТВО различных мировых моделей путём симуляции сред, прогнозирования последствий и планирования на длинных горизонтах. Это стало возможным благодаря bootstrapping-у от игровых движков и обучению кастомных агентов:

В статье Towards Efficient World Models Крис Мэннинг и Иэн Гудфеллоу вместе с Fan-Yun объясняют, почему их подход к эффективности через структуру и каузальность вместо слепого масштабирования крайне необходим:

Модели уровня SOTA по-прежнему демонстрируют сбои физического и пространственного понимания — например, твёрдые объекты висят в воздухе или проходят «сквозь» другие твёрдые объекты. Если цель — спланировать следующее действие, насколько часто для моделирования мира необходимо высокое разрешение на уровне пикселей? Мы делаем ставку на то, что непропорционально большая доля экономически ценных задач не требует такой детализации. В конце концов, люди с самыми разными сенсорными ограничениями практически не испытывают затруднений в большинстве повседневных задач. Более того, для множества целей достаточно описать сцену или ситуацию несколькими словами («шины автомобиля завизжали на резком повороте»), чтобы понять происходящее и спланировать действия. Эксперименты также показывают, что люди лишь частично обрабатывают визуальную информацию сверху вниз, направленно по задаче, часто используя абстрактное моделирование на уровне объектов. Практически во всех случаях частичных представлений в сочетании с семантическим пониманием достаточно.…Если цель — способствовать пониманию каузальности в мультимодальных средах, то мировая модель — используется ли она в виртуальном или физическом мире — должна приоритизировать такие свойства, как пространственная и физическая согласованность состояния, поддерживаемая на длительных временных промежутках, и способность развивать мир, точно отражая последствия действий. Именно это строит Moonlake.

Игровые движки — правильная начальная абстракция для эффективного извлечения каузальных зависимостей, а создание интерфейсов и сообщества (включая новый Creator Cup с призовым фондом $30 000) позволяет запустить маховик «действия → наблюдения».

Нам посчастливилось побывать на их сессиях на GDC 2026 (Мекке геймдевелоперов), и нас впечатило огромное разнообразие и гибкость миров, которые люди уже строили с инструментами Moonlake! Живые видео — в подкасте.

Полный видеоподкаст на YouTube!

Таймкоды

00:00 Бенчмарки становятся сложными 00:47 Знакомство с основателями Moonlake 01:26 Зачем строить мировые модели 03:12 Структура, а не только масштаб 05:37 Определение миров, обусловленных действиями 07:32 Абстракция против горького урока 14:39 Дебаты: язык против JEPA 20:27 Цепочки рассуждений и слой рендеринга 37:00 Геймплей важнее графики 38:02 Правила вымысла и настройка миров 39:15 Кодовые движки побеждают выученные приоры 41:10 Пределы масштабирования диффузии 43:23 Граница между символьным и диффузионным 46:14 Видение платформы за пределами игр 50:24 Пространственное аудио и мультимодальные латенты 54:23 Корни в NLP, наём и название Moon Lake

Транскрипт

[00:00:00] Холодное открытие

[00:00:00] Крис Мэннинг: Мне кажется, вся эта область сейчас чрезвычайно сложна, по мере того как всё развивается. И я имею в виду не только мировые модели — я думаю, это касается всего, включая текстовые модели, верно? Потому что на ранних этапах казалось очень легко создавать хорошие бенчмарки — мы могли делать такие вещи, как бенчмарки для ответов на вопросы.

[00:00:20] Но сегодня столько из того, что люди хотят делать, совершенно на это не похоже, верно? Вы хотите получить рекомендации, какой рюкзак лучше всего подойдёт для вашей поездки по Европе в следующем месяце. Придумать для этого бенчмарк не так-то просто, и с мировыми моделями та же самая проблема.

[00:00:41] Знакомство с основателями

[00:00:41] swyx: Отлично. Мы снова в студии с двумя лидерами Moon Lake. Я думаю, есть и другие основатели, но с нами Sun и Крис Мэннинг. Добро пожаловать в студию.

[00:00:54] Fan-yun Sun: Спасибо. Спасибо, Крис. Спасибо, что пригласили нас.

[00:00:56] swyx: Вы, ребята, ворвались на сцену с действительно освежающим [00:01:00] новым взглядом на мировые модели.

[01:01:01] Я просто хотел бы спросить, как вы двое нашли друг друга. Крис, вы — легенда в NLP и в AI в целом. Вы его аспирант, я полагаю.

[00:01:10] Fan-yun Sun: На самом деле — мой сооснователь.

[00:01:11] swyx: О, да.

[00:01:12] Fan-yun Sun: Я должен отдать должное моему сооснователю, Sharon. Да. Она на самом деле работала с профессором Fe Androgyn, а затем стала работать с Ron и Крисом Мэннингом.

[00:01:22] И я познакомился с Крисом изначально через моего сооснователя.

[00:01:26] Что такое Moon Lake?

[00:01:26] swyx: Что такое Moon Lake? Мне также очень любопытно узнать про название, но зачем вы пошли в мировые модели?

[00:01:33] Fan-yun Sun: Во время моей аспирантуры я много работал с Nvidia Research, по сути создавая интерактивные миры для обучения агентов обучения с подкреплением или embodied AI-агентов.

[00:01:44] И было два наблюдения — одно из академии, другое из индустрии. В индустрии такие компании, как Nvidia, платят огромные деньги за покупку подобных интерактивных миров — будь то для оценки, обучения роботов, политик или моделей. И [00:02:00] в академии происходит то же самое.

[00:02:02] Более конкретно, когда я работал с Nvidia над проектом обучения фундаментальных моделей на синтетических данных, мы генерировали массу синтетических данных и показывали, что они на самом деле настолько же полезны, как реальные данные, когда дело доходит до мультимодального предобучения.

[00:02:16] Но при этом, как я уже сказал, огромные суммы уходят внешним поставщикам или другим людям, которые вручную курируют эти данные. Нам было очевидно: на пути к, назовём это, embodied-обобщённому интеллекту модели должны учиться понимать последствия своих действий, а значит, им нужны интерактивные данные, и спрос на такие данные растёт экспоненциально.

[00:02:38] Но все думают об этом с позиции чистой генерации видео или чего-то подобного. А мы чувствуем, что настоящая возможность — в создании моделей рассуждения, которые могут делать эти вещи так, как это делают сегодня люди. Вот немного о зарождении Moon Lake, и я думаю, что причина, по которой я занялся мировыми моделями, частично —

[00:02:59] философский [00:03:00] взгляд на мир, в котором я верю в теорию симуляции и тому подобное. Но с другой стороны, просто: там есть возможность, и никто не делает это так, как, на мой взгляд, следует.

[00:03:10] Структура, а не масштаб: видение

[00:03:10] Крис Мэннинг: Я могу немного об этом рассказать.

[00:03:12] Да. Общая цель — это стремление к искусственному интеллекту, и бо́льшую часть своей карьеры я занимался этим в области языка, что было невероятно продуктивно. Как мы все знаем, история последних лет — мне не нужно рассказывать, сколько мы достигли с большими языковыми моделями, но…

[00:03:31] Хотя они были чрезвычайно эффективны для развития языкового и общего интеллекта, это явно не весь мир. Есть мультимодальный мир зрения, звука, вкуса, с которым хотелось бы работать, а не только с языком. И тогда вопрос — как это сделать. И несмотря на огромные инвестиции в компьютерное зрение — как исследовательская область компьютерное зрение [00:04:00] десятилетиями было гораздо, гораздо масштабнее, чем языковая область.

[00:04:05] Думаю, справедливо сказать, что понимание зрения, по сути, застопорилось. Дошли до распознавания объектов, а дальше прогресс перестал идти. Если посмотреть на любую из этих визуально-языковых моделей — 90% работы делает язык, а зрение едва функционирует. Так что возникает действительно интересный исследовательский вопрос — почему так, — и в основе идей Moon Lake лежит попытка ответить на него: мы верим, что возможна очень богатая связь между более символьным уровнем абстрактного понимания визуальных доменов, которого нет в основных моделях зрения — они по-прежнему пытаются оперировать на поверхностном уровне пикселей.

[00:04:50] swyx: В одном из ваших блог-постов вы сформулировали это как «структура, а не масштаб». Это общий тезис?

[00:04:57] Крис Мэннинг: Да. Ну, масштаб тоже хорош.

[00:04:58] swyx: Да. Масштаб тоже хорош.

[00:04:59] Очень,

[00:04:59] Крис Мэннинг: [00:05:00] много данных тоже хорошо, и масштаб, но тем не менее нужна структура. Да. Чтобы можно было учиться гораздо эффективнее.

[00:05:07] swyx: Да. Ещё мне очень понравилось, что вы показали пример того, как выглядят ваши цепочки рассуждений.

[00:05:12] Верно. Которые можно было бы, «дистиллировать» — слово, которое приходит на ум. Не уверен, что это хорошее описание, но они включают, например, геометрию, физику, аффордансы, символическую логику, перцептивные отображения и прочее. Это именно тот тип примера, который включает, скажем, пространственное рассуждение, рассуждение о мировой модели, в отличие от обычного рассуждения LM.

[00:05:35] Да.

[00:05:36] Определение мировых моделей vs генерация видео

[00:05:36] Vibhu: Но давайте сделаем шаг назад. Как вы определяете мировые модели? Многие видят — ладно, можно делать диффузию, можно генерировать видео. Но вы опубликовали немало блог-постов. Недавно вышло эссе — мы даже можем его показать — об эффективных мировых моделях. У вас тут довольно структурное определение, но для широкой аудитории, которая не так глубоко следит за этой областью.

[00:05:55] В чём разница между тем, что мы видим в видеогенерационной модели, и [00:06:00] генератором миров, симулятором? Как вы рисуете эту грань?

[00:06:02] Крис Мэннинг: Да, я думаю, здесь есть некоторые тонкости, потому что люди смотрят на эти потрясающие генеративные AI-модели видео — SAWA, VO three, что-то из этого, — и думают: Genie, и думают: «Это потрясающе».

[00:06:17] Мы решили задачу понимания мира, потому что можем создавать эти генеративные AI-видео. Но реальность в том, что хотя визуально они выглядят фантастически, за этими визуальными образами нет понимания 3D-мира, понимания того, как объекты могут двигаться, каковы последствия различных действий, а именно это необходимо для пространственного интеллекта.

[00:06:49] Мы иногда используем термин — нужны мировые модели, обусловленные действиями. Мировая модель у вас есть только тогда, когда вы можете предсказать, [00:07:00] при совершении некоторого действия, что изменится в мире в результате. И это особенно сложно на более длинных временных масштабах. Если вы просто пытаетесь

[00:07:12] предсказать следующий кадр видео — это не так сложно. Но на самом деле нужно понимать последствия, вероятные последствия действий на минуты вперёд. И для этого действительно необходима гораздо более абстрактная семантическая модель мира.

[00:07:32] Горький урок и абстракция данных

[00:07:32] swyx: Да, вопрос в том, где нужно больше структуры, чем даёт простое предсказание следующего токена.

[00:07:41] И обычно, ну, назовём это опытом последних пяти лет — всё это просто смывается масштабом, верно? Так где та правильная золотая середина, где вы не игнорируете горький урок, но при этом можете быть эффективнее, чем сейчас?

[00:07:57] Крис Мэннинг: Одна возможность — [00:08:00] послушайте, если мы просто соберём массу, массу, массу, массу видеоданных, эта проблема будет решена.

[00:08:11] При определённых допущениях это могло бы быть правдой, но есть несколько путей, по которым это может не сработать. Первый: по-настоящему важно понимание последствий действий — создание мировой модели, обусловленной действиями. А если вы просто собираете наблюдательные видеоданные — то, что легко собирать, когда вы майните видео из интернета, — вы на самом деле не

[00:08:41] знаете действия, которые совершаются, чтобы видео менялось. И если вы никогда напрямую не собираете действия и вынуждены пытаться выводить их из того, что произошло в наблюдаемом видео — это не невозможно. Но это очень [00:09:00] сложно, и пока не доказано, что это можно заставить работать при любом масштабе.

[00:09:05] Поэтому есть большая ценность в сборе видеоданных, обусловленных действиями, что отчасти объясняет интерес к использованию симуляции — чтобы собирать данные, где действия известны. Это не совсем ограниченный ресурс, но есть и предел — при максимальном количестве данных, какое только можно себе представить.

[00:09:28] Может быть, проблема в конечном счёте решаема, но хотя мы собираем огромные объёмы текстовых данных, они всегда находятся на высоком уровне абстракции, верно? Язык — это спроектированное людьми, абстрактное представление, где в каждом токене есть смысл, и он представляет абстракцию мира.

[00:09:51] Как только вы описываете кого-то как профессора, как только вы говорите, что он снисходителен — [00:10:00] это очень абстрактные описания мира. Это не то, что вы наблюдаете на уровне пикселей, и чтобы достичь такой степени абстракции, начиная с пикселей, нужно на порядки больше данных и вычислений.

[00:10:14] Поэтому, хотя мы абсолютно хотим использовать горький урок, получить как можно больше данных, тем не менее, если есть способы работать с данными на пять порядков меньше, чем у тех, кто работает чисто с пикселями, — вы сможете продвинуться гораздо дальше и гораздо быстрее.

[00:10:34] И это наша ставка. Можно сказать, что это просто желание делать всё эффективнее, быстрее, дешевле. Но я думаю, это на самом деле нечто большее. Стоит проводить аналогию с тем, как работают люди. На одном уровне — да, у нас высокое разрешение глаз, и мы можем видеть сцену как видео, но все данные нейронауки и психологии говорят о том, что бо́льшая часть того, что попадает в глаза, [00:11:00] никогда не обрабатывается.

[00:11:13] Вы делаете довольно детальную обработку именно того, на чём фокусируетесь. Но как только это за пределами фокуса — «да, там ещё какой-то парень стоит» — вы обрабатываете только сверху вниз, на очень абстрактном семантическом описании окружающего мира. Именно так работают люди.

[00:11:33] Они работают с семантическими абстракциями. И поэтому я считаю, что это просто правильное представление. Потому что у нас есть и другие цели — мы хотим создавать миры в реальном времени. Это значит, что есть ограничение на объём вычислений. И мы хотим долгосрочного планирования и согласованности. И снова — это говорит в пользу абстракции.

[00:11:55] Кстати, был недавний [00:12:00] блог-пост от наших друзей из Physical Intelligence, и они двигались в том же направлении — говорили: «О, чтобы оплатить»

[00:12:06] swyx: Pay-модель.

[00:12:07] Крис Мэннинг: Да. Да. Чтобы поддерживать долгосрочную память о том, что происходит в мире, чтобы мы могли делать более долгосрочное — мы фактически храним текст о том, что происходило в мире.

[00:12:19] Верно. Пытаться удержать всё на пиксельном уровне — не такая успешная стратегия.

[00:12:24] Vibhu: И да, это можно увидеть в видеомоделях — временна́я согласованность. При том масштабе обучения на всех видеоданных, что у нас есть — она держится может секунд 30, пару минут. Это не то же самое, что состояние игры, в которую играют полчаса.

[00:12:37] Верно. Мне кажется, вы хорошо это разбираете. У вас есть блог-пост о создании мультимодальных миров с помощью агента. Не знаю, хотите ли вы об этом поговорить. Это одна из вещей, которую я прочитал, и я

[00:12:48] swyx: подумал — да, это то, о чём я говорил, про цепочку рассуждений. Да.

[00:12:51] Vibhu: Тут есть разные фазы.

[00:12:53] Похоже, это скорее агентный скаффолд — совершенно другой подход, чем просто ввести промпт и не получить ту же согласованность. [00:13:00] Также для тех, кто слушает — я бы настоятельно рекомендовал прочитать это. Это разбирает проблему под другим углом.

[00:13:06] О чём нужно думать, когда речь идёт о видео, о моделях игровых миров? Что нужно учитывать? Какие факторы? Какие элементы? Какое состояние? Не знаю, есть ли у вас что сказать по этому поводу.

[00:13:19] Fan-yun Sun: Да. Вообще-то я хотел добавить кое-что. Да.

[00:13:22] К нашему предыдущему пункту — темы так быстро меняются. Мне кажется, иногда люди путают: «О, они используют подход с абстракцией — значит, не верят в горький урок». Это просто неправда! Мы верим в горький урок. Но вопрос, который мы всегда обсуждаем — каков правильный уровень абстракции сегодня?

[00:13:42] Аналогия, которая мне нравится: допустим, мы можем кодировать и декодировать, представлять все изображения, видео, аудио в байтах. Тогда самый «горько-урочный» подход — обучить модель предсказания следующего байта, а не следующего токена — нативно мультимодальную, просто... но да, [00:14:00] как сказал Крис, масштаб и вычисления, которые для этого нужны.

[00:14:03] Поэтому мы всегда возвращаемся к вопросу: какой самый эффективный способ? И модели рассуждения, к чему ведёт этот блог-пост, — это демонстрация: «Эй, мы реально рассуждаем о мире и рассуждаем о тех аспектах мира, которые важны для того, чтобы я научился тому, чему хочу научиться из этой мировой модели».

[00:14:21] swyx: Да, это как если бы вы улучшали энкодер того, что пытаетесь моделировать. И лучшее представление будет просто содержать важные вещи в меньшем объёме. Да. Что и будет эффективнее.

[00:14:33] Fan-yun Sun: Да.

[00:14:34] swyx: Так что да, я полностью согласен, что это не противоречит горькому уроку.

[00:14:38] Хочу упомянуть ещё одну вещь. Есть ли какие-то философские различия с JEPA-подходом, над которым работает Yann? Я должен туда пойти. Вы воображаете некую латентную абстракцию. Я типа: «Ладно, давайте об этом поговорим». Это слон в комнате.

[00:14:52] Крис Мэннинг: Да.

[00:14:53] JEPA и философские расхождения с LeCun

[00:14:53] Крис Мэннинг: Есть философские различия. Yann LeCun — мой дорогой друг, но [00:15:00] он никогда не ценил силу языка в частности или символьных представлений в целом. Yann — очень визуальный мыслитель. Он всегда утверждает, что думает визуально и в его голове нет ни слов, ни символов, ни математики.

[00:15:21] Может, для Yann это и так. Это определённо не мой способ мышления. Но в любом случае, мир по Yann — основа мира и интеллекта является визуальной, а язык — это просто низкобитрейтный механизм коммуникации между людьми, и у него мало другой полезности, и он намного уступает высокобитрейтному видео, поступающему в ваши глаза.

[00:15:53] И я думаю, он фундаментально упускает ряд важных вещей [00:16:00]. Возьмём эволюционный аргумент, посмотрим на животных. Ближайшая аналогия — шимпанзе. Шимпанзе имеют мозг, довольно похожий на человеческий. У них отличные зрительные системы, отличные системы памяти.

[00:16:18] У них лучше кратковременная память, чем у нас. Они могут планировать, строить примитивные орудия. Но люди кардинально впереди в понимании мира, в планировании, в строительстве. И по сути то, что дало нам толчок — люди смогли развить язык, и это дало символьный уровень знаний, представления и рассуждения, который стал своего рода трамплином для возможностей интеллекта мозга.

[00:16:59] [00:17:00] Философ Dan Dennett называет язык когнитивным инструментом и утверждает, что люди, уникально среди существ мира, смогли создать собственные когнитивные инструменты, и язык — первый знаменитый пример. Но и другие вещи — математика, языки программирования — тоже когнитивные инструменты.

[00:17:21] Они дают способность мыслить абстракциями, строить длинные каузальные цепочки рассуждений. И это позволяет делать гораздо больше. И мы используем это для пространственного представления, интеллекта, планирования и геймплея тоже. Поэтому мы верим — и это лежит в основе конкретных технологий, которые Moon Lake создаёт, — что символьные представления мощны.

[00:17:50] И их нужно использовать для понимания визуального мира, когда нужно каузальное понимание, когда нужно поддерживать долгосрочную [00:18:00] согласованность и предсказание. И насколько я понимаю, этого просто нет в мировоззрении Yann LeCun. Так что я думаю, в этом фундаментальное философское различие. Затем есть конкретная модель.

[00:18:11] Он продвигает JEPA — это разумное исследовательское направление для построения модели визуального мира. На мой взгляд, это одно разумное исследовательское направление. Не доказано, что оно лучшее и что все должны ему следовать.

[00:18:32] swyx: По крайней мере, разработано в масштабе в Meta.

[00:18:34] Но это ведь не только зрение, верно? JEPA — Joint Embedding Predictive Architecture — может применяться к чему угодно. И люди это делали. Аргумент в том, что существует латентное представление, которое, вероятно, лучше подходит для задачи. Тогда почему бы не дать машинам сделать это за нас, вместо того чтобы предопределять его?

[00:18:50] И разве что-то вроде JEPA — не правильный ответ? А если нет, то почему?

[00:18:55] Крис Мэннинг: Думаю, в JEPA есть часть, которая верна: [00:19:00] вам действительно нужно совместное эмбеддинг-пространство, дающее согласованную модель мира. И аргумент Yann состоит в том, что этого никогда не получить из авторегрессионных языковых моделей, потому что они как бы слева направо выдают по одному токену за раз.

[00:19:22] Наверное, здесь мы выходим на исследовательские дебаты — я на самом деле не убеждён, что это так. Потому что хотя генерация токенов — авторегрессионный процесс, идущий слева направо… ну, не обязательно слева направо. Можно и справа налево, по-арабски.

[00:19:40] Но хотя это так — все веса модели, внутренние для трансформера, — это совместная модель понимания мира моделью. И поэтому, я думаю, можно рассматривать веса модели как форму [00:20:00] совместного представления, и следовательно, вполне правдоподобно считать, что это может быть основой мировой модели, которая избегает возражений Yann.

[00:20:10] swyx: Я, кажется, понимаю, и очевидно, это повлияет на то, что Moon Lake в итоге делает. Сложно сказать, потому что вы показываете конечные результаты, но мы не знаем входные данные. Это нужно будет выяснять со временем.

[00:20:25] Vibhu: Да. То есть, по сути, здесь разбираются некоторые выходные данные. Хотите провести нас?

[00:20:31] Цепочки рассуждений и интерактивные миры

[00:20:31] Fan-yun Sun: Да. Это по сути проводит нас через цепочки рассуждений — допустим, мы хотим построить мир, в данном контексте это демо-игра, которая показывает разнообразие взаимодействий, которые эта мировая модель может создать.

[00:20:45] И да, это реально просто цепочки рассуждений: промпт — создать игру в боулинг. Как модель достигла того, что вы видели? Тот уровень каузальности, интерактивности и согласованности. Это почти просто [00:21:00] пример цепочки рассуждений. Очень

[00:21:01] swyx: подробный.

[00:21:01] Fan-yun Sun: Да.

[00:21:01] Vibhu: Очень, очень подробный.

[00:21:02] Вы даже не осознаёте этого. Когда генерируется видео — что происходит, когда шар попадает по кегле? Во-первых, звуковые триггеры срабатывают, счёт увеличивается, мир меняется. Кегли начинают падать. Идёт таймер. Это очень похоже на то, как мы сейчас привыкли к рассуждениям языковых моделей.

[00:21:20] Есть целое состояние того, что происходит. Геометрия, физика, всё такое. И затем — да, один промпт. Генерация ассетов, всё это. Это приятный вид, чтобы увидеть, что происходит «под капотом».

[00:21:32] swyx: Я думаю, Sun слишком вежлив, чтобы заметить, что и у Google Genie, и у World Labs Marble нет интерактивных миров.

[00:21:41] Fan-yun Sun: В этом и преимущество модели рассуждения. Потому что вы можете сказать: «Может, в данном контексте я хочу научиться играть в боулинг». И тогда: «Хорошо, что важно для обучения боулингу? Мне нужно понимать основы физики, и я хочу бросить шар [00:22:00] по кеглям».

[00:22:00] Я хочу знать, что при сбросе — это новая игра. То есть вы знаете, как взять шар, знаете, что шар заставит кегли упасть. Вы знаете, что в этой конкретной игре в боулинг важен счёт, и что счёт соответствует количеству упавших кеглей.

[00:22:19] Если модель просто знает, как выглядит боулинг, но не позволяет вам практиковаться снова и снова и понимать, что нужно для высокого результата — тогда она не позволяет вам научиться тому, чему вы собирались научиться в рамках мировой модели.

[00:22:38] И я думаю, это лишь один пример, показывающий преимущества нашего подхода по сравнению с тем, что сейчас доминирует — назовём это цайтгайстом, — когда люди говорят о мировых моделях.

[00:22:51] Крис Мэннинг: Верно. Кажется, вопрос, который нужно задать о мировой модели, таков:

[00:22:58] Могу ли я не [00:23:00] просто бродить по миру и смотреть на красивую графику — могу ли я взаимодействовать с объектами в мире и видеть правильные последствия действий?

[00:23:11] Vibhu: И вы также понимаете, какие будут последствия, если вы сделаете что-то. То есть не просто «если я подберу это, что-то произойдёт».

[00:23:19] Есть 50 вариантов, и я знаю, что могу предположить, что произойдёт при любом из них. Совсем другое дело, когда можно это реально увидеть и поиграть с этим.

[00:23:28] swyx: Вот,

[00:23:28] За пределами Unity: когнитивные инструменты для строительства миров

[00:23:31] swyx: тут есть два дерзких элемента. Менее амбициозный: давайте чётко объясним слушателям, чем это принципиально отличается от написания Unity-кода?

[00:23:40] Просто создать модель, которая переводит промпт в Unity-код.

[00:23:44] Fan-yun Sun: Итак, есть базовый физический движок. Да. В этом смысле есть пересечение с Unity, но мы думаем об этом так: физический движок, инструменты или код — это когнитивные инструменты, заимствуя термин Криса. [00:24:00] Инструменты, которые модель может использовать как средства для достижения цели.

[00:24:04] Сегодня мы говорим: «В данном контексте нас интересует физика, интересуют долгосрочные каузальные последствия». Тогда да, мы задействуем физический движок. А завтра мы можем сказать: «Мы обучаем, допустим, дроны, где нас интересует только гидродинамика и визуальный аспект мира».

[00:24:25] Тогда, может, модели и не нужно использовать физический движок. Или она может задействовать другие типы представлений или физических движков для решения задачи. Да, написание кода для Unity аналогично инструменту, который наша модель может использовать, но наша цель — чтобы модель осуществляла рассуждение, обусловленное представлениями.

[00:24:46] Подход или процесс.

[00:24:47] swyx: Да,

[00:24:47] Fan-yun Sun: внутренне.

[00:24:48] swyx: Да. Использовать всё это просто как вызовы инструментов. Что, на мой взгляд, очень интересно. Другой, более амбициозный элемент — некий рекурсивный аспект, где это становится мультиплеером. Здесь есть элемент одного игрока, вы не [00:25:00] моделируете других людей.

[00:25:01] И это совершенно другая история.

[00:25:04] Fan-yun Sun: Но на самом деле мы уже можем делать мультиплеер. О да, ладно. Я не видел двойных ситуаций. Просто промптнуть нашу модель: «Эй, настрой мультиплеер». И она сделает — вы сможете настроить мультиплеер.

[00:25:16] swyx: Отлично.

[00:25:17] Fan-yun Sun: Базу данных для персистентности — для вас.

[00:25:18] Легко. Да.

[00:25:19] Vibhu: И какие сейчас основные ограничения, на каком этапе мы находимся? Есть один подход — масштабировать видеопредсказатели. Очевидно, есть проблемы с данными. С подходами вроде вашего — это ограничения данных? Какие следующие шаги? Реальное время? Есть одна сторона — написать агента для Unity-кода, но хорошо, я хочу стримить игру в реальном времени.

[00:25:38] Я хочу, чтобы персонажи тоже были агентами. Куда мы видим масштабирование?

[00:25:44] Fan-yun Sun: Да, ограничение данных точно есть. Чем больше данных — тем лучше. Эта модель рассуждения может действовать практически как человек — работать с различными инструментами и программами для создания всего необходимого.

[00:25:57] И есть [00:26:00] ограничение по точности — мы решаем его другой моделью, о которой можем поговорить позже. Не так просто достичь фотореализма с нашим подходом. Но мы думаем, что есть лучшие решения — можем углубиться позже.

[00:26:14] Позже.

[00:26:15] Vibhu: Одна вещь, которую вы отмечаете — это диффузионная модель. Есть несколько подходов: диффузия, Gaussian Splatting — диффузионная модель, хотите рассказать?

[00:26:25] Fan-yun Sun: Да.

[00:26:25] Vibhu: Представить её.

[00:26:26] Fan-yun Sun: Да, конечно.

[00:26:26] Rie: нейронный рендеринг и «скины» для миров

[00:26:26] Fan-yun Sun: Итак, в рамках нашего фреймворка мировых моделей мы обучаем две модели.

[00:26:31] Есть мультимодальная модель рассуждения, о которой мы только что говорили, которая по сути обрабатывает каузальность, персистентность и логический детерминизм мира. А Rie — это наша ставка на то, что, хотя эта модель может обрабатывать всё перечисленное, её ограничение по сравнению с существующими видеомоделями в том, что у неё нет такой высокой пиксельной [00:27:00] точности прямо «из коробки».

[00:27:02] И Rie говорит: «Эй, мы можем взять любое персистентное представление, сгенерированное нашей мультимодальной моделью рассуждения, и научиться перестилизовать его в фотореалистичные стили или любые стили, которые вы хотите». Эта модель как бы говорит: «Я буду уважать персистентность и интерактивность мира, который вы создали, но моя единственная задача — убедиться, что распределение пикселей близко к тому, что мы хотим».

[00:27:29] Vibhu: Да.

[00:27:30] swyx: Отличный пример прямо здесь. Вы сохранили KL-дивергенцию.

[00:27:33] Fan-yun Sun: О. Где,

[00:27:34] swyx: нет, нет. Я имею в виду — это классический пример того, как не отклоняться слишком далеко от исходного материала, вы сохранили KL — что «О, да!» — довольно круто. Да.

[00:27:43] Fan-yun Sun: Да.

[00:27:44] swyx: В смысле, и

[00:27:44] Крис Мэннинг: Разница — и Sun на это указывал — в том, что мы, можно сказать, идём более сложным, но лучшим путём. Обычно диффузионные модели создают всю сцену целиком, и она выглядит прекрасно, [00:28:00] но за ней нет пространственного понимания, которое позволяет вести геймплей с графикой в реальном времени, обеспечивать пространственный интеллект, понимание последствий в мирах. А здесь — подход, который исходит из абстрактной семантической модели состояния мира.

[00:28:20] И затем диффузионная модель используется поверх, чтобы создать графику высокого качества.

[00:28:27] swyx: Есть ли предполагаемое практическое или бизнес-применение, или это скорее демонстрация возможностей?

[00:28:34] Fan-yun Sun: Мы реально верим, что это будет следующая парадигма рендеринга. Она заменит рейтрейсинг, заменит DLSS, потому что у неё есть не только пиксельные приоры, выученные из мира, благодаря которым можно буквально играть в любую игру в фотореалистичном стиле — а это мечта многих людей, которые играют в GTA.

[00:28:51] Типа,

[00:28:51] Vibhu: все моды, все эти люди, добавляющие идеальное освещение и прочее.

[00:28:54] swyx: То есть

[00:28:54] Fan-yun Sun: скины

[00:28:55] swyx: для миров — давайте так назовём это.

[00:28:56] Fan-yun Sun: Скины — давайте назовём это скины для миров.

[00:28:58] Vibhu: Это также как — можно называть скины, можно называть [00:29:00] кастомизация. Вы играете так, как хотите.

[00:29:01] Fan-yun Sun: Да, именно. И ещё одна вещь, на которую мы указываем конкретно в этом блоге — программируемость.

[00:29:09] Что это значит: исторически рендер всегда был производной от состояния игры. Вы говорите: «Вот состояние игры, рендерю кадр». А здесь я говорю — рендер может быть частью игрового цикла. Я могу сказать что-то вроде: «Если собрать 10

[00:29:26] яблок, моё оружие, мои пули превращаются в яблоки». И это возможно, потому что мы можем динамически привязывать определённое состояние игры к предусловиям рендера, так что рендеринг теперь тоже часть игрового цикла. Одно дело — просто внешний вид.

[00:29:47] Но другое — новые взаимодействия, которые становятся возможными, потому что этот рендер теперь обладает приорами о мире.

[00:29:57] swyx: Художнику предстоит решить, что с этим делать.

[00:29:59] Fan-yun Sun: [00:30:00] Это решать создателям. Да.

[00:30:01] swyx: Да.

[00:30:01] Fan-yun Sun: И я также думаю, что это ещё один важный аргумент, который мы выдвигаем, и причина, по которой мы делаем свою ставку: часто, будь то для embodied AI, гейминга — нужен слой, где человек может выразить своё намерение.

[00:30:15] Например, в контексте гейминга — это очевидно мой творческий замысел. А в контексте embodied AI — «Вот базовая политика, и я хочу дообучить её для развёртывания в моём доме». То есть нужен слой, где человек может сказать: «Вот распределение вещей, которые я хочу создать для достижения своей цели».

[00:30:35] И я думаю, 3D-графика сегодня — это тот самый слой для людей, чтобы сказать: «Что мне важно в этом мире?» И она позволяет человеческому намерению выражаться в этих мирах гораздо более явно и дистрибуционно, вместо того чтобы просто сказать: «Сгенерируй что-нибудь».

[00:30:54] И это просто промпты,

[00:30:55] swyx: это одна из тех вещей, где — я думаю, вы будете наращивать серию моделей. [00:31:00] Это лишь одна из них — наверное, самая полезная или самая частотная, не знаю, как назвать. Где вы можете сразу применить её к любой игре и не нужно ничего другого из того, что вы делаете.

[00:31:10] Но я вижу — я думаю, человеческое намерение — это то, к чему люди даже не привыкли. Мы так привыкли к статичным мирам или мирам, которые не реагируют. Не знаю. Вы прямо сейчас взрываете мне мозг. Мне интересно, общались ли вы с людьми на GDC?

[00:31:27] И что они будут с этим делать?

[00:31:30] Fan-yun Sun: Да. Наша позиция в том, что мы не будем креативнее наших пользователей, чтобы выпустить это.

[00:31:35] swyx: Выпустить.

[00:31:35] Fan-yun Sun: Да. Но мы хотим убедиться, что строим вещи так, чтобы они действительно позволяли пользователям выражать своё намерение.

[00:31:41] swyx: То, что вы сказали о «вот распределение, которое я хочу».

[00:31:45] Мне кажется, текст — это слишком низкая пропускная способность, чтобы по-настоящему продемонстрировать, потому что я, наверное, просто захочу закинуть кучу референсных ассетов, и вы разберётесь из этого.

[00:31:58] Vibhu: Но, наверное, нужна смесь [00:32:00] обоих подходов, верно? Закидываете несколько изображений. Я хотел такой стиль.

[00:32:02] Да. Хочу, чтобы выглядело так. Это смесь.

[00:32:05] Крис Мэннинг: Да, я думаю, это смесь. Есть очевидная визуальная компонента, и не всё можно передать текстом, потому что, конечно, вы хотите задать визуальный облик. Но также огромное количество общей картины мира и поведения вещей можно выразить несколькими словами текста.

[00:32:32] И это было бы очень трудоёмко и сложно сделать визуальными средствами. Так что да, нужна комбинация обоих.

[00:32:40] Оценка мировых моделей

[00:32:40] Vibhu: У меня вопрос: как мы будем оценивать мировые модели? Есть много осей. Одна — насколько мы следуем промптам. Другая — симуляция. Третья — не нарушена ли базовая логика. Мы знаем, как оценивать диффузию — точность воспроизведения [00:33:00] и прочее. Но какие вызовы большинство людей, вероятно, не учитывает?

[00:33:00] и тому подобное. Но о каких сложностях большинство людей, скорее всего, не думает?

[00:33:04] Fan-yun Sun: Да, я думаю, это отличный вопрос и, вероятно, один из самых сложных вопросов в области мировых моделей. Потому что всё всегда сводится к: «Для чего вы строите эту мировую модель?»

[00:33:13] И в зависимости от конечной цели и назначения, оценка должна различаться. В контексте игр самый прямой способ измерения — сколько времени люди реально проводят в созданном вами мире. А если цель — например, развернуть embodied AI-агента, то ваша конечная метрика —

[00:33:33] «Насколько устойчива модель при развёртывании в целевой среде после обучения в сгенерированных мирах». Но измерять эти конечные метрики сложно. Сегодня есть прокси-метрики, которые, я бы сказал, пытаются приблизиться к тому, что нас действительно волнует — конечным метрикам, — но они разные для каждого применения.

[00:33:57] Да,

[00:33:57] Vibhu: что выглядит как серьёзный вызов. [00:34:00] В языковых или видеомоделях, моделях для изображений — ваши бенчмарки тоже прокси, верно? Люди не спрашивают настоящие вопросы про следование инструкциям и использование инструментов. Это прокси того, насколько хорошо модель покажет себя в реальных задачах. Но для мировых моделей — стоит ли командам и компаниям создавать свои собственные бенчмарки помимо игр?

[00:34:16] Если подумать о видеопроизводстве, кино и подобном — они тоже хотят использовать мировые модели. Стоит ли им создавать свои прокси? Вы это делаете? Как это всё связано?

[00:34:28] Крис Мэннинг: Да, я думаю, вся эта область сейчас чрезвычайно сложна, по мере того как всё развивается.

[00:34:35] И я имею в виду не только мировые модели — это касается всего, включая текстовые модели. На ранних этапах казалось очень легко создавать хорошие бенчмарки — были бенчмарки ответов на вопросы, можно ли ответить на вопрос по документам, разные виды логического рассуждения или математики.

[00:34:58] Но опять же, это были [00:35:00] своего рода… И были визуальные аналоги вещей вроде распознавания объектов — для таких мелких компонентных задач. Сегодня столько из того, что люди хотят делать с языковыми моделями, совершенно на это не похоже. Вы хотите провести диалог с языковой моделью и получить рекомендации, какой рюкзак лучше для вашей поездки по Европе в следующем месяце.

[00:35:25] И это совсем другое, верно? И не так-то просто создать бенчмарк для того, обеспечивает ли вам эта языковая модель эффективное взаимодействие для покупок? И с мировыми моделями та же проблема. Если взять кейс дизайна игр — успех в том, что дизайнер игры может

[00:35:57] воплотить то, что он [00:36:00] представляет, за разумное время. И это, по сути, макро-задача. Это очень сложно превратить в бенчмарк, и я думаю, во многом это будет решаться тем, что люди будут «голосовать ногами». Именно это, пожалуй, происходит на уровне больших языковых моделей?

[00:36:23] Когда люди выбирают — использовать GPT-5, Gemini или Claude — они пробуют разные модели и решают: «Мне нравятся ответы GPT-5» или «Нет, я чувствую, что Claude даёт более точные детали».

[00:36:43] Vibhu: Это много

[00:36:43] Крис Мэннинг: вайб-чека. Люди просто пользуются.

[00:36:45] Это вайб-чекинг. Я понимаю, но это реально вопрос, чувствуют ли люди, что модель приносит им пользу в том, что им нужно.

[00:36:52] Vibhu: И интересно, что многие люди предпочитают визуальное — «это красиво» — что не является целью того, для чего это создано. [00:37:00] Если дизайнер игры работает над чем-то, ему важен игровой движок.

[00:37:04] Состояние. Выглядеть может как угодно. Потом поправите. Или у вас отличное состояние игры, и можно быстро сделать 20 разных версий. Сохранить состояние,

[00:37:14] Крис Мэннинг: верно?

[00:37:14] Vibhu: Так что

[00:37:14] Крис Мэннинг: это действительно важное различие, и это говорит в пользу Moon Lake. Да, красивая графика прекрасна, чтобы посмотреть пару секунд, но игры — это в первую очередь концепция, геймплей.

[00:37:33] И часто для этого даже не нужна великолепная графика. Есть масса очень успешных игр с довольно примитивной графикой, и есть другие игры, где потратили миллионы на фотореалистичную графику, а игра никуда не годится. Разделять эти две оси очень важно для понимания того, что важно в мировой модели [00:38:00] для разных применений.

[00:38:02] swyx: Этот разговор напоминает мне обсуждения обзоров игр и художественной литературы из моей не-AI жизни. Некоторые, может, знают Brandon Sanderson, очень известного автора, который ещё и большой обзорщик игр. Он фанат видеоигр, где меняется одна вещь в том, что вы бы предположили о мире.

[00:38:22] Например, Baba Is You — не знаю, встречали ли вы, — где правила меняются по ходу игры. А также где можно, например, выборочно обращать время вспять или менять гравитацию. И это также напоминает мне другие виды мировых моделей, создаваемых авторами.

[00:38:38] Где Ted Chiang — мой типичный пример — берёт мир, который вы знаете сегодня, меняет в нём одну вещь и создаёт последовательный мир на основе этого. Что является длинным ответом, чтобы сказать: легко ли создавать альтернативные миры, которых не существует, но вы меняете одну вещь и пропускаете через них кучу людей, чтобы проверить, работает ли.

[00:38:58] Крис Мэннинг: Мой первый ответ — [00:39:00] это кажется гораздо более осуществимым и реальным с технологией вроде Moon Lake, чем с другими мировыми моделями. А Sun может рассказать, как это реализовать — дам ему дать второй ответ.

[00:39:15] swyx: Для вас, я так понимаю, вы ограничены инструментом игрового движка?

[00:39:18] Это, по сути, ваш партнёр для мышления. Если я попрошу что-то, где время нельзя обратить или гравитация работает только в одну сторону — ну, это ограничение. Но иногда гравитация может измениться.

[00:39:33] Fan-yun Sun: Но менять это в коде гораздо проще, чем в модели, обученной преимущественно на данных из

[00:39:42] реального мира и виртуальных миров. Я думаю, например, Junior — на самом деле обучена на множестве реальных и виртуальных игровых данных, и сложно сказать — может, проще изменить визуальный стиль, временной период мира. Но нельзя изменить гравитацию, [00:40:00] например.

[00:40:00] Vibhu: Мне кажется, можно, но в определённых границах. Всё сводится к тому, что код — лучший способ это реализовать, но модели не настолько разнообразны и креативны. Можно сказать «сделай гравитацию медленнее» — модель это сделает, но ограничена вашим текстовым представлением. Они сделают лишь несколько итераций, тогда как программно, если под капотом игровой движок — можно развернуться по полной.

[00:40:22] Одно из ограничений большинства моделей — они переобучены под один стиль. И добывать разнообразие довольно сложно. По крайней мере, это то, что мы наблюдали.

[00:40:35] Fan-yun Sun: Есть примеры, которые вы имеете в виду, где с существующими моделями было бы проще сделать то, что не делается через код?

[00:40:43] Определённые виды творческого замысла или переходов состояний,

[00:40:47] swyx: Клиппинг. Другие модели, другие мировые модели отлично справляются с клиппингом. Мои ноги проходят сквозь камень, потому что это просто… плохо. [00:41:00] Вам бы пришлось очень сильно постараться с вашими инструментами, чтобы это произошло.

[00:41:04] Что, я думаю, возможно, связано с темой, которую вы подготовили — Gaussian Splatting против других подходов.

[00:41:09] Vibhu: Да. Для тех, кто не очень в теме — есть Gaussian Splatting, есть диффузия. Что работает, что масштабируется. Помнится, в феврале, когда вышла Sora — блог-пост буквально назывался:

[00:41:21] swyx: Вы его поднимаете.

[00:41:22] Никогда не знаешь.

[00:41:23] Vibhu: «Модели генерации видео — это мировые симуляторы». Абсолютно в духе горького урока. Много эмерджентности. По сути, весь их тезис — если масштабировать, вся эта согласованность просто решается. Очень простая предпосылка.

[00:41:41] Они просто масштабировали диффузию, и с тех пор — это февраль 2024 — прошло уже два года, что по AI-времени равно пяти годам. Сколько ещё нужно просто масштабировать — или мы упрёмся в потолок данных? Но я думаю, мы уже много об этом говорили — это возвращает нас к началу дискуссии о том, что уместно на данный момент. [00:42:00]

[00:42:01] И это, похоже, ваш подход?

[00:42:03] Fan-yun Sun: Да. Мысль, которую я пытаюсь донести — есть очень, очень много разных типов мировых симуляторов. И мировой симулятор, который может производить пиксельную когерентность, — это очень полезно для игр, маркетинга и прочего. Но он не настолько полезен, как люди думают, когда речь идёт о каузальном рассуждении.

[00:42:25] Когда речь об embodied AI. Да, этот тезис верен. Мы не говорим, что это плохой мировой симулятор. Но ставка, которую мы делаем в нашем блоге, — скорее о том, что непропорционально большая доля ценности реальных и виртуальных задач не требует высокого разрешения пикселей.

[00:42:47] Да. Видеомодели имеют свою ценность.

[00:42:50] swyx: Да. Это на пределе моего понимания физики, но один пример — по сути, решение эквивалента задачи трёх тел в детерминированном мире, где видеомоделям — достаточно хорошее приближение. [00:43:00] Да.

[00:43:08] Есть точка, после которой ваш подход упирается в: «Теперь нужно симулировать мир. Будьте добры». И вы пытаетесь это делать, но лишь в той мере, в какой позволяет игровой движок. А игровые движки не могут некоторые вещи.

[00:43:23] Fan-yun Sun: Да, нет, я думаю, более интересный или технический вопрос здесь — где провести границу между

[00:43:32] тем, что обрабатывается, скажем, диффузионным приором, и тем, что обрабатывается символьным приором?

[00:43:38] swyx: Да.

[00:43:38] Fan-yun Sun: Так.

[00:43:38] swyx: Так.

[00:43:39] Fan-yun Sun: Верно. Давайте пойдём туда. Потому что эта граница на самом деле может быть подвижной. Я думаю, возможно, вы пытаетесь сказать: «Ладно, люди говорят — пиксельный приор, всё через него». А мы говорим: «Есть граница, которую мы проводим там, где считаем, что она обеспечивает максимальную экономическую ценность для доменов и задач, которые нас волнуют сегодня».

[00:43:59] [00:44:00] И на самом деле — это то, что мы делаем внутри команды всё время: «Учитывая новые уравнения, которые мы узнали, или новые элементы мира, или знания, полученные в процессе разработки моделей — нужно ли сохранять эту линию именно там, где она сегодня?»

[00:44:22] Или сдвинуть её немного влево или вправо? Иногда мы понимаем, что клиенты или пользователи хотят вещи, которые лучше обрабатываются диффузионным приором, а не символьным, и тогда —

[00:44:34] swyx: Да. Ваша штука со «скинами» — это пример сдвига.

[00:44:37] Да.

[00:44:37] Или влево. Да,

[00:44:37] Fan-yun Sun: именно.

[00:44:38] swyx: Я не знаю, что здесь лево, что право.

[00:44:39] Fan-yun Sun: Да, да, да. Нет, модель.

[00:44:42] swyx: Да.

[00:44:42] Fan-yun Sun: На самом деле у нас есть несколько итераций. Они находятся на слегка различных

[00:44:45] swyx: границах. Стоит это показать. Это крутое измерение.

[00:44:49] Fan-yun Sun: Да.

[00:44:50] swyx: Квантовая механика — это диффузионный приор нашего мира?

[00:44:55] Это как граница классической механики и квантовой, верно? В одном [00:45:00] случае Бог играет в кости, а в другом — нет.

[00:45:02] Fan-yun Sun: Не знаю, хочет ли Крис ответить, но в целом я думаю, что физика лучше описывается символьными приорами.

[00:45:08] Крис Мэннинг: Даже квантовая физика.

[00:45:09] Fan-yun Sun: Даже квантовая физика.

[00:45:11] swyx: Да. Это уже начинает уходить в территорию MLST — так я это называю, — он любит пофилософствовать. Мы дружим.

[00:45:18] Vibhu: Нам нужна сингулярность. Я что-то слышал об этом.

[00:45:23] swyx: Нет, нет, я думаю, это действительно полезно, и, боже, я просто хочу, чтобы вы это продуктизировали — как продуктовый человек, я прямо: «О, а также

[00:45:32] Vibhu: как геймер, я

[00:45:33] swyx: хочу — это как исследователь, типа, круто.

[00:45:35] Это — теоретическая — у вас очень хороший, не знаю, способ думать об этих вещах. Но я просто хочу увидеть, как вы это выразите. Я думаю, когда вы оставляете открытыми новые инструменты — «используйте человеческое намерение для рендеринга» —

[00:45:52] художникам потребуется два-три года, чтобы понять, что с этим делать. И вы просто не знаете.

[00:45:57] Крис Мэннинг: Верно. Но я думаю, [00:46:00] это даёт обществу гораздо более доступный и контролируемый мир, в чём красота NLP. Это позволит ему быть принятым и использоваться.

[00:46:10] И мы очень на это надеемся. Да,

[00:46:13] Fan-yun Sun: да. Да. Мы на самом деле очень сфокусированы на коммерциализации в том смысле, что мы действительно верим в подход с маховиком данных. Да. Мы даём это в руки создателей и пользователей, и они покажут нам, какие возможности нашей модели нужно улучшить.

[00:46:27] Поэтому у нас уже есть продукт в бете.

[00:46:31] swyx: Да. Фокусируетесь на играх. Что следующее, смежное с играми?

[00:46:34] Fan-yun Sun: Embodied-смежное, по сути. Может, начну с того, где мы видим платформу через три года. Пользователи скажут нам, чего хотят достичь.

[00:46:45] Конечная цель может быть: «Я просто хочу сделать что-то, чтобы научить моих детей ценности скромности». Или: «Я хочу дообучить свои дроны быть действительно хорошими в спасательных ситуациях». Или роботы-пылесосы. «Я хочу обучить [00:47:00] робота-манипулятора или робота-пылесоса робастно работать в моём офисе».

[00:47:04] Что бы это ни было — робастность сценарию к

[00:47:06] swyx: «моему офису».

[00:47:07] Fan-yun Sun: Или робастная навигация в моём офисе. Суть в том, что какой бы ни была ваша конечная цель, наша мировая модель скажет: «Хорошо, учитывая то, чего вы хотите достичь, давайте сгенерирую распределение сред, в которых можно обучить и оценить то, что вам нужно».

[00:47:24] Да. Для игр — это просто конечная симуляция, и это конечный продукт. Для определённых политик — «Я могу обучить их в этих средах и помочь вам увидеть, где ваша политика проваливается, а где нет». И тогда, я думаю,

[00:47:37] swyx: В таком случае — гораздо больше инструмент для обучения.

[00:47:40] Чем в других случаях, обучение —

[00:47:41] Vibhu: и оценка? И то, и другое.

[00:47:43] swyx: Конечно. Одно и то же.

[00:47:43] Fan-yun Sun: Да, одно и то же. Я думаю, это просто мировая модель, которая позволяет людям обучать любую политику, способную действовать в любых мультимодальных средах.

[00:47:51] swyx: Стало бы сложнее «хакнуть» награду? Есть ли тут аспект, где хакнуть награду сложнее? Просто скажу в общем, потому что это очевидно ключевая [00:48:00] проблема для многих при обучении агентов в таких средах, и я не знаю — можете ли вы её решить?

[00:48:07] Крис Мэннинг: Думаю, не обязательно. В той мере, в какой награда задана некорректно, — кажется, её можно хакнуть как в более символьном, так и в более пиксельном мире. Не знаю, есть ли у Sun мысли, но я не думаю, что это действительно решается.

[00:48:26] swyx: Ещё одна мысль: вы могли бы просто построить лучшую Sora — как модель генерации видео.

[00:48:31] Тогда вы сдвинули бы диффузионную сторону ещё правее — если я правильно понял направление. И всё.

[00:48:40] Vibhu: Это лучше на конкретных доменах, верно? По согласованности в том, что существует, против того, чего нет.

[00:48:46] Крис Мэннинг: Так что

[00:48:46] swyx: да. Да.

[00:48:49] Vibhu: Вопрос скорее в том…

[00:48:51] swyx: Я просто фантазирую — что можно построить, понимаете?

[00:48:54] С тем, что у вас есть. Я думаю, учёный сразу думает об обучении [00:49:00] и оценке, но искусство обычно идёт в неожиданных направлениях. Возможно, вы в итоге —

[00:49:06] Крис Мэннинг: Да. Но вопрос в том: можно ли с помощью этого софта создать увлекательный геймплей? И я не думаю, что с Sora можно создать увлекательный геймплей.

[00:49:19] Если вы хотите мир, по которому можно немного побродить — пожалуйста. Но насколько вы можете реализовать механики геймплея так, как хотите, и сохранить долгосрочную историю вашего геймплея, влияющую на будущие действия? Думаю, там просто нет ничего для этого.

[00:49:39] swyx: Да, я склонен согласиться. Просто пытаюсь прощупать границы. Ещё замечу, что по мере развития индустрии AAA-игр грань между фильмом и игрой размылась. И вы в итоге по сути создаёте двухчасовой фильм как часть игры.

[00:49:57] Fan-yun Sun: Нет, честно, есть [00:50:00] столько применений на смежных рынках, куда может выйти наша мировая модель. Да. Но рассуждать об этом, конечно, интересно, хотя на стороне исполнения мы должны оставаться сфокусированными — какие возможности мы хотим открывать поэтапно.

[00:50:11] И есть дорожная карта для этого. Но да, если мы просто фантазируем о возможностях — они бесконечны. Классика.

[00:50:18] swyx: И в моём представлении эмбеддинги «возможностей» и «бесконечности» очень близки друг к другу. Да. Хочу сфокусироваться на одном — необычном выборе. Не знаю, необычном ли.

[00:50:28] Может, я что-то нащупал. Аудио. Вы могли бы просто сказать «никакого аудио». Аудио, на мой взгляд, содержит много рекурсии, тогда как в видео можно просто сделать рекастинг — и это вычислительно гораздо проще. Аудио кажется намного сложнее. Не хотите прокомментировать 3D-аудио?

[00:50:46] Правда ли это нужно было делать? Наверное, да, для иммерсивности. Но многие относятся к этому как: «Ну, просто приклеишь TTS-модель поверх».

[00:50:57] Vibhu: Ну, в игровом аудио намного больше, чем [00:51:00] просто речь. Это не только

[00:51:01] swyx: TTS. Да. TTS, SFX, музыка. Пространственное — в моём понимании — эхо.

[00:51:06] Крис Мэннинг: Да.

[00:51:06] swyx: И отражения.

[00:51:07] И я даже не знаю, что ещё. Не знаю, какие ещё проблемы есть в этой области.

[00:51:13] Fan-yun Sun: Да, я думаю, это скорее указывает на преимущества использования игрового движка как инструмента, доступного модели. Потому что часть пространственного аудио обеспечивается кодом, лежащим в основе симуляции.

[00:51:32] И хотя мы даём нашей модели доступ к другим типам аудиомоделей как инструментам —

[00:51:39] swyx: Ни одна из них, наверное, не пространственная.

[00:51:41] Fan-yun Sun: Но в этом-то и суть. Мы даём нашей модели абстракцию или набор инструментов, позволяющий ей достигать этого. И можно утверждать, что пространственное аудио — это своего рода эмерджентное свойство инструментов и абстракций, которые мы предоставляем агентам.

[00:51:59] И я думаю, в этом красота [00:52:00] этого подхода — многое, как и в том, как люди строили технологии, — это кубики Lego, надстраивающиеся друг над другом. И здесь то же самое. Есть вещи, которые просто возникают из способности комбинировать элементы комбинаторно интересными способами.

[00:52:14] Крис Мэннинг: Верно.

[00:52:15] Эта интегрированная аудиомодель использует понимание и семантику мира Moon Lake. Тогда как для генеративных AI-моделей видео в целом нет никакой реальной интеграции с аудио. Кто-то может наложить музыку или звуковой ландшафт поверх видео,

[00:52:44] чтобы оно не было немым, но они никак не связаны в единую мировую модель. И нет ничего вроде: «В видео происходит действие — значит, звук должен [00:53:00] идти из этой части визуального поля».

[00:53:03] swyx: Да.

[00:53:03] Vibhu: А у Sora по-другому? У неё нет аудио?

[00:53:06] Не то чтобы это не

[00:53:08] swyx: впечатляло —

[00:53:08] Vibhu: это не пространственное

[00:53:09] swyx: аудио.

[00:53:09] Vibhu: Нет,

[00:53:10] swyx: нет. Я достаточно с ней поиграл. Звучит так, будто кто-то наложил голос ElevenLabs и попытался сделать синхронизацию губ.

[00:53:18] Vibhu: А, да. Я видел — сгенерировать собаку на пляже и реакцию на большую волну, и движение

[00:53:23] swyx: вокруг.

[00:53:23] Определённо — пусть собака отойдёт от камеры и посмотрите, стихнет ли звук. Не стихнет. Потому что у них нет пространственного аудио.

[00:53:32] Fan-yun Sun: Мы хотим — наша модель, та, которую мы обучаем, — движется к цели иметь единое латентное представление для всех этих разных модальностей.

[00:53:42] Чтобы модель могла рассуждать через разные модальности. Например, если я закрою глаза и вы воспроизведёте звук машины, которая со скрипом уезжает от меня — я почти могу визуально экстраполировать эту траекторию в уме. И такую способность мы хотим от нашей модели.

[00:53:59] Именно поэтому [00:54:00] мы придерживаемся мультимодального подхода к рассуждению. Мы хотим это объединённое латентное пространство, которое может —

[00:54:05] swyx: Да. О, вы сказали «латентное пространство». Мы это любим. Здесь мы должны включить звонок. Каждый раз, когда кто-то говорит «латентное пространство». Нет, вам надо обучить модель «Сорвиголова». Где только аудио, но вы должны определить,

[00:54:15] где всё находится.

[00:54:19] Круто. Я думаю, это было примерно всё по Moon Lake. У нас есть пара вопросов к Крису Мэннингу по IR и вообще по темам NLP, привлекающим внимание.

[00:54:31] Vibhu: Хорошо.

[00:54:31] swyx: Давайте.

[00:54:32] Путь Криса Мэннинга: от NLP к мировым моделям

[00:54:32] Vibhu: Ну, да, просто интересно. Мы немного поговорили о том, как вы познакомились. Но вы, по сути, крёстный отец NLP.

[00:54:39] Вы провели всю карьеру — от ранних эмбеддингов, раннего внимания. У вас была работа 2015 года по вниманию для машинного перевода, всё это. У вас был information retrieval — то есть RAG до RAG, просто хочу это отметить и выразить восхищение. Так что побудило вас переключиться на мировые модели?

[00:54:56] Как всё это произошло?

[00:54:58] Крис Мэннинг: Отчасти ответ — [00:55:00] это энтузиазм и креативность студентов. Но есть и предыстория. Да. Очевидно, бо́льшую часть карьеры я работал с языком, и в исследования меня привело мышление: «Это так потрясающе — как люди могут производить речь и понимать друг друга в реальном времени».

[00:55:21] И как-то они умудряются учить языки с детства. Как это вообще возможно? В начале я был очень сфокусирован на языке, но к 2010-м годам я начал — я работал над ответами на вопросы, и затем стал интересоваться визуальными ответами на вопросы.

[00:55:42] И это была область, где было очень заметно, что визуальное понимание плохое. В те дни казалось, что визуального [00:56:00] понимания почти нет. Ответы просто шли из приоров. Если спросить: «Сколько людей сидит за столом?» — модель всегда отвечала «два», независимо от того, сколько людей видно на картинке.

[00:56:11] Стало ясно, что эти модели не могут извлекать семантическую информацию из изображений. И мне стала интересна эта проблема, я стал больше над ней работать. А для этого нужно было больше знать о происходящем в компьютерном зрении и о том, как представлять визуальную информацию.

[00:56:34] И тут начала происходить революция генеративного AI для изображений. У меня были студенты, которые начали это исследовать ещё до эпохи Moon Lake. Я также работал с Demi Guo, которая основала Pika. И

[00:56:50] swyx: И Ian, очевидно.

[00:56:52] Крис Мэннинг: С GAN-ами. Да. Хотя Ian никогда не был моим студентом, но да, Ian — я хорошо знал на протяжении всего того десятилетия с GAN-ами.

[00:56:59] [00:57:00] Да. Ian учился на бакалавриате в Стэнфорде, но да,

[00:57:03] Vibhu: Richard Socher, кажется, был вашим студентом.

[00:57:06] Крис Мэннинг: Да. Да. И в то время были связи. В ту эпоху было несколько работ — Andrej Karpathy был аспирантом одновременно с Richard.

[00:57:20] И были совместные работы на стыке языка и зрения в ту эпоху. По современным стандартам это кажется древним, но да, мы пытались переходить от текстовых графов зависимостей к визуальным сценам.

[00:57:32] Vibhu: В то время. GloVe-эмбеддинги действительно вытеснили многое из TF-IDF, one-hot кодирования и прочего.

[00:57:38] Ранние визуально-языковые модели, которые мы видели, были как LLaVA-стиль адаптеры, верно? Это технически всё ещё просто эмбеддинг, латентное пространство. Добавим изображение, смешаем модальности. И это тоже одна из вещей, которую вы активно продвигали.

[00:57:51] swyx: Да.

[00:57:51] Vibhu: Да.

[00:57:52] swyx: Да.

[00:57:52] Наём, завершение и название «Moon Lake»

[00:57:55] swyx: Что ж, спасибо за всё это. Спасибо за продвижение мирового моделирования.

[00:57:56] Честно говоря, я думаю, если люди глубоко поймут всё, что мы только что обсудили, [00:58:00] они увидят, что нас ждёт. Вы сделали действительно значимый вклад. Кого вы ищете? Мы договорились, что CTA — это приглашение к найму.

[00:58:10] Да. Разве не — вам ведь больше не нужны инженеры?

[00:58:14] Fan-yun Sun: Да. Со стороны моделей мы стремимся к самоулучшающейся системе. Но это значит, что нам нужны люди, которые настроят эту самоулучшающуюся систему. Конкретнее — люди на стыке кодогенерации, компьютерного зрения и графики.

[00:58:30] Да. Это основной исследовательский бэкграунд, который мы ищем в команде, и большинство в команде сегодня имеют оба направления.

[00:58:38] swyx: Когда вы говорите «компьютерное зрение и графика» — это одно и то же или компьютерное зрение — это одно, графика — другое? И насколько они переплетены?

[00:58:46] Крис Мэннинг: Они переплетены, но различны.

[00:58:49] swyx: Да.

[00:58:49] Крис Мэннинг: И это связано с некоторыми темами, которые мы обсуждали. Более явные [00:59:00] мировые модели, которые строятся внутри Moon Lake, опираются на традицию компьютерной графики. И затем это объединяется с визуальным пониманием из компьютерного зрения.

[00:59:16] swyx: Понял. Да. Хорошо. Значит, если вы написали игровой движок — приходите к нам, верно?

[00:59:21] Fan-yun Sun: О да, определённо. Определённо. Но я думаю, что граница сейчас размывается — если у вас общее понимание компьютерного зрения и графики,

[00:59:31] swyx: По вашим стандартам — да. Для меня зрение — это…

[00:59:35] Это оставлю большим лабам. Графика — я бы хотел подойти к ней с первых принципов, но зрение — столько моделей готовых, которые можно взять. Но, наверное, недостаточно хороших для ваших задач.

[00:59:45] Fan-yun Sun: Понимаю. Если вы проводите такое различие, то, может, нам чуть важнее знания в графике.

[00:59:51] swyx: Знания.

[00:59:51] Да, именно.

[00:59:52] Иногда приглашение к найму может быть простым: «Если вы знаете ответ на такой-то вопрос — поговорите с нами». Типа ключевая известная сложная [01:00:00] проблема в вашем мире.

[01:00:01] Fan-yun Sun: А, понял. Да. В таком случае — если вы когда-нибудь писали игровой движок, если вы обучали различные модели кодирования на разных целевых функциях —

[01:00:13] swyx: Легко.

[01:00:13] Многие из таких, да.

[01:00:14] Fan-yun Sun: Если вы занимались мультимодальным выравниванием латентных пространств — я намеренно включаю

[01:00:20] swyx: «пространство».

[01:00:20] Fan-yun Sun: Снова,

[01:00:21] swyx: бедный редактор — каждый раз срабатывает. Да. Выравнивание латентных пространств. Честно — это так сложно?

[01:00:26] У меня есть сохранённые скрипты на тот день, когда мне придётся это делать, но пока не приходилось.

[01:00:31] Но это

[01:00:32] Fan-yun Sun: сделано, думаю. Да. Есть версии, которые уже реализованы. Но мы выравниваем аудио, текст, язык и видео. Да. И наши мировые модели способны действовать как агенты в этих мирах, извлекать длинные горизонтные видео и кодировать их обратно в модель для самоулучшения.

[01:00:52] Это безумно увлекательная, но и технически сложнейшая задача. Да. Люди, которые хотят создать лучшую работу в своей жизни, — [01:01:00] Moon Lake — то самое место.

[01:01:01] Vibhu: Сколько вас? Где вы базируетесь?

[01:01:02] Fan-yun Sun: Сейчас мы в Сан-Матео, хотя переезжаем в Сан-Франциско. Нас около 18 человек.

[01:01:08] swyx: Мой завершающий вопрос — почему такое название?

[01:01:10] Что стоит за названием?

[01:01:11] Vibhu: Да.

[01:01:12] Fan-yun Sun: О,

[01:01:14] Vibhu: Очень крутой графический дизайн, кстати.

[01:01:16] Fan-yun Sun: Когда мы основывали компанию, мы много думали о том, как сделать название, которое давало бы людям вайб OpenAI, но почти с атмосферой Industrial Light & Magic.

[01:01:28] Ух ты. Потому что нам важна креативность, и мы используем её как воронку к AGI. Мы много обсуждали Dreamworks, Industrial Light & Magic. Было несколько семантических пространств, которые мы чувствовали очень близкими к идентичности компании.

[01:01:47] swyx: Да.

[01:01:48] Fan-yun Sun: И в итоге получилось Moon Lake — частично из-за вайба Dreamworks, луна Dreamworks —

[01:01:54] swyx: Озеро.

[01:01:55] Fan-yun Sun: Именно. Да. Это было частью вдохновения. А луна [01:02:00] — это ещё и про отражение. Часть с отражением также подразумевает петлю самоулучшения.

[01:02:07] Ого. Во что мы верим, и это путь к мультимодальному общему интеллекту. Вот так. Оставлю это — я люблю хорошее

[01:02:15] swyx: название. Я люблю хорошее название. Это отличное. Это

[01:02:16] Vibhu: очень

[01:02:17] swyx: хорошее название. Очень хорошее. Рад, что задал вопрос. Ещё скажу — одна из моих любимых книг-биографий — Creativity Inc.

[01:02:24] История Ed Catmull о Pixar — как его отвергли как художника-аниматора Disney. И тогда он ушёл в программирование и пробился обратно силой. Нет, я обожаю эту историю. Да. Disney.

[01:02:37] Fan-yun Sun: Да. Walt Disney — тоже один из моих любимых основателей. Его история. В то время: «Я собираюсь создать этот иммерсивный парк». У людей даже не было технологий для виртуального создания, но они: «Знаете что, давайте построим его физически, чтобы люди могли —»

[00:30:00] swyx: Так он — первый создатель мировых моделей.

[00:30:00] Нет, правда.

[01:02:52] Fan-yun Sun: Нет, я говорю людям: тематические парки — это тоже мировые модели.

[01:02:56] swyx: Мм. Да. Да. Да. В смысле — «Маленький мир» или центр Epcot со всеми маленькими [01:03:00] репликами стран.

[01:03:03] Да. Это очень интересно. Что ж, спасибо, мы обсудили огромное количество тем. Спасибо за ваше время и за то, что вдохновляете нас.

[01:03:10] Fan-yun Sun: Спасибо

[01:03:10] swyx: что пришли. Спасибо. Было весело.

[01:03:11] Fan-yun Sun: Было классно поболтать. Да. Отлично провели время.

Возможно, с ним может сравниться только датасет Pokemon Go!