Moonlake: Causal World Models should be Multimodal, Interactive, and Efficient — with Chris Manning and Fan-yun Sun

Moonlake: Causal World Models should be Multimodal, Interactive, and Efficient — with Chris Manning and Fan-yun Sun

Moonlake: каузальные мировые модели должны быть мультимодальными, интерактивными и эффективными — с Крисом Мэннингом и Fan-yun Sun

We’ve been on a bit of a mini World Models series over the last quarter: from introducing the topic with Yi Tay, to exploring Marble with World Labs’ Fei-Fei Li and Justin Johnson, to previewing World Models learned from massive1 gaming datasets with General Intuition’s Pim de Witte (who has now written down their approach to World Models with Not Boring), to discussing the Cosmos World Model with with Andrew White of Edison Scientific on our new Science pod, to writing up our own theses on Adversarial World Models. Meanwhile Nvidia, Waymo and Tesla have published their own approaches, Google has released Genie 3, and Yann LeCun has raised $1B for AMI and published LeWorldModel.

За последний квартал мы провели небольшую серию о мировых моделях: от введения в тему с Yi Tay, до исследования Marble с Fei-Fei Li и Justin Johnson из World Labs, до превью мировых моделей, обученных на массивных1 игровых датасетах с Pim de Witte из General Intuition (который теперь изложил их подход к мировым моделям совместно с Not Boring), до обсуждения мировой модели Cosmos с Andrew White из Edison Scientific в нашем новом подкасте о науке, до публикации наших собственных тезисов об адверсариальных мировых моделях. Тем временем Nvidia, Waymo и Tesla опубликовали свои подходы, Google выпустила Genie 3, а Yann LeCun привлёк $1 млрд для AMI и опубликовал LeWorldModel.

Today’s guests have a radically different approach to World Modeling to every player we just mentioned — while Genie 3 is impressive, its many flaws demonstrate the issues with their approach - terrain clipping, noninteractivity (single player, no physics/no objects other than the player move), and maximum of 60 second immersion.

Сегодняшние гости предлагают радикально иной подход к мировому моделированию по сравнению со всеми вышеупомянутыми игроками — хотя Genie 3 впечатляет, её многочисленные недостатки демонстрируют проблемы их подхода — клиппинг местности, отсутствие интерактивности (один игрок, нет физики / никакие объекты кроме игрока не двигаются) и максимум 60 секунд погружения.

Moonlake AI (inspired by the Dreamworks logo) is the diametric opposite - immediately multiplayer, incredibly interactive, indefinite lifetime, capable of MANY different kinds of world models by simulating environments, predicting outcomes, and planning over long horizons. This is enabled by bootstrapping from game engines and training custom agents:

Moonlake AI (вдохновлённая логотипом Dreamworks) — полная противоположность: сразу мультиплеер, невероятная интерактивность, неограниченное время жизни, способность создавать МНОЖЕСТВО различных мировых моделей путём симуляции сред, прогнозирования последствий и планирования на длинных горизонтах. Это стало возможным благодаря bootstrapping-у от игровых движков и обучению кастомных агентов:

In Towards Efficient World Models, Chris Manning and Ian Goodfellow join Fan-Yun in explaining why their approach to efficiency with structure and casuality instead of just blind scaling is sorely needed:

В статье Towards Efficient World Models Крис Мэннинг и Иэн Гудфеллоу вместе с Fan-Yun объясняют, почему их подход к эффективности через структуру и каузальность вместо слепого масштабирования крайне необходим:

SOTA models still show physical or spatial understanding glitches, such as solid objects floating in mid-air or moving “inside” other solid objects.

If the goal is to plan for the next action, how often is a high-resolution pixel view necessary for modeling the world? Our bet is that there is a disproportionately large share of economically valuable tasks where such detail is not required. After all, humans with a wide variety of sensory limitations have little difficulty doing almost everything in the world. Furthermore, for a large number of purposes, describing a scene or a situation in a few words of language (“the car’s tires squealed as it cornered sharply”) is sufficient for understanding and planning.

Experiments also show that humans only partially process visual input in a top-down, task-directed way, often making use of abstracted object-level modeling. In almost all cases, partial representations combined with semantic understanding are sufficient.

…

If the goal is to facilitate the understanding of causality in multimodal environments, then the world model—whether it is used in the virtual world or the physical world—must prioritize properties such as spatial and physical state consistency maintained over long time periods, and an ability to evolve the world that accurately reflects the consequences of actions. That’s what Moonlake is building.

Модели уровня SOTA по-прежнему демонстрируют сбои физического и пространственного понимания — например, твёрдые объекты висят в воздухе или проходят «сквозь» другие твёрдые объекты. Если цель — спланировать следующее действие, насколько часто для моделирования мира необходимо высокое разрешение на уровне пикселей? Мы делаем ставку на то, что непропорционально большая доля экономически ценных задач не требует такой детализации. В конце концов, люди с самыми разными сенсорными ограничениями практически не испытывают затруднений в большинстве повседневных задач. Более того, для множества целей достаточно описать сцену или ситуацию несколькими словами («шины автомобиля завизжали на резком повороте»), чтобы понять происходящее и спланировать действия. Эксперименты также показывают, что люди лишь частично обрабатывают визуальную информацию сверху вниз, направленно по задаче, часто используя абстрактное моделирование на уровне объектов. Практически во всех случаях частичных представлений в сочетании с семантическим пониманием достаточно.…Если цель — способствовать пониманию каузальности в мультимодальных средах, то мировая модель — используется ли она в виртуальном или физическом мире — должна приоритизировать такие свойства, как пространственная и физическая согласованность состояния, поддерживаемая на длительных временных промежутках, и способность развивать мир, точно отражая последствия действий. Именно это строит Moonlake.

Game engines are the right starting point abstraction to efficiently extract causal relationships, and building the interfaces and community (including their new $30,000 Creator Cup) to kickstart the flywheel of actions-to-observations.

Игровые движки — правильная начальная абстракция для эффективного извлечения каузальных зависимостей, а создание интерфейсов и сообщества (включая новый Creator Cup с призовым фондом $30 000) позволяет запустить маховик «действия → наблюдения».

We were fortunate enough to attend their sessions at GDC 2026 (the Mecca of Game Devs), and were impressed by the huge variety and flexibility of the worlds people were building with Moonlake’s tools already! Live videos on the pod.

Нам посчастливилось побывать на их сессиях на GDC 2026 (Мекке геймдевелоперов), и нас впечатило огромное разнообразие и гибкость миров, которые люди уже строили с инструментами Moonlake! Живые видео — в подкасте.

Full Video Pod on YouTube!

Полный видеоподкаст на YouTube!

Timestamps

Таймкоды

00:00 Benchmarking Gets Hard
00:47 Meet Moonlake Founders
01:26 Why Build World Models
03:12 Structure Not Just Scale
05:37 Defining Action Conditioned Worlds
07:32 Abstraction Versus Bitter Lesson
14:39 Language Versus JEPA Debate
20:27 Reasoning Traces And Rendering Layer
37:00 Gameplay Over Graphics
38:02 Fiction Rules And World Tweaks
39:15 Code Engines Beat Learned Priors
41:10 Diffusion Scaling Limits
43:23 Symbolic Versus Diffusion Boundary
46:14 Platform Vision Beyond Games
50:24 Spatial Audio And Multimodal Latents
54:23 NLP Roots Hiring And Moon Lake Name

00:00 Бенчмарки становятся сложными 00:47 Знакомство с основателями Moonlake 01:26 Зачем строить мировые модели 03:12 Структура, а не только масштаб 05:37 Определение миров, обусловленных действиями 07:32 Абстракция против горького урока 14:39 Дебаты: язык против JEPA 20:27 Цепочки рассуждений и слой рендеринга 37:00 Геймплей важнее графики 38:02 Правила вымысла и настройка миров 39:15 Кодовые движки побеждают выученные приоры 41:10 Пределы масштабирования диффузии 43:23 Граница между символьным и диффузионным 46:14 Видение платформы за пределами игр 50:24 Пространственное аудио и мультимодальные латенты 54:23 Корни в NLP, наём и название Moon Lake

Transcript

Транскрипт

[00:00:00] Cold Open

[00:00:00] Холодное открытие

[00:00:00] Chris Manning: Think this whole space is extremely difficult as things are emerging now. And I mean, it’s not only for world models, I think it’s for everything including text-based models, right? ‘cause in the early days it seemed very easy to have good benchmarks ‘cause we could do things like question answering benchmarks.

[00:00:00] Крис Мэннинг: Мне кажется, вся эта область сейчас чрезвычайно сложна, по мере того как всё развивается. И я имею в виду не только мировые модели — я думаю, это касается всего, включая текстовые модели, верно? Потому что на ранних этапах казалось очень легко создавать хорошие бенчмарки — мы могли делать такие вещи, как бенчмарки для ответов на вопросы.

[00:00:20] But these days so much of what people are wanting to do is nothing like that, right? You’re wanting to get some recommendations about which backpack would be best for you for your trip in Europe next month. It’s not so easy to come up with a benchmark, and it’s the same problem with these world models.

[00:00:20] Но сегодня столько из того, что люди хотят делать, совершенно на это не похоже, верно? Вы хотите получить рекомендации, какой рюкзак лучше всего подойдёт для вашей поездки по Европе в следующем месяце. Придумать для этого бенчмарк не так-то просто, и с мировыми моделями та же самая проблема.

[00:00:41] Meet the Founders

[00:00:41] Знакомство с основателями

[00:00:41] swyx: Okay. We’re back in the studio with Moon Lake’s, two leads. I, I guess there’s other founders as well, but, sun and Chris Manning. Welcome to the studio.

[00:00:41] swyx: Отлично. Мы снова в студии с двумя лидерами Moon Lake. Я думаю, есть и другие основатели, но с нами Sun и Крис Мэннинг. Добро пожаловать в студию.

[00:00:54] Fan-yun Sun: Thanks. Thanks, Chris. Thanks for having us.

[00:00:54] Fan-yun Sun: Спасибо. Спасибо, Крис. Спасибо, что пригласили нас.

[00:00:56] swyx: You’ve got, you guys have, come burst onto the scene with a really refreshing [00:01:00] new take of mold models.

[00:00:56] swyx: Вы, ребята, ворвались на сцену с действительно освежающим [00:01:00] новым взглядом на мировые модели.

[00:01:01] I would just want to, I guess ask how you, the two of you came together. Chris, you’re a legend in NLP and just AI in, in, in general. You’re, you’re his grad student, I guess

[01:01:01] Я просто хотел бы спросить, как вы двое нашли друг друга. Крис, вы — легенда в NLP и в AI в целом. Вы его аспирант, я полагаю.

[00:01:10] Fan-yun Sun: Actually my co-founder.

[00:01:10] Fan-yun Sun: На самом деле — мой сооснователь.

[00:01:11] swyx: Oh, yeah.

[00:01:11] swyx: О, да.

[00:01:12] Fan-yun Sun: I should give a lot of credit to my co-founder, Sharon. Yeah. She was, she was actually working with Professor Fe Androgyn and then she ended up working with, Ron and Chris Manning here.

[00:01:12] Fan-yun Sun: Я должен отдать должное моему сооснователю, Sharon. Да. Она на самом деле работала с профессором Fe Androgyn, а затем стала работать с Ron и Крисом Мэннингом.

[00:01:22] And then, so I got connected through to Chris initially, actually through my co-founder,

[00:01:22] И я познакомился с Крисом изначально через моего сооснователя.

[00:01:26] What is Moon Lake?

[00:01:26] Что такое Moon Lake?

[00:01:26] swyx: what is Moon Lake? What, what is, actually, I’m also very curious about the name, but like why going into world models?

[00:01:26] swyx: Что такое Moon Lake? Мне также очень любопытно узнать про название, но зачем вы пошли в мировые модели?

[00:01:33] Fan-yun Sun: So I was working a lot. With actually Nvidia research during my PhD years on essentially generating interactive worlds to train reinforcement learning agents or embody EA agents.

[00:01:33] Fan-yun Sun: Во время моей аспирантуры я много работал с Nvidia Research, по сути создавая интерактивные миры для обучения агентов обучения с подкреплением или embodied AI-агентов.

[00:01:44] And then there’s two observations. One in academia and one in industry. An industry like folks at Nvidia are actually paying a lot of dollars to purchase these types of interactive worlds, whether it’s for the sake of evaluation or training the robots, or policies or models. And [00:02:00] then, in academia, same thing is happening.

[00:01:44] И было два наблюдения — одно из академии, другое из индустрии. В индустрии такие компании, как Nvidia, платят огромные деньги за покупку подобных интерактивных миров — будь то для оценки, обучения роботов, политик или моделей. И [00:02:00] в академии происходит то же самое.

[00:02:02] And more specifically, when I was actually working with Nvidia on the synthetic data foundation model training project, we were actually generating a lot of these synthetic data and showing that, hey, you can actually, these synthetic data are actually as useful as real world data when it comes to multimodal pre-training.

[00:02:02] Более конкретно, когда я работал с Nvidia над проектом обучения фундаментальных моделей на синтетических данных, мы генерировали массу синтетических данных и показывали, что они на самом деле настолько же полезны, как реальные данные, когда дело доходит до мультимодального предобучения.

[00:02:16] But then, like I said, there’s a lot of dollars being paid out to like external vendors or, or like. Other folks to manually curate these types of data. It was very clear to us that, okay, on our way to, let’s call it embody general intelligence models need to learn the consequences behind their actions, which means that they need interactive data and the demand for those types of data are growing exponentially.

[00:02:16] Но при этом, как я уже сказал, огромные суммы уходят внешним поставщикам или другим людям, которые вручную курируют эти данные. Нам было очевидно: на пути к, назовём это, embodied-обобщённому интеллекту модели должны учиться понимать последствия своих действий, а значит, им нужны интерактивные данные, и спрос на такие данные растёт экспоненциально.

[00:02:38] But everybody’s sort of thinking about it from a pure, say, video generation perspective or something else. But we feel like the true actually opportunity is actually building reasoning models that can do these things, like how humans do these things today. So that’s a little bit on the genesis of Moon Lake, and I think the reason I got into world models was partly.

[00:02:38] Но все думают об этом с позиции чистой генерации видео или чего-то подобного. А мы чувствуем, что настоящая возможность — в создании моделей рассуждения, которые могут делать эти вещи так, как это делают сегодня люди. Вот немного о зарождении Moon Lake, и я думаю, что причина, по которой я занялся мировыми моделями, частично —

[00:02:59] A philosophical [00:03:00] take of the on the world where I like, believe the simulation theory and stuff like that. But on the other, on the other hand, it’s really just like, oh, like there’s an opportunity there that I feel like nobody’s doing it the way I think should be done.

[00:02:59] философский [00:03:00] взгляд на мир, в котором я верю в теорию симуляции и тому подобное. Но с другой стороны, просто: там есть возможность, и никто не делает это так, как, на мой взгляд, следует.

[00:03:10] Structure, Not Scale: The Vision

[00:03:10] Структура, а не масштаб: видение

[00:03:10] Chris Manning: I can say a little bit about that.

[00:03:10] Крис Мэннинг: Я могу немного об этом рассказать.

[00:03:12] Yeah. So of the overall goal is the pursuit of artificial intelligence and most of my career has been doing that in the language space and that’s been just extremely productive. As we all know, the story of the last few years, I don’t have to tell about how much we’ve achieved with large language models, but, uh.

[00:03:12] Да. Общая цель — это стремление к искусственному интеллекту, и бо́льшую часть своей карьеры я занимался этим в области языка, что было невероятно продуктивно. Как мы все знаем, история последних лет — мне не нужно рассказывать, сколько мы достигли с большими языковыми моделями, но…

[00:03:31] Although they have been extremely effective for ramping language and general intelligence, it’s clearly not the whole world. There’s this multimodal world of vision, sound, taste that you’d like to be dealing with more than just, language. And then the question is how to do it. And despite, a huge investment in the computer vision space, right, as the research field computer [00:04:00] vision has been for decades, far, far larger than the language space, actually.

[00:03:31] Хотя они были чрезвычайно эффективны для развития языкового и общего интеллекта, это явно не весь мир. Есть мультимодальный мир зрения, звука, вкуса, с которым хотелось бы работать, а не только с языком. И тогда вопрос — как это сделать. И несмотря на огромные инвестиции в компьютерное зрение — как исследовательская область компьютерное зрение [00:04:00] десятилетиями было гораздо, гораздо масштабнее, чем языковая область.

[00:04:05] I think it’s fair. Say that, vision, understanding sort of stalled out, right? You got to object recognition and then progress just wasn’t being made right? If you look at any of these, vision language models, it’s the language that’s doing 90% of the work and the vision barely works. And so there’s really an interesting research question as to why that is and at heart, the ideas behind Moon Lake are an attempt to answer that, believing that there can be a really rich connection between a more symbolic layer of abstracted understanding of visual domains, which aren’t in the mainstream vision models, which are still trying to operate on the surface level of pixels.

[00:04:05] Думаю, справедливо сказать, что понимание зрения, по сути, застопорилось. Дошли до распознавания объектов, а дальше прогресс перестал идти. Если посмотреть на любую из этих визуально-языковых моделей — 90% работы делает язык, а зрение едва функционирует. Так что возникает действительно интересный исследовательский вопрос — почему так, — и в основе идей Moon Lake лежит попытка ответить на него: мы верим, что возможна очень богатая связь между более символьным уровнем абстрактного понимания визуальных доменов, которого нет в основных моделях зрения — они по-прежнему пытаются оперировать на поверхностном уровне пикселей.

[00:04:50] swyx: I think one of your blog posts, you put it as structure, not scale. Is that, a general thesis?

[00:04:50] swyx: В одном из ваших блог-постов вы сформулировали это как «структура, а не масштаб». Это общий тезис?

[00:04:57] Chris Manning: Yeah. Well, scale is good too.

[00:04:57] Крис Мэннинг: Да. Ну, масштаб тоже хорош.

[00:04:58] swyx: Yeah. Scale is good. Too

[00:04:58] swyx: Да. Масштаб тоже хорош.

[00:04:59] lot,

[00:04:59] Очень,

[00:04:59] Chris Manning: [00:05:00] lots of data is good as well and scale, but nevertheless, you want the structure Yeah. To be able to much more efficiently learn.

[00:04:59] Крис Мэннинг: [00:05:00] много данных тоже хорошо, и масштаб, но тем не менее нужна структура. Да. Чтобы можно было учиться гораздо эффективнее.

[00:05:07] swyx: Yeah. The other thing I really liked also is you put out an example of what your kind of reasoning traces look like.

[00:05:07] swyx: Да. Ещё мне очень понравилось, что вы показали пример того, как выглядят ваши цепочки рассуждений.

[00:05:12] Right. Which you would distill is the word that comes to mind. I don’t even think that’s a good, good description, but it would involve, for example, geometry, physics, affordances, symbolic logic, perceptual mappings, and what, what have you. But like that, that is the kind of example that involves, let’s call it spatial reasoning, role model reasoning as as compared to normal LM reasoning.

[00:05:12] Верно. Которые можно было бы, «дистиллировать» — слово, которое приходит на ум. Не уверен, что это хорошее описание, но они включают, например, геометрию, физику, аффордансы, символическую логику, перцептивные отображения и прочее. Это именно тот тип примера, который включает, скажем, пространственное рассуждение, рассуждение о мировой модели, в отличие от обычного рассуждения LM.

[00:05:35] Yeah.

[00:05:35] Да.

[00:05:36] Defining World Models vs Video Generation

[00:05:36] Определение мировых моделей vs генерация видео

[00:05:36] Vibhu: But also like taking it a step back. So how do you guys define world models? A lot of people see okay, you can do diffusion, you can do video generation. But, you guys put out quite a few blog posts. You put out a essay recently, we can even pull it up about efficient world models. You have a pretty like structural definition here, but for the general audience that don’t super follow the space, right.

[00:05:36] Vibhu: Но давайте сделаем шаг назад. Как вы определяете мировые модели? Многие видят — ладно, можно делать диффузию, можно генерировать видео. Но вы опубликовали немало блог-постов. Недавно вышло эссе — мы даже можем его показать — об эффективных мировых моделях. У вас тут довольно структурное определение, но для широкой аудитории, которая не так глубоко следит за этой областью.

[00:05:55] What’s, what’s the difference in what we see from like a video generation model to [00:06:00] a world gen A simulator? How do you kind of paint that last

[00:05:55] В чём разница между тем, что мы видим в видеогенерационной модели, и [00:06:00] генератором миров, симулятором? Как вы рисуете эту грань?

[00:06:02] Chris Manning: year? Yeah, so I think this is actually a little bit subtle because, people look at these amazing generative AI video models, SAWA VO three, one of these things, and they think Genie, they think, oh, this is amazing.

[00:06:02] Крис Мэннинг: Да, я думаю, здесь есть некоторые тонкости, потому что люди смотрят на эти потрясающие генеративные AI-модели видео — SAWA, VO three, что-то из этого, — и думают: Genie, и думают: «Это потрясающе».

[00:06:17] This is we’ve solved understanding the world because you can produce these generative AI videos, but. The reality is that although the visuals do look fantastic, those visuals actually are accompanied by an understanding of the 3D world, understanding how objects can move, what the consequences of different actions are, and that’s what’s really needed for spatial intelligence.

[00:06:17] Мы решили задачу понимания мира, потому что можем создавать эти генеративные AI-видео. Но реальность в том, что хотя визуально они выглядят фантастически, за этими визуальными образами нет понимания 3D-мира, понимания того, как объекты могут двигаться, каковы последствия различных действий, а именно это необходимо для пространственного интеллекта.

[00:06:49] So I mean, a term we sometimes use is that you need action condition, world models. That you only actually have a world model if you can predict, [00:07:00] given some action is taken, what is going to change in the world because of it. And in particular, that becomes hard over longer time scales. So if you’re simply, trying to.

[00:06:49] Мы иногда используем термин — нужны мировые модели, обусловленные действиями. Мировая модель у вас есть только тогда, когда вы можете предсказать, [00:07:00] при совершении некоторого действия, что изменится в мире в результате. И это особенно сложно на более длинных временных масштабах. Если вы просто пытаетесь

[00:07:12] Predict the next video frame. That’s not so difficult. But what you actually want to do is understand the consequences, likely consequences of actions minutes into the future. And to do that, you actually much more of an abstracted semantic model of the world.

[00:07:12] предсказать следующий кадр видео — это не так сложно. Но на самом деле нужно понимать последствия, вероятные последствия действий на минуты вперёд. И для этого действительно необходима гораздо более абстрактная семантическая модель мира.

[00:07:32] The Bitter Lesson & Data Abstraction

[00:07:32] Горький урок и абстракция данных

[00:07:32] swyx: Yeah, the question comes where you want to have more structure than is available in just predicting the next token.

[00:07:32] swyx: Да, вопрос в том, где нужно больше структуры, чем даёт простое предсказание следующего токена.

[00:07:41] And typically, well, let’s, let’s call it the experience of the last five years has been that is just washed away by scale, right? So what is the right middle ground here that, you don’t ignore the bitter lesson, but also you. Can be more efficient than what we’re doing today.

[00:07:41] И обычно, ну, назовём это опытом последних пяти лет — всё это просто смывается масштабом, верно? Так где та правильная золотая середина, где вы не игнорируете горький урок, но при этом можете быть эффективнее, чем сейчас?

[00:07:57] Chris Manning: One possibility [00:08:00] is, look, if we just collect masses and masses and masses and masses of video data, this problem will be solved.

[00:07:57] Крис Мэннинг: Одна возможность — [00:08:00] послушайте, если мы просто соберём массу, массу, массу, массу видеоданных, эта проблема будет решена.

[00:08:11] Under certain assumptions that could be true, but there are sort of multiple avenues in which it could not be true. The first is what’s really essential is understanding the, the consequences of actions producing an action conditioned world model. And if you are simply, collecting observational video data, which is the easy stuff to collect, when you’re sort of mining online videos, you don’t actually.

[00:08:11] При определённых допущениях это могло бы быть правдой, но есть несколько путей, по которым это может не сработать. Первый: по-настоящему важно понимание последствий действий — создание мировой модели, обусловленной действиями. А если вы просто собираете наблюдательные видеоданные — то, что легко собирать, когда вы майните видео из интернета, — вы на самом деле не

[00:08:41] Know the actions that are being taken to see how the video is changing. And so if you are never collecting directly actions and you are having to try and infer them from what happened in the observed video, that’s not impossible. But it’s very [00:09:00] hard and it’s not really established that you can get that to work at any scale yet.

[00:08:41] знаете действия, которые совершаются, чтобы видео менялось. И если вы никогда напрямую не собираете действия и вынуждены пытаться выводить их из того, что произошло в наблюдаемом видео — это не невозможно. Но это очень [00:09:00] сложно, и пока не доказано, что это можно заставить работать при любом масштабе.

[00:09:05] And so there’s a lot of premium on collecting action condition video data, which is part of why there’s been a lot of interest in using simulation so that you can be collecting data where you do know the actions, which isn’t quite limited supply, but there’s also in the limit of as much data as you could possibly have.

[00:09:05] Поэтому есть большая ценность в сборе видеоданных, обусловленных действиями, что отчасти объясняет интерес к использованию симуляции — чтобы собирать данные, где действия известны. Это не совсем ограниченный ресурс, но есть и предел — при максимальном количестве данных, какое только можно себе представить.

[00:09:28] Maybe the problem is eventually solvable, but. Even though we collect huge amounts of text data is always at a great level of abstraction, right? Language is a human designed, abstracted representation where there’s meaning in each token and it’s representing and abstraction of the world, right?

[00:09:28] Может быть, проблема в конечном счёте решаема, но хотя мы собираем огромные объёмы текстовых данных, они всегда находятся на высоком уровне абстракции, верно? Язык — это спроектированное людьми, абстрактное представление, где в каждом токене есть смысл, и он представляет абстракцию мира.

[00:09:51] As soon as you are describing someone as a professor, and as soon as you are saying that they’re condescending, right? These are very [00:10:00] abstracted descriptions of the world. It’s not at what you’re observing as pixel level, and to get to that kind of degree of abstraction, starting from pixels is orders and magnitude of extra data and processing.

[00:09:51] Как только вы описываете кого-то как профессора, как только вы говорите, что он снисходителен — [00:10:00] это очень абстрактные описания мира. Это не то, что вы наблюдаете на уровне пикселей, и чтобы достичь такой степени абстракции, начиная с пикселей, нужно на порядки больше данных и вычислений.

[00:10:14] And so, although, we absolutely want to exploit, get as much data as possible, use the bitter lesson. Nevertheless, if there are ways in which you can work with five orders of magnitude less data than people working purely from pixels, you’re gonna be able to make a lot more progress, a lot more quickly.

[00:10:14] Поэтому, хотя мы абсолютно хотим использовать горький урок, получить как можно больше данных, тем не менее, если есть способы работать с данными на пять порядков меньше, чем у тех, кто работает чисто с пикселями, — вы сможете продвинуться гораздо дальше и гораздо быстрее.

[00:10:34] And that’s the bet here. And so you could just say that’s only wanting to be able to, do it more efficiently, do it more quickly, do it more cheaply. But I think it’s actually more than that, I think. One should be making the analogy to how human beings work at one level. You know? Yes, we have these high [00:11:00] resolution eyes and we can look and see a scene like a video, but all of the evidence from neuroscience and psychology is that most of what comes into people’s eyes is never processed.

[00:10:34] И это наша ставка. Можно сказать, что это просто желание делать всё эффективнее, быстрее, дешевле. Но я думаю, это на самом деле нечто большее. Стоит проводить аналогию с тем, как работают люди. На одном уровне — да, у нас высокое разрешение глаз, и мы можем видеть сцену как видео, но все данные нейронауки и психологии говорят о том, что бо́льшая часть того, что попадает в глаза, [00:11:00] никогда не обрабатывается.

[00:11:13] Right. That you are doing fairly fine ated processing of exactly what you’re focusing on. But as soon as it’s away from that of yeah, there’s another guy over there that you’ve sort of only processing top down this very abstracted semantic description of the world around you. And so, that’s what human beings are doing.

[00:11:13] Вы делаете довольно детальную обработку именно того, на чём фокусируетесь. Но как только это за пределами фокуса — «да, там ещё какой-то парень стоит» — вы обрабатываете только сверху вниз, на очень абстрактном семантическом описании окружающего мира. Именно так работают люди.

[00:11:33] They’re working with semantic abstractions and so. I think it is just the right representation. ‘cause we also have other goals we want to be able to do, real time worlds. So that means there’s a limit to how much processing you can do and we want to do long-term planning and consistency. And again, that favors abstraction.

[00:11:33] Они работают с семантическими абстракциями. И поэтому я считаю, что это просто правильное представление. Потому что у нас есть и другие цели — мы хотим создавать миры в реальном времени. Это значит, что есть ограничение на объём вычислений. И мы хотим долгосрочного планирования и согласованности. И снова — это говорит в пользу абстракции.

[00:11:55] I mean, I guess there was actually a recent. Blog posts that [00:12:00] came out from our Friends of physical intelligence and, they were sort of heading in the same direction they were saying Oh, to the pay

[00:11:55] Кстати, был недавний [00:12:00] блог-пост от наших друзей из Physical Intelligence, и они двигались в том же направлении — говорили: «О, чтобы оплатить»

[00:12:06] swyx: pay model.

[00:12:06] swyx: Pay-модель.

[00:12:07] Chris Manning: Yeah. Yeah. To maintain a long term memory of what’s happening in the world. So we can, do longer term we actually storing text of what is, been happening in the world.

[00:12:07] Крис Мэннинг: Да. Да. Чтобы поддерживать долгосрочную память о том, что происходит в мире, чтобы мы могли делать более долгосрочное — мы фактически храним текст о том, что происходило в мире.

[00:12:19] Right. It is not such a successful strategy of trying to keep it all at a pixel level.

[00:12:19] Верно. Пытаться удержать всё на пиксельном уровне — не такая успешная стратегия.

[00:12:24] Vibhu: And yeah, I mean, you can see it in video models like that Temporal consistency. We’re at a scale of train on, all the video data we have. We have it for maybe 30 seconds, a few minutes. That’s not the same as a game state played for half an hour.

[00:12:24] Vibhu: И да, это можно увидеть в видеомоделях — временна́я согласованность. При том масштабе обучения на всех видеоданных, что у нас есть — она держится может секунд 30, пару минут. Это не то же самое, что состояние игры, в которую играют полчаса.

[00:12:37] Right. I thought you guys break it down pretty well. You have a, you have a blog post about. Building multimodal worlds with an agent. I dunno if you guys wanna talk about this. This is one of the things I read, I

[00:12:37] Верно. Мне кажется, вы хорошо это разбираете. У вас есть блог-пост о создании мультимодальных миров с помощью агента. Не знаю, хотите ли вы об этом поговорить. Это одна из вещей, которую я прочитал, и я

[00:12:48] swyx: thought, yeah, it’s the thing I talked about with the reasoning chain. Yeah.

[00:12:48] swyx: подумал — да, это то, о чём я говорил, про цепочку рассуждений. Да.

[00:12:51] Vibhu: So there’s like different phases to this.

[00:12:51] Vibhu: Тут есть разные фазы.

[00:12:53] It seems like it’s more of an agent, a scaffold, very different approach than just, type in a prompt and you, you don’t have the same consistency. [00:13:00] It also, like, for people that are listening, I, I would highly recommend reading it. It breaks down the problem in a different light, right?

[00:12:53] Похоже, это скорее агентный скаффолд — совершенно другой подход, чем просто ввести промпт и не получить ту же согласованность. [00:13:00] Также для тех, кто слушает — я бы настоятельно рекомендовал прочитать это. Это разбирает проблему под другим углом.

[00:13:06] So like, what do you need to consider when you’re talking about video, like world game models, right? How would, what do you need to consider? What are the factors? What are the elements? What’s the state? So I don’t know if you guys have stuff to talk about for this one.

[00:13:06] О чём нужно думать, когда речь идёт о видео, о моделях игровых миров? Что нужно учитывать? Какие факторы? Какие элементы? Какое состояние? Не знаю, есть ли у вас что сказать по этому поводу.

[00:13:19] Fan-yun Sun: Yeah. Actually, I wanted to add on a little bit Yeah.

[00:13:19] Fan-yun Sun: Да. Вообще-то я хотел добавить кое-что. Да.

[00:13:22] On our previous point, which is just like, change topics so quickly. I, I do feel like sometimes people confuse like, oh, like we’re taking an an, an method with abstraction. That means they don’t believe in bitter lesson. Like that’s just false, right? Like we are believed is a bitter lesson. But then I feel like the question that we always discuss is like, what is the right abstraction level today?

[00:13:22] К нашему предыдущему пункту — темы так быстро меняются. Мне кажется, иногда люди путают: «О, они используют подход с абстракцией — значит, не верят в горький урок». Это просто неправда! Мы верим в горький урок. Но вопрос, который мы всегда обсуждаем — каков правильный уровень абстракции сегодня?

[00:13:42] The analogy I like to make is like, let’s just say we can encode and decode. Represent all of images, videos, audio and bytes. Then the most bitter lesson approached is to train a next byte prediction model as opposed to the next token prediction model where it’s just like, okay, it’s natively multimodal, can just, but it’s like, yeah, like [00:14:00] to, to Chris’s point, it’s like the scale and computing you need to achieve that.

[00:13:42] Аналогия, которая мне нравится: допустим, мы можем кодировать и декодировать, представлять все изображения, видео, аудио в байтах. Тогда самый «горько-урочный» подход — обучить модель предсказания следующего байта, а не следующего токена — нативно мультимодальную, просто... но да, [00:14:00] как сказал Крис, масштаб и вычисления, которые для этого нужны.

[00:14:03] So that’s why we always come back to like, okay, what is the most efficient way to do it? And reasoning models to the point of this blog post is a showcase of like, Hey, we’re actually just like reasoning about the world and reasoning about. The aspects of the world that CAGR that matter for me to learn what I want to learn from this role model.

[00:14:03] Поэтому мы всегда возвращаемся к вопросу: какой самый эффективный способ? И модели рассуждения, к чему ведёт этот блог-пост, — это демонстрация: «Эй, мы реально рассуждаем о мире и рассуждаем о тех аспектах мира, которые важны для того, чтобы я научился тому, чему хочу научиться из этой мировой модели».

[00:14:21] swyx: Yeah, it’s like you’re improving the en encoder of whatever you’re, trying to model. And like a better representation would just represent the important things in less space. Yeah. Which would just be more efficient.

[00:14:21] swyx: Да, это как если бы вы улучшали энкодер того, что пытаетесь моделировать. И лучшее представление будет просто содержать важные вещи в меньшем объёме. Да. Что и будет эффективнее.

[00:14:33] Fan-yun Sun: Yeah.

[00:14:33] Fan-yun Sun: Да.

[00:14:34] swyx: So yeah, I, I, I fully agree that it is not, antagonistic to, bitter lesson.

[00:14:34] swyx: Так что да, я полностью согласен, что это не противоречит горькому уроку.

[00:14:38] I do wanna wanna mention one more thing. Is there any philosophical differences with the JPA stuff that, Yun is working on? I gotta go there. You, you, you, you’re, you’re imagining like some latent abstraction. I’m like, okay, fine. Let’s, let’s talk about it, right? Like it’s an elephant in the room.

[00:14:38] Хочу упомянуть ещё одну вещь. Есть ли какие-то философские различия с JEPA-подходом, над которым работает Yann? Я должен туда пойти. Вы воображаете некую латентную абстракцию. Я типа: «Ладно, давайте об этом поговорим». Это слон в комнате.

[00:14:52] Chris Manning: Yeah.

[00:14:52] Крис Мэннинг: Да.

[00:14:53] JEPA & Philosophical Differences with LeCun

[00:14:53] JEPA и философские расхождения с LeCun

[00:14:53] Chris Manning: There are philosophical differences. Jan Lacoon is a dear friend of mine, but. [00:15:00] He has never appreciated the power of language in particular, or symbolic representations in general. Yarn is a very visual thinker. He always wants to claim that he thinks visually and there are no words, symbols, or math in his head.

[00:14:53] Крис Мэннинг: Есть философские различия. Yann LeCun — мой дорогой друг, но [00:15:00] он никогда не ценил силу языка в частности или символьных представлений в целом. Yann — очень визуальный мыслитель. Он всегда утверждает, что думает визуально и в его голове нет ни слов, ни символов, ни математики.

[00:15:21] Maybe that’s true of yarn. It’s certainly not the way I think. Um. But at any rate, the world according to yarn is the basic stuff of the, the world and of intelligence is visual and language is just. This low bit rate communication mechanism between humans and it doesn’t have much other utility and it’s far inferior to the high bit rate video, that comes into your eyes.

[00:15:21] Может, для Yann это и так. Это определённо не мой способ мышления. Но в любом случае, мир по Yann — основа мира и интеллекта является визуальной, а язык — это просто низкобитрейтный механизм коммуникации между людьми, и у него мало другой полезности, и он намного уступает высокобитрейтному видео, поступающему в ваши глаза.

[00:15:53] And I think he’s fundamentally missing a number of important things [00:16:00] there. Think of this evolutionary argument looking at animals, right? That the closest analogies, the things with chimps, right? So chimpanzees, have fairly similar brains to human beings. They have great vision systems, they have great memory systems.

[00:15:53] И я думаю, он фундаментально упускает ряд важных вещей [00:16:00]. Возьмём эволюционный аргумент, посмотрим на животных. Ближайшая аналогия — шимпанзе. Шимпанзе имеют мозг, довольно похожий на человеческий. У них отличные зрительные системы, отличные системы памяти.

[00:16:18] They’ve got, better memory than we do of short term memories. They can plan, they can build primitive tools that, humans. Massively ahead in what we understand about the world, what we can plan, what we can build. And essentially what took off for us was that humans managed to develop language and that gave a symbolic knowledge, representation, and reasoning level, which just, okay if this sort of vaulting of what could be done with the intelligence in brains.

[00:16:18] У них лучше кратковременная память, чем у нас. Они могут планировать, строить примитивные орудия. Но люди кардинально впереди в понимании мира, в планировании, в строительстве. И по сути то, что дало нам толчок — люди смогли развить язык, и это дало символьный уровень знаний, представления и рассуждения, который стал своего рода трамплином для возможностей интеллекта мозга.

[00:16:59] So the [00:17:00] philosopher Dan de refers to language as a cognitive tool and argues that, humans unique among the creatures in the world have managed to build their own cognitive tools and language is the famous first example. But other things like, mathematics and programming languages are also cognitive tools.

[00:16:59] [00:17:00] Философ Dan Dennett называет язык когнитивным инструментом и утверждает, что люди, уникально среди существ мира, смогли создать собственные когнитивные инструменты, и язык — первый знаменитый пример. Но и другие вещи — математика, языки программирования — тоже когнитивные инструменты.

[00:17:21] They give you an ability to. Think in abstractions, in extended causal reasoning chains. And that allows you to do much more. And we use that for spatial representation and intelligence and planning and gameplay as well. So we believe, and this is, underlying the specific technologies that Moon Lake is making, that symbolic representations are powerful.

[00:17:21] Они дают способность мыслить абстракциями, строить длинные каузальные цепочки рассуждений. И это позволяет делать гораздо больше. И мы используем это для пространственного представления, интеллекта, планирования и геймплея тоже. Поэтому мы верим — и это лежит в основе конкретных технологий, которые Moon Lake создаёт, — что символьные представления мощны.

[00:17:50] And you want to use that in your understanding of the visual world when you want a causal understanding, when you want to maintain long-term [00:18:00] consistency and prediction. And as I understand it, that’s just not in ya Koon’s worldview. So I think that’s the fundamental philosophical difference. Then there’s the specific model.

[00:17:50] И их нужно использовать для понимания визуального мира, когда нужно каузальное понимание, когда нужно поддерживать долгосрочную [00:18:00] согласованность и предсказание. И насколько я понимаю, этого просто нет в мировоззрении Yann LeCun. Так что я думаю, в этом фундаментальное философское различие. Затем есть конкретная модель.

[00:18:11] He’s been advancing jpa, that’s a reasonable. Research bed is a direction as to, to head for building out a model of the visual world. To my mind, it’s sort of one reasonable research bed. It’s not really established. It’s the best one that everyone should be following,

[00:18:11] Он продвигает JEPA — это разумное исследовательское направление для построения модели визуального мира. На мой взгляд, это одно разумное исследовательское направление. Не доказано, что оно лучшее и что все должны ему следовать.

[00:18:32] swyx: at least developed at scale, at Meta.

[00:18:32] swyx: По крайней мере, разработано в масштабе в Meta.

[00:18:34] But it’s not just vision, right? Like, I mean, JPA is a, just joint admitting prediction can be applied to anything really. And people have done it. The argument is that there is a latent representation or that is probably more. Suited to the task, then why not let machines do it for us instead of predefining it at all?

[00:18:34] Но это ведь не только зрение, верно? JEPA — Joint Embedding Predictive Architecture — может применяться к чему угодно. И люди это делали. Аргумент в том, что существует латентное представление, которое, вероятно, лучше подходит для задачи. Тогда почему бы не дать машинам сделать это за нас, вместо того чтобы предопределять его?

[00:18:50] And isn’t something like a JPA shaped thing the right answer? And if not, why not?

[00:18:50] И разве что-то вроде JEPA — не правильный ответ? А если нет, то почему?

[00:18:55] Chris Manning: So I think there’s a part of jpa that’s right, which is [00:19:00] you do want to have a joint. Embedding that gives you a consistent model of the world. And Jan’s argument is you can never get that from auto aggressive language models ‘cause they’re sort of left to right churning out one token at a time.

[00:18:55] Крис Мэннинг: Думаю, в JEPA есть часть, которая верна: [00:19:00] вам действительно нужно совместное эмбеддинг-пространство, дающее согласованную модель мира. И аргумент Yann состоит в том, что этого никогда не получить из авторегрессионных языковых моделей, потому что они как бы слева направо выдают по одному токену за раз.

[00:19:22] I guess this is where we’re the research arguments of the field, I’m not actually convinced that’s right. ‘cause although the token production is this auto aggressive, process that’s heading, left to right, I guess don’t have to be left to right. But anyway, in sequence of tokens we could have right to left Arabic.

[00:19:22] Наверное, здесь мы выходим на исследовательские дебаты — я на самом деле не убеждён, что это так. Потому что хотя генерация токенов — авторегрессионный процесс, идущий слева направо… ну, не обязательно слева направо. Можно и справа налево, по-арабски.

[00:19:40] But although that’s true, all of the weights of the model that are internal to the transformer, they are a joint model of the model’s understanding of the world. And so I think you can think of the weights of the model as a form of. Joint representation, [00:20:00] and therefore it is plausible to think that could be the basis of a world model, which avoids, ya’s objections.

[00:19:40] Но хотя это так — все веса модели, внутренние для трансформера, — это совместная модель понимания мира моделью. И поэтому, я думаю, можно рассматривать веса модели как форму [00:20:00] совместного представления, и следовательно, вполне правдоподобно считать, что это может быть основой мировой модели, которая избегает возражений Yann.

[00:20:10] swyx: I think I follow, and obviously that would touch on what Moon Lake eventually ends up doing as well. Right. Like, which it’s hard to tell because you put out the end results, but we don’t know the inputs that go into it. So it’s, it’s, that’s something that we have to figure out over time.

[00:20:10] swyx: Я, кажется, понимаю, и очевидно, это повлияет на то, что Moon Lake в итоге делает. Сложно сказать, потому что вы показываете конечные результаты, но мы не знаем входные данные. Это нужно будет выяснять со временем.

[00:20:25] Vibhu: Yeah. I mean, I guess this kind of breaks down some of the outputs. Do you wanna walk us through it?

[00:20:25] Vibhu: Да. То есть, по сути, здесь разбираются некоторые выходные данные. Хотите провести нас?

[00:20:31] Reasoning Traces & Interactive Worlds

[00:20:31] Цепочки рассуждений и интерактивные миры

[00:20:31] Fan-yun Sun: Yeah. So this, this really just walks us through the reasoning traces of like, okay. So that just say, if we wanna build a world in this context, it’s really just a game demo that, that shows the, the variety of interactions that this world model can build.

[00:20:31] Fan-yun Sun: Да. Это по сути проводит нас через цепочки рассуждений — допустим, мы хотим построить мир, в данном контексте это демо-игра, которая показывает разнообразие взаимодействий, которые эта мировая модель может создать.

[00:20:45] And yeah, it’s really just a reasoning traces of like, okay it prompted to create a bowling game. Like how did it achieve what you saw? That level of causality, interaction and consistency, right? So yeah, this is almost just like a, an example of [00:21:00] like a reasoning traces. Very

[00:20:45] И да, это реально просто цепочки рассуждений: промпт — создать игру в боулинг. Как модель достигла того, что вы видели? Тот уровень каузальности, интерактивности и согласованности. Это почти просто [00:21:00] пример цепочки рассуждений. Очень

[00:21:01] swyx: detailed.

[00:21:01] swyx: подробный.

[00:21:01] Fan-yun Sun: Yeah.

[00:21:01] Fan-yun Sun: Да.

[00:21:01] Vibhu: Very, very detailed.

[00:21:01] Vibhu: Очень, очень подробный.

[00:21:02] You gotta you don’t even realize it, right? Like when a video is generated, what happens when a ball strikes a pin, right? So first, like you, there’s audio in that, like audio triggers happens, score increments, the world changes. Like pins have to start dropping. There’s a timer that goes on. It’s just like very similar to how now we’re used to reasoning for language models.

[00:21:02] Вы даже не осознаёте этого. Когда генерируется видео — что происходит, когда шар попадает по кегле? Во-первых, звуковые триггеры срабатывают, счёт увеличивается, мир меняется. Кегли начинают падать. Идёт таймер. Это очень похоже на то, как мы сейчас привыкли к рассуждениям языковых моделей.

[00:21:20] There’s a whole state of what happens. So geometry, physics, all this stuff. And then yeah, there’s kind of that single prompt. So asset, ation all this stuff. It’s like a, it’s a nice view to see what’s going on.

[00:21:20] Есть целое состояние того, что происходит. Геометрия, физика, всё такое. И затем — да, один промпт. Генерация ассетов, всё это. Это приятный вид, чтобы увидеть, что происходит «под капотом».

[00:21:32] swyx: I think Sun is also too polite to point out that, both like Google’s genie, demos as well as world Labs is marble, do not have interactive worlds.

[00:21:32] swyx: Я думаю, Sun слишком вежлив, чтобы заметить, что и у Google Genie, и у World Labs Marble нет интерактивных миров.

[00:21:41] Fan-yun Sun: That’s the benefit of having a reasoning model, right? Like, because you can, you can say, oh, like maybe in this particular context, I want to learn how to bowl. And then you can say, okay, then what is it important when it comes to learning how to bowl? Okay, maybe it’s like I need to understand the, the basic of like, physics and I want to throw it over [00:22:00] them.

[00:21:41] Fan-yun Sun: В этом и преимущество модели рассуждения. Потому что вы можете сказать: «Может, в данном контексте я хочу научиться играть в боулинг». И тогда: «Хорошо, что важно для обучения боулингу? Мне нужно понимать основы физики, и я хочу бросить шар [00:22:00] по кеглям».

[00:22:00] I wanna know that when I, when it resets it’s a new game. So I know that yeah, basically, you know to pick up the ball, you know that ball’s gonna cause the pins to fall down. You know that what’s important to this particular bowling game is to score and you know that the score corresponds to the number of pins that fell down.

[00:22:00] Я хочу знать, что при сбросе — это новая игра. То есть вы знаете, как взять шар, знаете, что шар заставит кегли упасть. Вы знаете, что в этой конкретной игре в боулинг важен счёт, и что счёт соответствует количеству упавших кеглей.

[00:22:19] So it’s just like, if it’s a model that sort of knows what it. Looks like, knows what a bowling game looks like, but doesn’t actually allows you to practice over and over again and to understand that, oh, like what it takes to actually get a high score. Then it sort of doesn’t actually allow you to learn what you set out to learn within the world model.

[00:22:19] Если модель просто знает, как выглядит боулинг, но не позволяет вам практиковаться снова и снова и понимать, что нужно для высокого результата — тогда она не позволяет вам научиться тому, чему вы собирались научиться в рамках мировой модели.

[00:22:38] And I think this is really just one example of showing like the advantages of the approach that we’re taking over most the, let’s call it the zeitgeist, is today, when people talk about clinical role models,

[00:22:38] И я думаю, это лишь один пример, показывающий преимущества нашего подхода по сравнению с тем, что сейчас доминирует — назовём это цайтгайстом, — когда люди говорят о мировых моделях.

[00:22:51] Chris Manning: right? So it sort of seems like the question to ask when there’s a world model is.

[00:22:51] Крис Мэннинг: Верно. Кажется, вопрос, который нужно задать о мировой модели, таков:

[00:22:58] Can I not [00:23:00] only just wander around the world and look at the beautiful graphics, can I interact with the objects in the world and see the right consequences of actions?

[00:22:58] Могу ли я не [00:23:00] просто бродить по миру и смотреть на красивую графику — могу ли я взаимодействовать с объектами в мире и видеть правильные последствия действий?

[00:23:11] Vibhu: And you also understand what the consequences would be if you do something right. So it’s not just like, okay, there’s one thing if I pick it up, something will happen.

[00:23:11] Vibhu: И вы также понимаете, какие будут последствия, если вы сделаете что-то. То есть не просто «если я подберу это, что-то произойдёт».

[00:23:19] But, there’s 50 options and I know I can expect, I can infer what would happen if I do any of them. Right. So very different when you can actually see it play around with it.

[00:23:19] Есть 50 вариантов, и я знаю, что могу предположить, что произойдёт при любом из них. Совсем другое дело, когда можно это реально увидеть и поиграть с этим.

[00:23:28] swyx: There,

[00:23:28] swyx: Вот,

[00:23:28] Beyond Unity: Cognitive Tools for World Building

[00:23:28] За пределами Unity: когнитивные инструменты для строительства миров

[00:23:31] swyx: there’s two cheeky elements of that. I mean, the, the, the I guess, less ambitious one is, let’s really establish for listeners, why is this fundamentally different than writing Unity code, right?

[00:23:31] swyx: тут есть два дерзких элемента. Менее амбициозный: давайте чётко объясним слушателям, чем это принципиально отличается от написания Unity-кода?

[00:23:40] Like just creating a model to translate a prompt into Unity code

[00:23:40] Просто создать модель, которая переводит промпт в Unity-код.

[00:23:44] Fan-yun Sun: so there is an underlying physics engine. Yeah. In that sense, there’s some overlapping things to Unity, but the way we think about it is like physics engine. Tools or code are cognitive tools like borrowing Chris’s term, right? Like tools [00:24:00] that the model can employ as means to an end.

[00:23:44] Fan-yun Sun: Итак, есть базовый физический движок. Да. В этом смысле есть пересечение с Unity, но мы думаем об этом так: физический движок, инструменты или код — это когнитивные инструменты, заимствуя термин Криса. [00:24:00] Инструменты, которые модель может использовать как средства для достижения цели.

[00:24:04] So today maybe you say, okay, in this particular context we care about physics, we care about the long-term causality consequences. Then yes, we deploy it, employ physics engine, and then maybe tomorrow we say, okay, we’re we’re training that. Just say drones where we only care about really fluid dynamics and the visual aspect of the world.

[00:24:04] Сегодня мы говорим: «В данном контексте нас интересует физика, интересуют долгосрочные каузальные последствия». Тогда да, мы задействуем физический движок. А завтра мы можем сказать: «Мы обучаем, допустим, дроны, где нас интересует только гидродинамика и визуальный аспект мира».

[00:24:25] Then, then yeah, maybe we don’t actually, the model actually doesn’t have to use a physics engine. Or maybe it employs other types of representation or physics engine to achieve the task. So yes, writing code for Unity is sort of similar to a tool that our A model can employ, but our goal is for a model to take a representation conditioned reasoning.

[00:24:25] Тогда, может, модели и не нужно использовать физический движок. Или она может задействовать другие типы представлений или физических движков для решения задачи. Да, написание кода для Unity аналогично инструменту, который наша модель может использовать, но наша цель — чтобы модель осуществляла рассуждение, обусловленное представлениями.

[00:24:46] Approach or process.

[00:24:46] Подход или процесс.

[00:24:47] swyx: Yeah,

[00:24:47] swyx: Да,

[00:24:47] Fan-yun Sun: internally.

[00:24:47] Fan-yun Sun: внутренне.

[00:24:48] swyx: Yeah. Using these things as just like general two calls. Right. Which I think is very interesting. The other more ambitious one is, some kind of recursive element where it becomes multiplayer, right? Like here, there’s a single player element, you’re not [00:25:00] modeling any other people involved.

[00:24:48] swyx: Да. Использовать всё это просто как вызовы инструментов. Что, на мой взгляд, очень интересно. Другой, более амбициозный элемент — некий рекурсивный аспект, где это становится мультиплеером. Здесь есть элемент одного игрока, вы не [00:25:00] моделируете других людей.

[00:25:01] And that is a whole other thing.

[00:25:01] И это совершенно другая история.

[00:25:04] Fan-yun Sun: But in fact, we can really do multiplayers. Oh yeah, okay. I haven’t seen any double situations. So just actually just like prompt our, our model to say, Hey, like configure to multiplayer. Then it’ll do like this. You’ll be able to configure multiplayer

[00:25:04] Fan-yun Sun: Но на самом деле мы уже можем делать мультиплеер. О да, ладно. Я не видел двойных ситуаций. Просто промптнуть нашу модель: «Эй, настрой мультиплеер». И она сделает — вы сможете настроить мультиплеер.

[00:25:16] swyx: great

[00:25:16] swyx: Отлично.

[00:25:17] Fan-yun Sun: persistency database for you.

[00:25:17] Fan-yun Sun: Базу данных для персистентности — для вас.

[00:25:18] Easy. Yeah.

[00:25:18] Легко. Да.

[00:25:19] Vibhu: So what, what are like some of the current limitations in where we’re at? So there’s one approach of like, okay, scale up video predictors. Obviously there’s data issues. With approaches like this, is it data constraints? What are like the next steps? Is it real time? Like, so there’s one side of, write an agent to write Unity code, but okay, I want to be streaming a game real time.

[00:25:19] Vibhu: И какие сейчас основные ограничения, на каком этапе мы находимся? Есть один подход — масштабировать видеопредсказатели. Очевидно, есть проблемы с данными. С подходами вроде вашего — это ограничения данных? Какие следующие шаги? Реальное время? Есть одна сторона — написать агента для Unity-кода, но хорошо, я хочу стримить игру в реальном времени.

[00:25:38] I want to have characters being also like agent, but where, where do we kinda see this scaling up? Right?

[00:25:38] Я хочу, чтобы персонажи тоже были агентами. Куда мы видим масштабирование?

[00:25:44] Fan-yun Sun: Yeah, there’s definitely a data constraint. Like the more data, the, the better. This reasoning model can almost basically act as humans to like operate a variety of tools and softwares to build whatever’s necessary.

[00:25:44] Fan-yun Sun: Да, ограничение данных точно есть. Чем больше данных — тем лучше. Эта модель рассуждения может действовать практически как человек — работать с различными инструментами и программами для создания всего необходимого.

[00:25:57] And then there’s a sort [00:26:00] of fidelity constraint, which we’re actually solving with another model, which we can talk about later. But it’s like, it’s not as easy to get to photorealism with the approach that we’re taking. But we think there are better solutions to that, which is we can dive into later.

[00:25:57] И есть [00:26:00] ограничение по точности — мы решаем его другой моделью, о которой можем поговорить позже. Не так просто достичь фотореализма с нашим подходом. Но мы думаем, что есть лучшие решения — можем углубиться позже.

[00:26:14] Later.

[00:26:14] Позже.

[00:26:15] Vibhu: The one one thing you note here is it’s a diffusion model, right? So there’s, there’s a few approaches, diffusion caution, splatting, yeah, so Ry diffusion model, you guys wanna

[00:26:15] Vibhu: Одна вещь, которую вы отмечаете — это диффузионная модель. Есть несколько подходов: диффузия, Gaussian Splatting — диффузионная модель, хотите рассказать?

[00:26:25] Fan-yun Sun: Yeah.

[00:26:25] Fan-yun Sun: Да.

[00:26:25] Vibhu: Introduce,

[00:26:25] Vibhu: Представить её.

[00:26:26] Fan-yun Sun: yeah, totally.

[00:26:26] Fan-yun Sun: Да, конечно.

[00:26:26] Rie: Neural Rendering & Skins for Worlds

[00:26:26] Rie: нейронный рендеринг и «скины» для миров

[00:26:26] Fan-yun Sun: So within our world modeling framework, we think there are two models that we train, right?

[00:26:26] Fan-yun Sun: Итак, в рамках нашего фреймворка мировых моделей мы обучаем две модели.

[00:26:31] Like, there’s the multimodal reasoning model that we just talked about that essentially handles. Mainly the, the causality, the persistency and logic determinism of the world. And then RY is our bet on saying, okay, like while all those model, can take care of all these things that we just talked about, it’s limitations compared to existing, say, video models, is that it doesn’t have as high of a pixel [00:27:00] ality right off the gate, right?

[00:26:31] Есть мультимодальная модель рассуждения, о которой мы только что говорили, которая по сути обрабатывает каузальность, персистентность и логический детерминизм мира. А Rie — это наша ставка на то, что, хотя эта модель может обрабатывать всё перечисленное, её ограничение по сравнению с существующими видеомоделями в том, что у неё нет такой высокой пиксельной [00:27:00] точности прямо «из коробки».

[00:27:02] And EE is to say, Hey, we can actually take whatever persistent representation that we generate with our multimodal reasoning model and learn to restyle it into photo photorealistic styles or arbitrary styles you want. So this model is almost to say, Hey, I’m going to respect the persistency and interactivity of the world that you created, but my only job is to make sure that its pixel distribution is close to what we want.

[00:27:02] И Rie говорит: «Эй, мы можем взять любое персистентное представление, сгенерированное нашей мультимодальной моделью рассуждения, и научиться перестилизовать его в фотореалистичные стили или любые стили, которые вы хотите». Эта модель как бы говорит: «Я буду уважать персистентность и интерактивность мира, который вы создали, но моя единственная задача — убедиться, что распределение пикселей близко к тому, что мы хотим».

[00:27:29] Vibhu: Yeah.

[00:27:29] Vibhu: Да.

[00:27:30] swyx: Great example right there. You kept the KL divergence.

[00:27:30] swyx: Отличный пример прямо здесь. Вы сохранили KL-дивергенцию.

[00:27:33] Fan-yun Sun: Oh. Where,

[00:27:33] Fan-yun Sun: О. Где,

[00:27:34] swyx: no, no. I mean this, this is a, a classic like, how you don’t stray too far from the source material as you, you kept the kl, which is Oh yeah. Kind of cool. Yeah.

[00:27:34] swyx: нет, нет. Я имею в виду — это классический пример того, как не отклоняться слишком далеко от исходного материала, вы сохранили KL — что «О, да!» — довольно круто. Да.

[00:27:43] Fan-yun Sun: Yeah.

[00:27:43] Fan-yun Sun: Да.

[00:27:44] swyx: I mean, and the

[00:27:44] swyx: В смысле, и

[00:27:44] Chris Manning: difference is, and I mean sun was pointing at this, where sort of saying it’s in one way a more difficult path, but a better path that, typically the diffusion models are producing the whole scene and it looks lovely, [00:28:00] but there isn’t spatial understanding behind it, which is allowing for the real time graphics gameplay, the spatial intelligence, understanding the consequences of worlds where this is, taking a path where it is assuming an abstracted semantic model of the world’s state.

[00:27:44] Крис Мэннинг: Разница — и Sun на это указывал — в том, что мы, можно сказать, идём более сложным, но лучшим путём. Обычно диффузионные модели создают всю сцену целиком, и она выглядит прекрасно, [00:28:00] но за ней нет пространственного понимания, которое позволяет вести геймплей с графикой в реальном времени, обеспечивать пространственный интеллект, понимание последствий в мирах. А здесь — подход, который исходит из абстрактной семантической модели состояния мира.

[00:28:20] And then the diffusion model is then being used on top of that to produce the high quality graphics.

[00:28:20] И затем диффузионная модель используется поверх, чтобы создать графику высокого качества.

[00:28:27] swyx: Is there an intended practical, or business use for this, or is it like a, like a demonstration of capabilities?

[00:28:27] swyx: Есть ли предполагаемое практическое или бизнес-применение, или это скорее демонстрация возможностей?

[00:28:34] Fan-yun Sun: We actually believe that this is gonna be the next paradigm of rendering. So it’s gonna replace how ra raizer, it’s gonna replace DLSS today because it not only has these pixel prior that’s learned from the world such that you can literally play any game in photo realistic styles, which is a lot of people’s desire when they do GTA, right?

[00:28:34] Fan-yun Sun: Мы реально верим, что это будет следующая парадигма рендеринга. Она заменит рейтрейсинг, заменит DLSS, потому что у неё есть не только пиксельные приоры, выученные из мира, благодаря которым можно буквально играть в любую игру в фотореалистичном стиле — а это мечта многих людей, которые играют в GTA.

[00:28:51] Like,

[00:28:51] Типа,

[00:28:51] Vibhu: all the mods, all the people adding perfect lighting and all this.

[00:28:51] Vibhu: все моды, все эти люди, добавляющие идеальное освещение и прочее.

[00:28:54] swyx: So

[00:28:54] swyx: То есть

[00:28:54] Fan-yun Sun: skins

[00:28:54] Fan-yun Sun: скины

[00:28:55] swyx: for worlds, let’s call it

[00:28:55] swyx: для миров — давайте так назовём это.

[00:28:56] Fan-yun Sun: skins, let’s call it skin for worlds. I,

[00:28:56] Fan-yun Sun: Скины — давайте назовём это скины для миров.

[00:28:58] Vibhu: it’s also like, you can call it skin, you can call it [00:29:00] customization. You can play it how you want, right?

[00:28:58] Vibhu: Это также как — можно называть скины, можно называть [00:29:00] кастомизация. Вы играете так, как хотите.

[00:29:01] Fan-yun Sun: Yeah, exactly. And I think another thing that we really pointed out specific specifically in this blog is the programmability of it, right?

[00:29:01] Fan-yun Sun: Да, именно. И ещё одна вещь, на которую мы указываем конкретно в этом блоге — программируемость.

[00:29:09] So what this means is that this render historically render is always a derivative of the game state, right? You’re saying, oh, here’s the game state, I’m rendering out a frame. But here I’m saying actually this render can be part of the gameplay loop. I can say something along the lines of, if upon getting 10.

[00:29:09] Что это значит: исторически рендер всегда был производной от состояния игры. Вы говорите: «Вот состояние игры, рендерю кадр». А здесь я говорю — рендер может быть частью игрового цикла. Я могу сказать что-то вроде: «Если собрать 10

[00:29:26] Apples, I’m gonna, my weapon of choice, my bullet’s gonna turn into apples. And that’s, that’s possible because we can say, we can basically dynamically have certain game state trigger the, the preconditions to the render such that the rendering is now part of the game loop too. One thing is to just say, okay, it’s, it’s, it’s the appearance.

[00:29:26] яблок, моё оружие, мои пули превращаются в яблоки». И это возможно, потому что мы можем динамически привязывать определённое состояние игры к предусловиям рендера, так что рендеринг теперь тоже часть игрового цикла. Одно дело — просто внешний вид.

[00:29:47] But the second thing is also to say there’s these novel interactions that are possible because this render now has actually priors of the world.

[00:29:47] Но другое — новые взаимодействия, которые становятся возможными, потому что этот рендер теперь обладает приорами о мире.

[00:29:57] swyx: It is up to the artist to figure out what to do with it.

[00:29:57] swyx: Художнику предстоит решить, что с этим делать.

[00:29:59] Fan-yun Sun: It [00:30:00] is up to the creators. Yes.

[00:29:59] Fan-yun Sun: [00:30:00] Это решать создателям. Да.

[00:30:01] swyx: Yeah.

[00:30:01] swyx: Да.

[00:30:01] Fan-yun Sun: And I also think that’s actually another big argument that we’re making and the reason that we’re picking, taking the bet we’re baking is that a lot of the times, whether it’s for embody AI gaming, like you want a layer where human can inject their intentions.

[00:30:01] Fan-yun Sun: И я также думаю, что это ещё один важный аргумент, который мы выдвигаем, и причина, по которой мы делаем свою ставку: часто, будь то для embodied AI, гейминга — нужен слой, где человек может выразить своё намерение.

[00:30:15] So, for example, let’s just say in the context of gaming, it’s obviously like my creative intent, but maybe in the context of embodied ai, it’s like, oh, like I take this foundational policy and I want to actually fine tune it to deploy in my house. So you want to almost say, inject, have a layer where human can say, oh, here’s the distribution of things I want to create to achieve my goal.

[00:30:15] Например, в контексте гейминга — это очевидно мой творческий замысел. А в контексте embodied AI — «Вот базовая политика, и я хочу дообучить её для развёртывания в моём доме». То есть нужен слой, где человек может сказать: «Вот распределение вещей, которые я хочу создать для достижения своей цели».

[00:30:35] And I think 3D graphics as it as it is today, is basic, the layer for people to say, Hey, what do I care about in this world? And it allows, basically human intent to be expressed in these worlds much more explicitly and distributionally as opposed to just saying, Hey, I’m gonna generate like, arbitrary.

[00:30:35] И я думаю, 3D-графика сегодня — это тот самый слой для людей, чтобы сказать: «Что мне важно в этом мире?» И она позволяет человеческому намерению выражаться в этих мирах гораздо более явно и дистрибуционно, вместо того чтобы просто сказать: «Сгенерируй что-нибудь».

[00:30:54] And it’s like just prompts,

[00:30:54] И это просто промпты,

[00:30:55] swyx: it’s one of those things where like, I think you, you’re going to build up a series of models, right? [00:31:00] This is just one of, this is probably like the highest utility or heaviest, frequency one, I don’t dunno what to call this. Where like you Yeah. You can immediately drop this in on any game and you don’t need anything else that.

[00:30:55] swyx: это одна из тех вещей, где — я думаю, вы будете наращивать серию моделей. [00:31:00] Это лишь одна из них — наверное, самая полезная или самая частотная, не знаю, как назвать. Где вы можете сразу применить её к любой игре и не нужно ничего другого из того, что вы делаете.

[00:31:10] That you guys do. But, I, I could see, I could see that I think the, the human intent is something that people are not even used to because we’re so used to static worlds or, worlds that just don’t react, or, I don’t know. It’s, it, you’re kind of blowing my mind right now with like, I’m, I wonder if you’ve talked to people at GDC Hmm.

[00:31:10] Но я вижу — я думаю, человеческое намерение — это то, к чему люди даже не привыкли. Мы так привыкли к статичным мирам или мирам, которые не реагируют. Не знаю. Вы прямо сейчас взрываете мне мозг. Мне интересно, общались ли вы с людьми на GDC?

[00:31:27] And what are they gonna do with it?

[00:31:27] И что они будут с этим делать?

[00:31:30] Fan-yun Sun: Yeah. Now the stance that we take on this front is like, we’re not gonna be more creative than our users to ship

[00:31:30] Fan-yun Sun: Да. Наша позиция в том, что мы не будем креативнее наших пользователей, чтобы выпустить это.

[00:31:35] swyx: it out.

[00:31:35] swyx: Выпустить.

[00:31:35] Fan-yun Sun: Yeah. But we wanna make sure that we’re building things in a way that really allows them to express their intent.

[00:31:35] Fan-yun Sun: Да. Но мы хотим убедиться, что строим вещи так, чтобы они действительно позволяли пользователям выражать своё намерение.

[00:31:41] swyx: The thing that you said about, here’s the distribution that I want.

[00:31:41] swyx: То, что вы сказали о «вот распределение, которое я хочу».

[00:31:45] I think text may be too low of a bandwidth to. To really demonstrate, because I, I, there, I’m, I’m probably just gonna want to drop in a bunch of, reference assets and then you can figure it out from

[00:31:45] Мне кажется, текст — это слишком низкая пропускная способность, чтобы по-настоящему продемонстрировать, потому что я, наверное, просто захочу закинуть кучу референсных ассетов, и вы разберётесь из этого.

[00:31:58] Vibhu: there. But you probably wanna do a, a mixture of [00:32:00] both, right? Like you throw in a few images. I wanted this style.

[00:31:58] Vibhu: Но, наверное, нужна смесь [00:32:00] обоих подходов, верно? Закидываете несколько изображений. Я хотел такой стиль.

[00:32:02] Yeah. I want it to look like this. So it, it’s, it’s a mixture, right?

[00:32:02] Да. Хочу, чтобы выглядело так. Это смесь.

[00:32:05] Chris Manning: I, I think it’s a mixture. I mean, yeah, I mean there’s clearly a visual component of this, and it’s not that, everything can be text. ‘cause of course you want to give a visual look, but there’s also a massive amount of giving the overall picture of the look of the world and the behavior of things that you can express in a few words of text.

[00:32:05] Крис Мэннинг: Да, я думаю, это смесь. Есть очевидная визуальная компонента, и не всё можно передать текстом, потому что, конечно, вы хотите задать визуальный облик. Но также огромное количество общей картины мира и поведения вещей можно выразить несколькими словами текста.

[00:32:32] And it be very time consuming and difficult to do via visual means. So I think, yeah, you want a combination of both.

[00:32:32] И это было бы очень трудоёмко и сложно сделать визуальными средствами. Так что да, нужна комбинация обоих.

[00:32:40] Evaluating World Models

[00:32:40] Оценка мировых моделей

[00:32:40] Vibhu: So one question I kind of have is, how do we go about evaluating world models? So like, there’s many axes, right? One is like, okay. I have preferences. How well do we adhere to prompts? One is the simulation.

[00:32:40] Vibhu: У меня вопрос: как мы будем оценивать мировые модели? Есть много осей. Одна — насколько мы следуем промптам. Другая — симуляция. Третья — не нарушена ли базовая логика. Мы знаем, как оценивать диффузию — точность воспроизведения [00:33:00] и прочее. Но какие вызовы большинство людей, вероятно, не учитывает?

[00:32:50] One is like do things, is there core logic that’s broken? So coming from we know how to evaluate diffusion, there’s fidelity, there’s [00:33:00] stuff like that. But what are some of the challenges that most people probably aren’t thinking about?

[00:33:00] и тому подобное. Но о каких сложностях большинство людей, скорее всего, не думает?

[00:33:04] Fan-yun Sun: Yeah, I think this is like a great question and probably one of the hardest questions in role models because like, I think it always comes back to what are you building this role model for?

[00:33:04] Fan-yun Sun: Да, я думаю, это отличный вопрос и, вероятно, один из самых сложных вопросов в области мировых моделей. Потому что всё всегда сводится к: «Для чего вы строите эту мировую модель?»

[00:33:13] And depending on your end goal and purpose, the evaluation should defer. So in the context of games, then the most direct way of measuring is how much behind are people actually spending in this world that you create? And if your goal is to say, for example, in the context that we just talked about, like, hey, deploying, deploying action in body, a agent, then your, your end.

[00:33:13] И в зависимости от конечной цели и назначения, оценка должна различаться. В контексте игр самый прямой способ измерения — сколько времени люди реально проводят в созданном вами мире. А если цель — например, развернуть embodied AI-агента, то ваша конечная метрика —

[00:33:33] Metric is then, okay, after training in these worlds that you generate how robust it is to when you actually deploy to the target environment. But then, it’s, it’s hard to measure these end metrics. So today people have like these proxy metrics that I call that basically try to measure what we really care about, which is the end metrics, but then frankly it’s different for every use case.

[00:33:33] «Насколько устойчива модель при развёртывании в целевой среде после обучения в сгенерированных мирах». Но измерять эти конечные метрики сложно. Сегодня есть прокси-метрики, которые, я бы сказал, пытаются приблизиться к тому, что нас действительно волнует — конечным метрикам, — но они разные для каждого применения.

[00:33:57] Yeah,

[00:33:57] Да,

[00:33:57] Vibhu: which seems like quite a challenge, right? Like in [00:34:00] in language models or video models. Image models, your benchmarks are proxies, right? People aren’t actually asking instruction, following tool use questions. They’re proxies of how well it will do downstream. But for this, so like, should teams, should companies have their own individual benchmarks outside of games?

[00:33:57] Vibhu: что выглядит как серьёзный вызов. [00:34:00] В языковых или видеомоделях, моделях для изображений — ваши бенчмарки тоже прокси, верно? Люди не спрашивают настоящие вопросы про следование инструкциям и использование инструментов. Это прокси того, насколько хорошо модель покажет себя в реальных задачах. Но для мировых моделей — стоит ли командам и компаниям создавать свои собственные бенчмарки помимо игр?

[00:34:16] If you think of stuff like, okay, video production, movies, stuff like that, that also want to use world models. Should, should they sort of internalize like. Their own proxy. Is this something you guys do? Where, where does that connect

[00:34:16] Если подумать о видеопроизводстве, кино и подобном — они тоже хотят использовать мировые модели. Стоит ли им создавать свои прокси? Вы это делаете? Как это всё связано?

[00:34:28] Chris Manning: go? Yeah, I think this whole space is extremely difficult as things are emerging now.

[00:34:28] Крис Мэннинг: Да, я думаю, вся эта область сейчас чрезвычайно сложна, по мере того как всё развивается.

[00:34:35] And I mean, it’s not only for world models, I think it’s for everything including text-based models, right? ‘cause in the early days it seemed very easy to have good benchmarks ‘cause we could do things like question answering benchmarks and could you answer the question based on these documents and the various other kinds of, do pieces of logical reasoning or math.

[00:34:35] И я имею в виду не только мировые модели — это касается всего, включая текстовые модели. На ранних этапах казалось очень легко создавать хорошие бенчмарки — были бенчмарки ответов на вопросы, можно ли ответить на вопрос по документам, разные виды логического рассуждения или математики.

[00:34:58] But again, these are sort of. [00:35:00] And there were sort of visual equivalents of things like object recognition, right? For these small component tasks. These days so much of what people are wanting to do also with language models is nothing like that, right? You’re wanting to, have an interaction with the language model and get some recommendations about which backpack would be best for you for your trip in Europe next month.

[00:34:58] Но опять же, это были [00:35:00] своего рода… И были визуальные аналоги вещей вроде распознавания объектов — для таких мелких компонентных задач. Сегодня столько из того, что люди хотят делать с языковыми моделями, совершенно на это не похоже. Вы хотите провести диалог с языковой моделью и получить рекомендации, какой рюкзак лучше для вашей поездки по Европе в следующем месяце.

[00:35:25] And it’s not the same kind of thing, right? And it’s not so easy to come up with a benchmark as to does this large language model give you an effective interaction for guiding you in a good way for shopping, right? So, and it’s the same problem with these world models. So if we take the game design case, well success is that a game designer can.

[00:35:25] И это совсем другое, верно? И не так-то просто создать бенчмарк для того, обеспечивает ли вам эта языковая модель эффективное взаимодействие для покупок? И с мировыми моделями та же проблема. Если взять кейс дизайна игр — успех в том, что дизайнер игры может

[00:35:57] Produce what they are [00:36:00] imagining in a reasonable amount of time. And that’s really the kind of macro task. That’s a very hard thing to turn into a benchmark and I think a lot of this is actually going to turn into people walking, walking with their feet. Right? I mean, I guess that’s what’s happening, at the large language model level, right?

[00:35:57] воплотить то, что он [00:36:00] представляет, за разумное время. И это, по сути, макро-задача. Это очень сложно превратить в бенчмарк, и я думаю, во многом это будет решаться тем, что люди будут «голосовать ногами». Именно это, пожалуй, происходит на уровне больших языковых моделей?

[00:36:23] When people are choosing to use, GPT five or Gemini or clawed, individuals are trying out these different models and deciding, oh, I like the kind of answers that GT five gives me, or no, I feel like I get more accurate detail from Claude, right?

[00:36:23] Когда люди выбирают — использовать GPT-5, Gemini или Claude — они пробуют разные модели и решают: «Мне нравятся ответы GPT-5» или «Нет, я чувствую, что Claude даёт более точные детали».

[00:36:43] Vibhu: It’s a lot of

[00:36:43] Vibhu: Это много

[00:36:43] Chris Manning: vitech, a lot of people just using it.

[00:36:43] Крис Мэннинг: вайб-чека. Люди просто пользуются.

[00:36:45] It’s vibe checking. I realize that, but it’s actually whether. People feel it’s giving them utility in what they want. Right.

[00:36:45] Это вайб-чекинг. Я понимаю, но это реально вопрос, чувствуют ли люди, что модель приносит им пользу в том, что им нужно.

[00:36:52] Vibhu: And the the interesting thing there is like a lot of people prefer the visual, right? This looks pretty, which is not the objective of what this is [00:37:00] for, right? It’s if a, if a game designer is working on something, they care about the game engine, right?

[00:36:52] Vibhu: И интересно, что многие люди предпочитают визуальное — «это красиво» — что не является целью того, для чего это создано. [00:37:00] Если дизайнер игры работает над чем-то, ему важен игровой движок.

[00:37:04] The state, it’s, it can look whatever. You can fix that up later. Or you can have a really good game state and you can quickly edit it to 20. 20 different versions, like Keep State,

[00:37:04] Состояние. Выглядеть может как угодно. Потом поправите. Или у вас отличное состояние игры, и можно быстро сделать 20 разных версий. Сохранить состояние,

[00:37:14] Chris Manning: right?

[00:37:14] Крис Мэннинг: верно?

[00:37:14] Vibhu: So

[00:37:14] Vibhu: Так что

[00:37:14] Chris Manning: that’s a really important distinction, for and for speaking to Moon Lake strength, right? So, yeah, great visuals are lovely to look at for a few seconds, but gains are really all about the concept, the game play.

[00:37:14] Крис Мэннинг: это действительно важное различие, и это говорит в пользу Moon Lake. Да, красивая графика прекрасна, чтобы посмотреть пару секунд, но игры — это в первую очередь концепция, геймплей.

[00:37:33] And a lot of the time that doesn’t actually even require great visuals. I mean, there are just lots of very successful games which have relatively primitive visuals, and there are other games where people have spent millions producing photo realistic, visuals, and the game sucks, right? So, keeping those two axes apart is really important in thinking about what’s important in a [00:38:00] world model for different uses.

[00:37:33] И часто для этого даже не нужна великолепная графика. Есть масса очень успешных игр с довольно примитивной графикой, и есть другие игры, где потратили миллионы на фотореалистичную графику, а игра никуда не годится. Разделять эти две оси очень важно для понимания того, что важно в мировой модели [00:38:00] для разных применений.

[00:38:02] swyx: This conversation is reminding me of some game review and fiction discussions I’ve, had in my sort of non-AI related life. Some, for some people might know Brandon Sanderson, who’s a very famous, fiction author, had, is is a big game reviewer. And he, he’s a big fan of video games where you change one thing about a normal what you might assume about, about the world.

[00:38:02] swyx: Этот разговор напоминает мне обсуждения обзоров игр и художественной литературы из моей не-AI жизни. Некоторые, может, знают Brandon Sanderson, очень известного автора, который ещё и большой обзорщик игр. Он фанат видеоигр, где меняется одна вещь в том, что вы бы предположили о мире.

[00:38:22] For example, Baba is you, I don’t know if you might have come across that, where like the rules change as you play the game. And also like where, you can do things like reverse time selectively or like change gravity selectively. And I think this is also reminds, reminds me of other kinds of world models that are created by authors.

[00:38:22] Например, Baba Is You — не знаю, встречали ли вы, — где правила меняются по ходу игры. А также где можно, например, выборочно обращать время вспять или менять гравитацию. И это также напоминает мне другие виды мировых моделей, создаваемых авторами.

[00:38:38] Where Ted Chang is, is my typical example where he’ll take the world that, you know today, but change one thing about it and, but then create a consistent world based on that. Which is long-winded answer of me to, of. For me to say is it’s it easy to create alternative roles that don’t exist, but you change one thing and then let’s, let’s run a whole bunch of people through it to see if it works.

[00:38:38] Где Ted Chiang — мой типичный пример — берёт мир, который вы знаете сегодня, меняет в нём одну вещь и создаёт последовательный мир на основе этого. Что является длинным ответом, чтобы сказать: легко ли создавать альтернативные миры, которых не существует, но вы меняете одну вещь и пропускаете через них кучу людей, чтобы проверить, работает ли.

[00:38:58] Chris Manning: My first dance will [00:39:00] be, that seems a lot easier and more conceivable to do using Techn technology like Moon Lakes than with some of the other world models out there, where the sun can actually make it happen. I’ll let him give a second answer.

[00:38:58] Крис Мэннинг: Мой первый ответ — [00:39:00] это кажется гораздо более осуществимым и реальным с технологией вроде Moon Lake, чем с другими мировыми моделями. А Sun может рассказать, как это реализовать — дам ему дать второй ответ.

[00:39:15] swyx: If I guess for you, you’re constrained by the game engine tool, right?

[00:39:15] swyx: Для вас, я так понимаю, вы ограничены инструментом игрового движка?

[00:39:18] Like at the end of the day, that’s the, that’s the thought, partner that you have. If I ask for something where like, if it never is allowed to reverse time or if gravity only ever works one way, then well that’s it. But sometimes gravity might change,

[00:39:18] Это, по сути, ваш партнёр для мышления. Если я попрошу что-то, где время нельзя обратить или гравитация работает только в одну сторону — ну, это ограничение. Но иногда гравитация может измениться.

[00:39:33] Fan-yun Sun: but it’s a lot easier to change with code as opposed to a model that is learned primarily on data of.

[00:39:33] Fan-yun Sun: Но менять это в коде гораздо проще, чем в модели, обученной преимущественно на данных из

[00:39:42] Real world and virtual worlds that are, I guess, like for example, junior, like there’s actually trained on a lot of real world data and a lot of virtual gaming data, and it’s hard to say maybe it’s easier to say, okay, I wanna change the visuals in like the time period of, of the world. Like, you can’t change gravity, for [00:40:00] example.

[00:39:42] реального мира и виртуальных миров. Я думаю, например, Junior — на самом деле обучена на множестве реальных и виртуальных игровых данных, и сложно сказать — может, проще изменить визуальный стиль, временной период мира. Но нельзя изменить гравитацию, [00:40:00] например.

[00:40:00] Vibhu: I feel like you can to light bounds, right? Everything comes down to like, code is a better way to execute it, but the models aren’t that diverse and creative, right? You can say, okay, make gravity slower. It can do that, but it’s limited to your representation of how you text it out, right? Like they’re, they’re only gonna do a few iterations, whereas programmatically, if there’s a game engine under the hood, you can kind of go wild, right?

[00:40:00] Vibhu: Мне кажется, можно, но в определённых границах. Всё сводится к тому, что код — лучший способ это реализовать, но модели не настолько разнообразны и креативны. Можно сказать «сделай гравитацию медленнее» — модель это сделает, но ограничена вашим текстовым представлением. Они сделают лишь несколько итераций, тогда как программно, если под капотом игровой движок — можно развернуться по полной.

[00:40:22] So one of the, I dunno, one of the limitations of most models is that they’re very overtrained to one style. Right. And extracting diversity is pretty difficult. At least that’s something we’ve seen.

[00:40:22] Одно из ограничений большинства моделей — они переобучены под один стиль. И добывать разнообразие довольно сложно. По крайней мере, это то, что мы наблюдали.

[00:40:35] Fan-yun Sun: I mean, are there examples you have in mind where you Existing models? Yeah. Like it would be easier to do that’s not using code.

[00:40:35] Fan-yun Sun: Есть примеры, которые вы имеете в виду, где с существующими моделями было бы проще сделать то, что не делается через код?

[00:40:43] Certain types of creative intent or like transition state transitions,

[00:40:43] Определённые виды творческого замысла или переходов состояний,

[00:40:47] swyx: Clipping, other models, other wo models are very good at clipping through things. Clipping my, my, my legs clipping through a rock because it’s, it’s just, it’s just bad. [00:41:00] Like, you would have to struggle very hard with your stuff to actually make that happen.

[00:40:47] swyx: Клиппинг. Другие модели, другие мировые модели отлично справляются с клиппингом. Мои ноги проходят сквозь камень, потому что это просто… плохо. [00:41:00] Вам бы пришлось очень сильно постараться с вашими инструментами, чтобы это произошло.

[00:41:04] Which I think is maybe a topic that you actually prepared on, Gian Splatting versus, the other stuff.

[00:41:04] Что, я думаю, возможно, связано с темой, которую вы подготовили — Gaussian Splatting против других подходов.

[00:41:09] Vibhu: Yeah. Yeah. It’s just for those not super familiar, right? There’s a, there’s gian splatting, there is diffusion. Like what works, what scales up. I feel like in February when Soro one came out the blog post was literally titled like,

[00:41:09] Vibhu: Да. Для тех, кто не очень в теме — есть Gaussian Splatting, есть диффузия. Что работает, что масштабируется. Помнится, в феврале, когда вышла Sora — блог-пост буквально назывался:

[00:41:21] swyx: you bring it up.

[00:41:21] swyx: Вы его поднимаете.

[00:41:22] You never know.

[00:41:22] Никогда не знаешь.

[00:41:23] Vibhu: World, world, video generation models are world simulators. It’s super bitter lesson pilled. Yeah, emer, a lot of it is emergence, right? So, not to go through their blog post, basically their whole thing was as you scale up all this consistency, all this stuff just kind of solves, it’s a very simple premise, right?

[00:41:23] Vibhu: «Модели генерации видео — это мировые симуляторы». Абсолютно в духе горького урока. Много эмерджентности. По сути, весь их тезис — если масштабировать, вся эта согласованность просто решается. Очень простая предпосылка.

[00:41:41] They just scaled up, diffusion, and from there, this is, this is Feb 2024, how much can we, it’s already been two years, which is basically five years. How much more in AI time do we need to just scale up or, or do we hit a data cap? But I think we already talked about this a lot, right? Like this is back to the beginning discussion of what’s [00:42:00] appropriate for the time.

[00:41:41] Они просто масштабировали диффузию, и с тех пор — это февраль 2024 — прошло уже два года, что по AI-времени равно пяти годам. Сколько ещё нужно просто масштабировать — или мы упрёмся в потолок данных? Но я думаю, мы уже много об этом говорили — это возвращает нас к началу дискуссии о том, что уместно на данный момент. [00:42:00]

[00:42:01] And that seems like your approach, right?

[00:42:01] И это, похоже, ваш подход?

[00:42:03] Fan-yun Sun: Yeah. The point I’m trying to make is that they’re very many, many different types of world simulators and like having a world simulator that can produce pixel coherency is very, very useful for games and, marketing and all these things, but it’s not as useful as people think when it comes to causal reasoning.

[00:42:03] Fan-yun Sun: Да. Мысль, которую я пытаюсь донести — есть очень, очень много разных типов мировых симуляторов. И мировой симулятор, который может производить пиксельную когерентность, — это очень полезно для игр, маркетинга и прочего. Но он не настолько полезен, как люди думают, когда речь идёт о каузальном рассуждении.

[00:42:25] When it comes to embodied ai. Yeah, like it this title is true. We’re not saying that it’s, it’s like, not a great world simulator, but actually in the blog that we, we, we, we wrote, the bet is more so that there are gonna be disproportionately large share of value of real world tasks or, and virtual tasks where high resolution pixel fidelity is not needed.

[00:42:25] Когда речь об embodied AI. Да, этот тезис верен. Мы не говорим, что это плохой мировой симулятор. Но ставка, которую мы делаем в нашем блоге, — скорее о том, что непропорционально большая доля ценности реальных и виртуальных задач не требует высокого разрешения пикселей.

[00:42:47] Yes. Video models have their values.

[00:42:47] Да. Видеомодели имеют свою ценность.

[00:42:50] swyx: Yeah. This is at the absolute limit of my physics understanding, but one example that comes to mind is basically having to solve like ba the equivalent of a three [00:43:00] body problem in a deterministic Well, where the video models, which is approximated good enough. Yeah.

[00:42:50] swyx: Да. Это на пределе моего понимания физики, но один пример — по сути, решение эквивалента задачи трёх тел в детерминированном мире, где видеомоделям — достаточно хорошее приближение. [00:43:00] Да.

[00:43:08] Right. Like there’s, there’s some point at which your approach kind of runs into like the you now have to simulate the world. Please, thank you very much. And like you’re trying to do that, but only to the extent that the game engine lets you and like game engines cannot do some things.

[00:43:08] Есть точка, после которой ваш подход упирается в: «Теперь нужно симулировать мир. Будьте добры». И вы пытаетесь это делать, но лишь в той мере, в какой позволяет игровой движок. А игровые движки не могут некоторые вещи.

[00:43:23] Fan-yun Sun: Yeah, no, I mean, I think the interesting or more technical question here actually is where do you draw the boundary between.

[00:43:23] Fan-yun Sun: Да, нет, я думаю, более интересный или технический вопрос здесь — где провести границу между

[00:43:32] What’s handled with, let’s say, diffusion prior and what, when? What’s handled with symbolic priors?

[00:43:32] тем, что обрабатывается, скажем, диффузионным приором, и тем, что обрабатывается символьным приором?

[00:43:38] swyx: Yes.

[00:43:38] swyx: Да.

[00:43:38] Fan-yun Sun: Okay.

[00:43:38] Fan-yun Sun: Так.

[00:43:38] swyx: Okay.

[00:43:38] swyx: Так.

[00:43:39] Fan-yun Sun: Right. Let’s go there. Because this, this boundary can actually be fluid. Like I think like maybe what you’re trying to get at is like, okay, people are saying pixel prior, everything. But what we’re saying is, okay, there’s a boundary that we draw where this is where we think provides the most economical value for the domains and things that we care about today.

[00:43:39] Fan-yun Sun: Верно. Давайте пойдём туда. Потому что эта граница на самом деле может быть подвижной. Я думаю, возможно, вы пытаетесь сказать: «Ладно, люди говорят — пиксельный приор, всё через него». А мы говорим: «Есть граница, которую мы проводим там, где считаем, что она обеспечивает максимальную экономическую ценность для доменов и задач, которые нас волнуют сегодня».

[00:43:59] [00:44:00] And I actually do think, and it’s something that we do internally all the time, which is like, okay, given new equations that we learn or new elements of the world and that we, we learn, or maybe some other knowledge that we acquire in the process of developing the models. Should we still be maintaining this line exactly as it is today?

[00:43:59] [00:44:00] И на самом деле — это то, что мы делаем внутри команды всё время: «Учитывая новые уравнения, которые мы узнали, или новые элементы мира, или знания, полученные в процессе разработки моделей — нужно ли сохранять эту линию именно там, где она сегодня?»

[00:44:22] Or should we move it a little bit left or a little bit right? Right. Like sometimes that we realize that, oh, like maybe customers or, or folks like want certain things that are better handled with preop pryor as opposed to, symbolic prior than,

[00:44:22] Или сдвинуть её немного влево или вправо? Иногда мы понимаем, что клиенты или пользователи хотят вещи, которые лучше обрабатываются диффузионным приором, а не символьным, и тогда —

[00:44:34] swyx: yeah. Your, your skin thing is a, is a example moving it, right.

[00:44:34] swyx: Да. Ваша штука со «скинами» — это пример сдвига.

[00:44:37] Yeah.

[00:44:37] Да.

[00:44:37] Or left. Yeah,

[00:44:37] Или влево. Да,

[00:44:37] Fan-yun Sun: exactly.

[00:44:37] Fan-yun Sun: именно.

[00:44:38] swyx: I dunno what the, the left right is.

[00:44:38] swyx: Я не знаю, что здесь лево, что право.

[00:44:39] Fan-yun Sun: Yeah, yeah, yeah. No the, the model.

[00:44:39] Fan-yun Sun: Да, да, да. Нет, модель.

[00:44:42] swyx: Yes.

[00:44:42] swyx: Да.

[00:44:42] Fan-yun Sun: Actually we have a few iterations of them. They’re actually at slightly different

[00:44:42] Fan-yun Sun: На самом деле у нас есть несколько итераций. Они находятся на слегка различных

[00:44:45] swyx: I know boundaries. You should, you should do that. That’s a cool dimension to show.

[00:44:45] swyx: границах. Стоит это показать. Это крутое измерение.

[00:44:49] Fan-yun Sun: Yeah.

[00:44:49] Fan-yun Sun: Да.

[00:44:50] swyx: Is quantum mechanics the diffusion prior of our world?

[00:44:50] swyx: Квантовая механика — это диффузионный приор нашего мира?

[00:44:55] Right. It’s like that’s the boundary of classical mechanics versus quantum. Right? Like, that’s it. At one [00:45:00] point God plays dice and the other point doesn’t.

[00:44:55] Это как граница классической механики и квантовой, верно? В одном [00:45:00] случае Бог играет в кости, а в другом — нет.

[00:45:02] Fan-yun Sun: I dunno if Chris, you wanna say it, but I think, I think generally I feel like physics is better with symbol P priors.

[00:45:02] Fan-yun Sun: Не знаю, хочет ли Крис ответить, но в целом я думаю, что физика лучше описывается символьными приорами.

[00:45:08] Chris Manning: Even quantum physics.

[00:45:08] Крис Мэннинг: Даже квантовая физика.

[00:45:09] Fan-yun Sun: Even quantum physics.

[00:45:09] Fan-yun Sun: Даже квантовая физика.

[00:45:11] swyx: Yeah. This is starts against to, MLST territory is, is what I call it, where, he, he likes to get philosophical. We, we we’re quite friendly.

[00:45:11] swyx: Да. Это уже начинает уходить в территорию MLST — так я это называю, — он любит пофилософствовать. Мы дружим.

[00:45:18] Vibhu: I mean, we need to get, we need to get singularity. I heard some of that.

[00:45:18] Vibhu: Нам нужна сингулярность. Я что-то слышал об этом.

[00:45:23] swyx: No, no, I think that is actually really helpful and man, I just want you to productize this like, as a product guy, I’m just like, oh, also

[00:45:23] swyx: Нет, нет, я думаю, это действительно полезно, и, боже, я просто хочу, чтобы вы это продуктизировали — как продуктовый человек, я прямо: «О, а также

[00:45:32] Vibhu: a gamer, I

[00:45:32] Vibhu: как геймер, я

[00:45:33] swyx: wanna, it’s like a researcher, like, it’s cool.

[00:45:33] swyx: хочу — это как исследователь, типа, круто.

[00:45:35] Like this is a, the theoretical, like you have a very good, I don’t know, like the way of thinking about these things, but I just wanna see you like, express it. I do think like your fundamentally things when, when you leave open new tools, like, okay, use, use human intent to incorporate it into how you render.

[00:45:35] Это — теоретическая — у вас очень хороший, не знаю, способ думать об этих вещах. Но я просто хочу увидеть, как вы это выразите. Я думаю, когда вы оставляете открытыми новые инструменты — «используйте человеческое намерение для рендеринга» —

[00:45:52] Artists are gonna have to take like two to three years to figure out what to do with this. And you just don’t know.

[00:45:52] художникам потребуется два-три года, чтобы понять, что с этим делать. И вы просто не знаете.

[00:45:57] Chris Manning: Right. But I think, this is, [00:46:00] gives a much more approachable and controllable world for the society, which is the beauty, the beauty of, NLP, that that will enable it to be adopted and used.

[00:45:57] Крис Мэннинг: Верно. Но я думаю, [00:46:00] это даёт обществу гораздо более доступный и контролируемый мир, в чём красота NLP. Это позволит ему быть принятым и использоваться.

[00:46:10] And we are very hopeful about that. Yeah,

[00:46:10] И мы очень на это надеемся. Да,

[00:46:13] Fan-yun Sun: yeah. Yeah. I mean, we are, we are very focused actually on commercialization in the sense that like we do, we do really believe in the data flywheel app approach. Yeah. Where, we put this in the hands of the creators and the users and then they will teach us when, what capability our model should improve.

[00:46:13] Fan-yun Sun: да. Да. Мы на самом деле очень сфокусированы на коммерциализации в том смысле, что мы действительно верим в подход с маховиком данных. Да. Мы даём это в руки создателей и пользователей, и они покажут нам, какие возможности нашей модели нужно улучшить.

[00:46:27] And that’s why we are, we are actually, like products and beta

[00:46:27] Поэтому у нас уже есть продукт в бете.

[00:46:31] swyx: Yeah. Focusing on gaming. What, what’s like the adjacent thing to gaming

[00:46:31] swyx: Да. Фокусируетесь на играх. Что следующее, смежное с играми?

[00:46:34] Fan-yun Sun: embody adjacent, basically. So maybe we can, we can I’ll maybe start with where we see the platform in three years. Yeah. Which is like, okay. The users would tell us what they want to achieve.

[00:46:34] Fan-yun Sun: Embodied-смежное, по сути. Может, начну с того, где мы видим платформу через три года. Пользователи скажут нам, чего хотят достичь.

[00:46:45] The end goal could be, Hey, I just, I wanna make something to teach my kids the value of humility. Or it could be, Hey, I wanna fine tune my, drones to be really good at rescue situations. I could be vacuum robots. I want to like train [00:47:00] my manipulation or like vacuum robot to be very robust to my office, right?

[00:46:45] Конечная цель может быть: «Я просто хочу сделать что-то, чтобы научить моих детей ценности скромности». Или: «Я хочу дообучить свои дроны быть действительно хорошими в спасательных ситуациях». Или роботы-пылесосы. «Я хочу обучить [00:47:00] робота-манипулятора или робота-пылесоса робастно работать в моём офисе».

[00:47:04] But it’s like, whatever it is, scenario robust to

[00:47:04] Что бы это ни было — робастность сценарию к

[00:47:06] swyx: my office

[00:47:06] swyx: «моему офису».

[00:47:07] Fan-yun Sun: or like navigate very robustly in my office. But then it’s like, whatever end goal that you want, our role model will say, okay, given what you want to achieve, let me generate a distribution of environments such that I can train and evaluate whatever it is you want.

[00:47:07] Fan-yun Sun: Или робастная навигация в моём офисе. Суть в том, что какой бы ни была ваша конечная цель, наша мировая модель скажет: «Хорошо, учитывая то, чего вы хотите достичь, давайте сгенерирую распределение сред, в которых можно обучить и оценить то, что вам нужно».

[00:47:24] Yeah. Right. Maybe for the purpose of games, it’s just the end simulation and that’s the end product for certain policies. It’s like I can train it within these environments and then help you see where your policy is failing or not. Yeah. And then, so I think,

[00:47:24] Да. Для игр — это просто конечная симуляция, и это конечный продукт. Для определённых политик — «Я могу обучить их в этих средах и помочь вам увидеть, где ваша политика проваливается, а где нет». И тогда, я думаю,

[00:47:37] swyx: so in that case, much more of a training tool.

[00:47:37] swyx: В таком случае — гораздо больше инструмент для обучения.

[00:47:40] Than in other training

[00:47:40] Чем в других случаях, обучение —

[00:47:41] Vibhu: evaluation? Both. Right?

[00:47:41] Vibhu: и оценка? И то, и другое.

[00:47:43] swyx: Sure. Same. Same thing.

[00:47:43] swyx: Конечно. Одно и то же.

[00:47:43] Fan-yun Sun: Yeah, same thing. I think it’s just this role model that allows people to train any policy that can act in any multimodal environments.

[00:47:43] Fan-yun Sun: Да, одно и то же. Я думаю, это просто мировая модель, которая позволяет людям обучать любую политику, способную действовать в любых мультимодальных средах.

[00:47:51] swyx: Would it be harder to reward hack? Is there an angle here where it is harder to reward hack? Like it’s just, I’ll just put it generally because I think that’s a, that’s obviously a key [00:48:00] problem that a lot of people face when in training agents in these environments, and I don’t know, can you solve it?

[00:47:51] swyx: Стало бы сложнее «хакнуть» награду? Есть ли тут аспект, где хакнуть награду сложнее? Просто скажу в общем, потому что это очевидно ключевая [00:48:00] проблема для многих при обучении агентов в таких средах, и я не знаю — можете ли вы её решить?

[00:48:07] Chris Manning: I think not necessarily. To the extent that there’s a mis specified reward that. It seems like it could be hacked in a more symbolic world or in a more pixel based world. I dunno if Sun’s got any thoughts, but I don’t think that’s really being solved.

[00:48:07] Крис Мэннинг: Думаю, не обязательно. В той мере, в какой награда задана некорректно, — кажется, её можно хакнуть как в более символьном, так и в более пиксельном мире. Не знаю, есть ли у Sun мысли, но я не думаю, что это действительно решается.

[00:48:26] swyx: The other thing that comes to mind is just you could just build a better sawa as a video generator model, right?

[00:48:26] swyx: Ещё одна мысль: вы могли бы просто построить лучшую Sora — как модель генерации видео.

[00:48:31] Because then you, you would move the diffusion, side a bit more further to the right. I think if I got the directionality correct. And that’s it.

[00:48:31] Тогда вы сдвинули бы диффузионную сторону ещё правее — если я правильно понял направление. И всё.

[00:48:40] Vibhu: It’s better on domains, right? Like on consistency over now, or for sure it exists versus something doesn’t, right.

[00:48:40] Vibhu: Это лучше на конкретных доменах, верно? По согласованности в том, что существует, против того, чего нет.

[00:48:46] Chris Manning: So

[00:48:46] Крис Мэннинг: Так что

[00:48:46] swyx: yeah. Yeah. Is

[00:48:46] swyx: да. Да.

[00:48:49] Vibhu: is a question more like, like

[00:48:49] Vibhu: Вопрос скорее в том…

[00:48:51] swyx: I’m just riffing on like, how do you, what can you build, you know?

[00:48:51] swyx: Я просто фантазирую — что можно построить, понимаете?

[00:48:54] Oh, with the stuff that you have. I do think that the minor, the academic does go immediately to training [00:49:00] and in eval evaluation, but like art tends to take unusual directions. Like you might end up,

[00:48:54] С тем, что у вас есть. Я думаю, учёный сразу думает об обучении [00:49:00] и оценке, но искусство обычно идёт в неожиданных направлениях. Возможно, вы в итоге —

[00:49:06] Chris Manning: okay. Yeah. But the question is, can you use this piece of software to develop compelling gameplay and. I don’t think you can take SOAR and produce compelling gameplay, right?

[00:49:06] Крис Мэннинг: Да. Но вопрос в том: можно ли с помощью этого софта создать увлекательный геймплей? И я не думаю, что с Sora можно создать увлекательный геймплей.

[00:49:19] If you want to have a world that you can wander around in a bit, you are good. But what are your abilities to have gameplay mechanics implemented the way you’d like them to be and to have things stay, with the long-term history of your gameplay that influences future actions. I think there’s just nothing there for that.

[00:49:19] Если вы хотите мир, по которому можно немного побродить — пожалуйста. Но насколько вы можете реализовать механики геймплея так, как хотите, и сохранить долгосрочную историю вашего геймплея, влияющую на будущие действия? Думаю, там просто нет ничего для этого.

[00:49:39] swyx: Yeah, I do tend to agree. I, I’m just trying to sort of test the boundaries. I would also make the observation that as AAA games industry has developed the line between what is a movie and what is a game has blurred. And you, you, you do end up basically producing a two hour movie as part of your game.

[00:49:39] swyx: Да, я склонен согласиться. Просто пытаюсь прощупать границы. Ещё замечу, что по мере развития индустрии AAA-игр грань между фильмом и игрой размылась. И вы в итоге по сути создаёте двухчасовой фильм как часть игры.

[00:49:57] Fan-yun Sun: No, honestly, there, there’s so many actually [00:50:00] applications in adjacent markets that our world model can go into. Yeah. But yeah, it, it’s sort of fun to riff, riff on. Although on the execution side, we we, we need to stay focused with like, okay, what are the capabilities we want to unlock over time?

[00:49:57] Fan-yun Sun: Нет, честно, есть [00:50:00] столько применений на смежных рынках, куда может выйти наша мировая модель. Да. Но рассуждать об этом, конечно, интересно, хотя на стороне исполнения мы должны оставаться сфокусированными — какие возможности мы хотим открывать поэтапно.

[00:50:11] And there’s a roadmap for that. But yeah, if we’re just riffing on sort of like the possibilities, I feel like, whether it’s endless Yeah, it’s like classic

[00:50:11] И есть дорожная карта для этого. Но да, если мы просто фантазируем о возможностях — они бесконечны. Классика.

[00:50:18] swyx: and the embedding for a possibility and endless in my mind, it’s very close. Yeah. I do wanna, focus on one, like weird choice. I, I don’t know if it’s weird.

[00:50:18] swyx: И в моём представлении эмбеддинги «возможностей» и «бесконечности» очень близки друг к другу. Да. Хочу сфокусироваться на одном — необычном выборе. Не знаю, необычном ли.

[00:50:28] Maybe I’m, I got something here. Audio, right? You could have just said no audio And audio in my mind has a lot of recursion, whereas in video you can just do recasting and that’s much computationally much simpler. Audio just seems way harder. I don’t know if you wanna just comment on just the special 3D audio.

[00:50:28] Может, я что-то нащупал. Аудио. Вы могли бы просто сказать «никакого аудио». Аудио, на мой взгляд, содержит много рекурсии, тогда как в видео можно просто сделать рекастинг — и это вычислительно гораздо проще. Аудио кажется намного сложнее. Не хотите прокомментировать 3D-аудио?

[00:50:46] Problem. Did you really have to do it? I guess you do to be immersive, but like a lot of people do treat it as like, well, you just stick a, a tt S model on top of

[00:50:46] Правда ли это нужно было делать? Наверное, да, для иммерсивности. Но многие относятся к этому как: «Ну, просто приклеишь TTS-модель поверх».

[00:50:57] Vibhu: Well, there’s a lot more to game audio than [00:51:00] just speech. Right. It’s not just

[00:50:57] Vibhu: Ну, в игровом аудио намного больше, чем [00:51:00] просто речь. Это не только

[00:51:01] swyx: tts. Yeah. Tts. S Fxt, GM Spatial in my mind Echoes

[00:51:01] swyx: TTS. Да. TTS, SFX, музыка. Пространственное — в моём понимании — эхо.

[00:51:06] Chris Manning: Yeah.

[00:51:06] Крис Мэннинг: Да.

[00:51:06] swyx: And reflections.

[00:51:06] swyx: И отражения.

[00:51:07] And I, I don’t even know what’s, what else? I don’t know what, what other problems in this space.

[00:51:07] И я даже не знаю, что ещё. Не знаю, какие ещё проблемы есть в этой области.

[00:51:13] Fan-yun Sun: Yeah, I think this point like the, it’s sort of a more, more pointing to the benefits of using an game engine as a tool that’s available to the model, right? Because like part of the spatial audio is from the code that is underlying the simulation.

[00:51:13] Fan-yun Sun: Да, я думаю, это скорее указывает на преимущества использования игрового движка как инструмента, доступного модели. Потому что часть пространственного аудио обеспечивается кодом, лежащим в основе симуляции.

[00:51:32] And while we do give our model access to other types of audio models as. Tools.

[00:51:32] И хотя мы даём нашей модели доступ к другим типам аудиомоделей как инструментам —

[00:51:39] swyx: None of them would be spatial, I think.

[00:51:39] swyx: Ни одна из них, наверное, не пространственная.

[00:51:41] Fan-yun Sun: But that’s exactly sort of more 0.2. We’re giving our model an abstraction or a suite of tools such that it’s able to achieve that. And you can argue that sort of spatial is like a, like a emergence out of the, the tools that we and abstraction that we provide to the agents.

[00:51:41] Fan-yun Sun: Но в этом-то и суть. Мы даём нашей модели абстракцию или набор инструментов, позволяющий ей достигать этого. И можно утверждать, что пространственное аудио — это своего рода эмерджентное свойство инструментов и абстракций, которые мы предоставляем агентам.

[00:51:59] And I think that’s the beauty of [00:52:00] this, this, this approach is like there’s a lot of things kind of like how human’s built technology and they’re like Lego blocks that build on top of each other. And it’s the same thing here. There’s gonna be things that sort of just sort of emerges from being able to put these things together in like combinatorially interesting ways,

[00:51:59] И я думаю, в этом красота [00:52:00] этого подхода — многое, как и в том, как люди строили технологии, — это кубики Lego, надстраивающиеся друг над другом. И здесь то же самое. Есть вещи, которые просто возникают из способности комбинировать элементы комбинаторно интересными способами.

[00:52:14] Chris Manning: right?

[00:52:14] Крис Мэннинг: Верно.

[00:52:15] So this integrated audio model exploits the understanding and semantics of the Moon Lake world, right? And whereas in general for the Gen AI video models. There’s no actual integration across to audio at all, right? That someone might stick some music or stick a soundscape or whatever else on top of their video.

[00:52:15] Эта интегрированная аудиомодель использует понимание и семантику мира Moon Lake. Тогда как для генеративных AI-моделей видео в целом нет никакой реальной интеграции с аудио. Кто-то может наложить музыку или звуковой ландшафт поверх видео,

[00:52:44] So it’s not a silent video, but they’re in no way connected into a consistent world model. And there’s nothing that’s okay. An action is happening in the video. Therefore there should be a sound that’s [00:53:00] coming from this part of the visual field.

[00:52:44] чтобы оно не было немым, но они никак не связаны в единую мировую модель. И нет ничего вроде: «В видео происходит действие — значит, звук должен [00:53:00] идти из этой части визуального поля».

[00:53:03] swyx: Yeah.

[00:53:03] swyx: Да.

[00:53:03] Vibhu: Is that different than Sora too? Does it not have audio?

[00:53:03] Vibhu: А у Sora по-другому? У неё нет аудио?

[00:53:06] Not to say it’s not like

[00:53:06] Не то чтобы это не

[00:53:08] swyx: amazing

[00:53:08] swyx: впечатляло —

[00:53:08] Vibhu: isn’t a spatial

[00:53:08] Vibhu: это не пространственное

[00:53:09] swyx: audio.

[00:53:09] swyx: аудио.

[00:53:09] Vibhu: It doesn’t,

[00:53:09] Vibhu: Нет,

[00:53:10] swyx: no. I’ve played around it with it enough. It just sounds like someone put an 11 laps voice on top of it and just tried to do the lip sync.

[00:53:10] swyx: нет. Я достаточно с ней поиграл. Звучит так, будто кто-то наложил голос ElevenLabs и попытался сделать синхронизацию губ.

[00:53:18] Vibhu: Oh, yeah. I’ve seen, okay. Generate a dog at the beach and reactions to big wave and move

[00:53:18] Vibhu: А, да. Я видел — сгенерировать собаку на пляже и реакцию на большую волну, и движение

[00:53:23] swyx: around.

[00:53:23] swyx: вокруг.

[00:53:23] It’s definitely like, so have the dog, have the dog move away from camera and see if the, the song goes down. It doesn’t. ‘Cause they don’t have facial audio.

[00:53:23] Определённо — пусть собака отойдёт от камеры и посмотрите, стихнет ли звук. Не стихнет. Потому что у них нет пространственного аудио.

[00:53:32] Fan-yun Sun: We do want to basically like we, our moral model, like the one we’re training is basically towards the goal of having a combined latent representation across all these different modalities.

[00:53:32] Fan-yun Sun: Мы хотим — наша модель, та, которую мы обучаем, — движется к цели иметь единое латентное представление для всех этих разных модальностей.

[00:53:42] Right? Such that it can like reason across these different modalities. So for example, if I close my eyes and like you play a video, you play a sound of like a car skidding away from me. I almost can like, visually extrapolate that trajectory in my mind. And I think that type of capability, we want our model to be able to reason, right?

[00:53:42] Чтобы модель могла рассуждать через разные модальности. Например, если я закрою глаза и вы воспроизведёте звук машины, которая со скрипом уезжает от меня — я почти могу визуально экстраполировать эту траекторию в уме. И такую способность мы хотим от нашей модели.

[00:53:59] And that’s the reason that [00:54:00] we’re sort of taking this multimodal reasoning approach. It’s like we want this combine late in space that can

[00:53:59] Именно поэтому [00:54:00] мы придерживаемся мультимодального подхода к рассуждению. Мы хотим это объединённое латентное пространство, которое может —

[00:54:05] swyx: Yeah. Oh, you said late in space. We like that. Here we have to play the, the bell Every time that someone says late in space, no, you gotta train daredevil one. Where you, you, you, it’s only audio, but you have to work out.

[00:54:05] swyx: Да. О, вы сказали «латентное пространство». Мы это любим. Здесь мы должны включить звонок. Каждый раз, когда кто-то говорит «латентное пространство». Нет, вам надо обучить модель «Сорвиголова». Где только аудио, но вы должны определить,

[00:54:15] Where everything is.

[00:54:15] где всё находится.

[00:54:19] Cool. I I think that that was, that was about it for our Moon Lake coverage. I do think that we have like a couple of, Chris Madden questions on, on IR and, just any, any other sort of attention topics or n NLP topics.

[00:54:19] Круто. Я думаю, это было примерно всё по Moon Lake. У нас есть пара вопросов к Крису Мэннингу по IR и вообще по темам NLP, привлекающим внимание.

[00:54:31] Vibhu: Okay.

[00:54:31] Vibhu: Хорошо.

[00:54:31] swyx: Go ahead.

[00:54:31] swyx: Давайте.

[00:54:32] Chris Manning’s Journey: From NLP to World Models

[00:54:32] Путь Криса Мэннинга: от NLP к мировым моделям

[00:54:32] Vibhu: Well, no, I mean, yeah, it’s just fun. We talked a bit about how you guys met, but you basically, you, you were like the godfather of NLP per se, right?

[00:54:32] Vibhu: Ну, да, просто интересно. Мы немного поговорили о том, как вы познакомились. Но вы, по сути, крёстный отец NLP.

[00:54:39] You spent the whole career from early embeddings, early early attention. You did 2015 attention for machine translation, everything. You, you had information retrieval, so RAG before rag, we just wanna shout that out and admire a lot of that. Right? So what prompted the switch over to world models?

[00:54:39] Вы провели всю карьеру — от ранних эмбеддингов, раннего внимания. У вас была работа 2015 года по вниманию для машинного перевода, всё это. У вас был information retrieval — то есть RAG до RAG, просто хочу это отметить и выразить восхищение. Так что побудило вас переключиться на мировые модели?

[00:54:56] How, how’d all that come about?

[00:54:56] Как всё это произошло?

[00:54:58] Chris Manning: To some answer it [00:55:00] is, the enthusiasms and creativity of students, but there’s a bit of a history there, right? So, yeah. So clearly most of my career has been doing stuff with language and how I got into research was thinking, ah, this is just so amazing how humans can produce speech and understand each other in real time.

[00:54:58] Крис Мэннинг: Отчасти ответ — [00:55:00] это энтузиазм и креативность студентов. Но есть и предыстория. Да. Очевидно, бо́льшую часть карьеры я работал с языком, и в исследования меня привело мышление: «Это так потрясающе — как люди могут производить речь и понимать друг друга в реальном времени».

[00:55:21] And somehow they managed to learn languages from their kids. How could this possibly happen? And so, yeah, starting off I was very focused on language, but as it sort of got into the 2000 and tens, I started, going, I’d been working on question answering, and then I started to get, interest in visual question answering.

[00:55:21] И как-то они умудряются учить языки с детства. Как это вообще возможно? В начале я был очень сфокусирован на языке, но к 2010-м годам я начал — я работал над ответами на вопросы, и затем стал интересоваться визуальными ответами на вопросы.

[00:55:42] And that was an area where it was very noticeable. That the visual understanding was bad. Right. These were the days when like, it sort of seemed like there’s almost no visual [00:56:00] understanding. You were just getting answers that came from priors. So, if you asked how many people are sitting at the table, it’d always answer two regardless of how many, how many people you could see in the picture.

[00:55:42] И это была область, где было очень заметно, что визуальное понимание плохое. В те дни казалось, что визуального [00:56:00] понимания почти нет. Ответы просто шли из приоров. Если спросить: «Сколько людей сидит за столом?» — модель всегда отвечала «два», независимо от того, сколько людей видно на картинке.

[00:56:11] And so it seemed like, oh, these models actually aren’t able to get semantic information outta IMA images. And so I was interested in that problem and tried to work more on that. And so then that required. Knowing more about what’s happening in vision and how you can represent visual information.

[00:56:11] Стало ясно, что эти модели не могут извлекать семантическую информацию из изображений. И мне стала интересна эта проблема, я стал больше над ней работать. А для этого нужно было больше знать о происходящем в компьютерном зрении и о том, как представлять визуальную информацию.

[00:56:34] And then things start, there started to be this revolution of, doing generative AI images. And then I had students that started looking at that before the era of Moon Lake. I was also working with Demi Gore, who founded pika. And so, and

[00:56:34] И тут начала происходить революция генеративного AI для изображений. У меня были студенты, которые начали это исследовать ещё до эпохи Moon Lake. Я также работал с Demi Guo, которая основала Pika. И

[00:56:50] swyx: Ian obviously

[00:56:50] swyx: И Ian, очевидно.

[00:56:52] Chris Manning: with gans. Yeah. Though Ian was never my student, but yeah, Ian I was very aware for the, the whole decade there of Ian with Gans.

[00:56:52] Крис Мэннинг: С GAN-ами. Да. Хотя Ian никогда не был моим студентом, но да, Ian — я хорошо знал на протяжении всего того десятилетия с GAN-ами.

[00:56:59] [00:57:00] Yeah. And I mean, Ian was a Stanford undergrad, but yeah,

[00:56:59] [00:57:00] Да. Ian учился на бакалавриате в Стэнфорде, но да,

[00:57:03] Vibhu: richard des u.com, I believe he was your student.

[00:57:03] Vibhu: Richard Socher, кажется, был вашим студентом.

[00:57:06] Chris Manning: Yeah. Yeah. And there were, there were links across at that stage as well. So there were several papers in that era of doing, I mean, so Andre Cap was a, PhD student at the same time as Richard.

[00:57:06] Крис Мэннинг: Да. Да. И в то время были связи. В ту эпоху было несколько работ — Andrej Karpathy был аспирантом одновременно с Richard.

[00:57:20] And so there was some joint language vision work in that era as well. It seems kind of ancient by modern standards, but yeah, we’re trying to go from sort of textural dependency graphs to visual scenes

[00:57:20] И были совместные работы на стыке языка и зрения в ту эпоху. По современным стандартам это кажется древним, но да, мы пытались переходить от текстовых графов зависимостей к визуальным сценам.

[00:57:32] Vibhu: at a time. The glove embeddings really took over a lot of. T-F-I-D-F, like one hot encoding, all that.

[00:57:32] Vibhu: В то время. GloVe-эмбеддинги действительно вытеснили многое из TF-IDF, one-hot кодирования и прочего.

[00:57:38] The early vision language models we saw were like lava style adapters, right? It’s, it’s technically still just embedding latent space. Let’s add image, let’s like mixed modality. So, and that, that’s one of the things you super put out there too, right?

[00:57:38] Ранние визуально-языковые модели, которые мы видели, были как LLaVA-стиль адаптеры, верно? Это технически всё ещё просто эмбеддинг, латентное пространство. Добавим изображение, смешаем модальности. И это тоже одна из вещей, которую вы активно продвигали.

[00:57:51] swyx: Yeah.

[00:57:51] swyx: Да.

[00:57:51] Vibhu: Yeah.

[00:57:51] Vibhu: Да.

[00:57:52] swyx: Yeah.

[00:57:52] swyx: Да.

[00:57:52] Hiring, Closing & The Name “Moon Lake”

[00:57:52] Наём, завершение и название «Moon Lake»

[00:57:55] swyx: Well, thank you for all of that. Thank you for all advancing the worlds on, world modeling.

[00:57:55] swyx: Что ж, спасибо за всё это. Спасибо за продвижение мирового моделирования.

[00:57:56] I honestly, do think that if people deeply understand everything we just [00:58:00] covered, they will see what’s coming. I think you guys have, made some, a really significant contribution here. What are you hiring for? What is the, what do people find? We, we agreed that the CTA was a hiring call.

[00:57:56] Честно говоря, я думаю, если люди глубоко поймут всё, что мы только что обсудили, [00:58:00] они увидят, что нас ждёт. Вы сделали действительно значимый вклад. Кого вы ищете? Мы договорились, что CTA — это приглашение к найму.

[00:58:10] Yeah. Don’t we have a GI You don’t need, you don’t need engineers anymore, right?

[00:58:10] Да. Разве не — вам ведь больше не нужны инженеры?

[00:58:14] Fan-yun Sun: Yeah. On the model side we are actually striving towards basically a self-improving system. But what that means is that we need people to set up the self-improving system. So more, more specifically people who have the intersection of knowledge within co-generation and computer vision and graphics, right?

[00:58:14] Fan-yun Sun: Да. Со стороны моделей мы стремимся к самоулучшающейся системе. Но это значит, что нам нужны люди, которые настроят эту самоулучшающуюся систему. Конкретнее — люди на стыке кодогенерации, компьютерного зрения и графики.

[00:58:30] Yeah. That’s, that’s sort of the core research background that we look for within OTM and, and the majority of the team today do have like both backgrounds.

[00:58:30] Да. Это основной исследовательский бэкграунд, который мы ищем в команде, и большинство в команде сегодня имеют оба направления.

[00:58:38] swyx: When you say computer vision and graphics, are they the same thing or is it computer vision one thing, graphics, another thing. And how intertwined are they?

[00:58:38] swyx: Когда вы говорите «компьютерное зрение и графика» — это одно и то же или компьютерное зрение — это одно, графика — другое? И насколько они переплетены?

[00:58:46] Chris Manning: They’re intertwined but different.

[00:58:46] Крис Мэннинг: Они переплетены, но различны.

[00:58:49] swyx: Yeah.

[00:58:49] swyx: Да.

[00:58:49] Chris Manning: And I think, this relates to some of the themes that we’ve been talking about, that the more explicit underlying [00:59:00] world models that are being constructed inside Moon Lake really draw on the computer graphics tradition. And so it’s then combining that with the visual understanding of vision.

[00:58:49] Крис Мэннинг: И это связано с некоторыми темами, которые мы обсуждали. Более явные [00:59:00] мировые модели, которые строятся внутри Moon Lake, опираются на традицию компьютерной графики. И затем это объединяется с визуальным пониманием из компьютерного зрения.

[00:59:16] swyx: Got it. Yeah. All right. So you’ve written a game engine, you’re come talk to us, right?

[00:59:16] swyx: Понял. Да. Хорошо. Значит, если вы написали игровой движок — приходите к нам, верно?

[00:59:21] Fan-yun Sun: Oh yeah, definitely. Definitely. But I do think that the line is blurred, like increasingly blurred these days where it’s like if you have a general understanding of group vision and graphics,

[00:59:21] Fan-yun Sun: О да, определённо. Определённо. Но я думаю, что граница сейчас размывается — если у вас общее понимание компьютерного зрения и графики,

[00:59:31] swyx: I think for your standards it is, for me it feels like vision is, is.

[00:59:31] swyx: По вашим стандартам — да. Для меня зрение — это…

[00:59:35] I’ll leave that to the big labs graphics. I, I, I can get that, you would want to do that from more first principles, but vision, there’s so many vision models off the shelf that I can take, but probably not good enough for your

[00:59:35] Это оставлю большим лабам. Графика — я бы хотел подойти к ней с первых принципов, но зрение — столько моделей готовых, которые можно взять. Но, наверное, недостаточно хороших для ваших задач.

[00:59:45] Fan-yun Sun: I see, I see. If, if you’re sort of like making that distinction then maybe we, we care a little bit more about having graphics

[00:59:45] Fan-yun Sun: Понимаю. Если вы проводите такое различие, то, может, нам чуть важнее знания в графике.

[00:59:51] swyx: knowledge.

[00:59:51] swyx: Знания.

[00:59:51] Yeah, exactly.

[00:59:51] Да, именно.

[00:59:52] It could be like, sometimes a hiring call can be as simple as like, if you know the answer to blah, you should talk to me. Like the sort of core known hard [01:00:00] problem in, in your world.

[00:59:52] Иногда приглашение к найму может быть простым: «Если вы знаете ответ на такой-то вопрос — поговорите с нами». Типа ключевая известная сложная [01:00:00] проблема в вашем мире.

[01:00:01] Fan-yun Sun: Ah, I see. Yeah. In that case, if you, yeah, definitely. If you’ve written a game engine before, if you’ve rld a variety of coding models on different objectives, like

[01:00:01] Fan-yun Sun: А, понял. Да. В таком случае — если вы когда-нибудь писали игровой движок, если вы обучали различные модели кодирования на разных целевых функциях —

[01:00:13] swyx: easy,

[01:00:13] swyx: Легко.

[01:00:13] Many of those, yeah.

[01:00:13] Многие из таких, да.

[01:00:14] Fan-yun Sun: If you’ve done multimodal lean space alignment, I, I intentionally include

[01:00:14] Fan-yun Sun: Если вы занимались мультимодальным выравниванием латентных пространств — я намеренно включаю

[01:00:20] swyx: space.

[01:00:20] swyx: «пространство».

[01:00:20] Fan-yun Sun: Again,

[01:00:20] Fan-yun Sun: Снова,

[01:00:21] swyx: a poor editor has a thing every time. Yeah. Lean space alignment. Honestly. Is it that hard?

[01:00:21] swyx: бедный редактор — каждый раз срабатывает. Да. Выравнивание латентных пространств. Честно — это так сложно?

[01:00:26] I, I, there’s some scripts out there that I’ve saved for the day. I someday have to do it, but I don’t have to do it.

[01:00:26] У меня есть сохранённые скрипты на тот день, когда мне придётся это делать, но пока не приходилось.

[01:00:31] But it’s

[01:00:31] Но это

[01:00:32] Fan-yun Sun: done, I think. Yeah. There, there’s, there’s a versions of that that are done. But I, I think we are aligning audio, text, language and video. Yeah. Right. Like, and basically we have these role models that are able to act as agents to like act in these worlds and extract long horizon videos and encoding that back to the model to sort of self-improve.

[01:00:32] Fan-yun Sun: сделано, думаю. Да. Есть версии, которые уже реализованы. Но мы выравниваем аудио, текст, язык и видео. Да. И наши мировые модели способны действовать как агенты в этих мирах, извлекать длинные горизонтные видео и кодировать их обратно в модель для самоулучшения.

[01:00:52] So it’s an insanely exciting, but also technically challenge problem. Yeah. So people who wanna do their lives best work, that only [01:01:00] makes a place.

[01:00:52] Это безумно увлекательная, но и технически сложнейшая задача. Да. Люди, которые хотят создать лучшую работу в своей жизни, — [01:01:00] Moon Lake — то самое место.

[01:01:01] Vibhu: How big are you guys? Where are you guys based?

[01:01:01] Vibhu: Сколько вас? Где вы базируетесь?

[01:01:02] Fan-yun Sun: We’re currently based in San Mateo, although we’re moving up to sf. We’re about 18 folks right now.

[01:01:02] Fan-yun Sun: Сейчас мы в Сан-Матео, хотя переезжаем в Сан-Франциско. Нас около 18 человек.

[01:01:08] swyx: My ending question was gonna be why, what, what is the name?

[01:01:08] swyx: Мой завершающий вопрос — почему такое название?

[01:01:10] What’s behind the name?

[01:01:10] Что стоит за названием?

[01:01:11] Vibhu: Yeah.

[01:01:11] Vibhu: Да.

[01:01:12] Fan-yun Sun: Oh,

[01:01:12] Fan-yun Sun: О,

[01:01:14] Vibhu: Very cool. Graphics and design, by the way.

[01:01:14] Vibhu: Очень крутой графический дизайн, кстати.

[01:01:16] Fan-yun Sun: Actually at the, at the time when the, when the, when we started the company, we were thinking a lot about how do we make a company name that gives people the vibe of like, open ai, but for like, almost like industrial light and magic vibes.

[01:01:16] Fan-yun Sun: Когда мы основывали компанию, мы много думали о том, как сделать название, которое давало бы людям вайб OpenAI, но почти с атмосферой Industrial Light & Magic.

[01:01:28] Wow. Because it’s like we care about creativity and using that as a funnel to solve a GI. So then we were, we, we brainstorm a lot around like Dreamworks, right? Like industrial light magic. And, so there’s a few, few basically, space of things that we feel like are very, very semantically close to the company’s identity.

[01:01:28] Ух ты. Потому что нам важна креативность, и мы используем её как воронку к AGI. Мы много обсуждали Dreamworks, Industrial Light & Magic. Было несколько семантических пространств, которые мы чувствовали очень близкими к идентичности компании.

[01:01:47] swyx: Yeah.

[01:01:47] swyx: Да.

[01:01:48] Fan-yun Sun: And then it ended up being Moon Lake, partly because of the Dreamworks vibe, the Dreamworks, moon

[01:01:48] Fan-yun Sun: И в итоге получилось Moon Lake — частично из-за вайба Dreamworks, луна Dreamworks —

[01:01:54] swyx: Lake.

[01:01:54] swyx: Озеро.

[01:01:55] Fan-yun Sun: Exactly. Yep. So that was a little bit of that inspiration. And then the moon was sort of [01:02:00] like a, it basically was like about the. Reflection. The reflection part also implies the self-improvement loop.

[01:01:55] Fan-yun Sun: Именно. Да. Это было частью вдохновения. А луна [01:02:00] — это ещё и про отражение. Часть с отражением также подразумевает петлю самоулучшения.

[01:02:07] Wow. That we sort of like, that’s really bleed and that’s the path towards multimodal general intelligence. So that’s, that’s that. I’ll leave that as I love a good

[01:02:07] Ого. Во что мы верим, и это путь к мультимодальному общему интеллекту. Вот так. Оставлю это — я люблю хорошее

[01:02:15] swyx: name. I love a good name. This is great. It’s a

[01:02:15] swyx: название. Я люблю хорошее название. Это отличное. Это

[01:02:16] Vibhu: very

[01:02:16] Vibhu: очень

[01:02:17] swyx: good name. It’s very good. Lo I’m glad I asked the question. I will also say, one, my favorite story, books or biographies ever is, creativity Inc.

[01:02:17] swyx: хорошее название. Очень хорошее. Рад, что задал вопрос. Ещё скажу — одна из моих любимых книг-биографий — Creativity Inc.

[01:02:24] With Ed Kamal’s, story about Pixar and how he, was rejected as a Disney animation artist. So then he went into computing and brute forced his way into back. No, I love that story. Yeah. Disney.

[01:02:24] История Ed Catmull о Pixar — как его отвергли как художника-аниматора Disney. И тогда он ушёл в программирование и пробился обратно силой. Нет, я обожаю эту историю. Да. Disney.

[01:02:37] Fan-yun Sun: Yeah. And Walt Disney is also like one of my favorite founders. He’s like, his, his story. Like at the time you’re like, okay, I’m gonna create this like.

[01:02:37] Fan-yun Sun: Да. Walt Disney — тоже один из моих любимых основателей. Его история. В то время: «Я собираюсь создать этот иммерсивный парк». У людей даже не было технологий для виртуального создания, но они: «Знаете что, давайте построим его физически, чтобы люди могли —»

[01:02:44] Immersive park. Like people can’t, don’t even have that technology to create it virtually, but they’re like, you know what, let’s just build it physically such that people can,

[00:30:00] swyx: Так он — первый создатель мировых моделей.

[01:02:50] swyx: so he is the first world modeler.

[00:30:00] Нет, правда.

[01:02:52] Fan-yun Sun: No, I, I I tell people that like, theme parks are world models too.

[01:02:52] Fan-yun Sun: Нет, я говорю людям: тематические парки — это тоже мировые модели.

[01:02:56] swyx: Mm. Yeah. Yeah. Yeah. I mean, it’s a small world or it’s [01:03:00] a, like the Epcot center with all the little, replicas of the countries.

[01:02:56] swyx: Мм. Да. Да. Да. В смысле — «Маленький мир» или центр Epcot со всеми маленькими [01:03:00] репликами стран.

[01:03:03] Yeah. Those are very interesting. Okay. Well thank you, we’ve covered, a huge amount. Thank you for your time and thank you for inspiring us.

[01:03:03] Да. Это очень интересно. Что ж, спасибо, мы обсудили огромное количество тем. Спасибо за ваше время и за то, что вдохновляете нас.

[01:03:10] Fan-yun Sun: Thank you

[01:03:10] Fan-yun Sun: Спасибо

[01:03:10] swyx: for having us. Thank you. It’s fun

[01:03:10] swyx: что пришли. Спасибо. Было весело.

[01:03:11] Fan-yun Sun: chatting. Yeah. It’s been a good time.

[01:03:11] Fan-yun Sun: Было классно поболтать. Да. Отлично провели время.

Perhaps only topped by the Pokemon Go dataset!

Возможно, с ним может сравниться только датасет Pokemon Go!

Discussion about this episode

Обсуждение этого выпуска