Shopify’s AI Phase Transition: 2026 Usage Explosion, Unlimited Opus-4.6 Token Budget, Tangle, Tangent, SimGym — with Mikhail Parakhin, Shopify CTO

Shopify’s AI Phase Transition: 2026 Usage Explosion, Unlimited Opus-4.6 Token Budget, Tangle, Tangent, SimGym — with Mikhail Parakhin, Shopify CTO

Фазовый переход Shopify к AI: взрывной рост использования в 2026-м, неограниченный токен-бюджет на Opus-4.6, Tangle, Tangent, SimGym — с Михаилом Парахиным, CTO Shopify

Early bird discounts for the San Francisco World’s Fair, the biggest AIE gathering of the year, end today - prices will go up by ~$500 tonight so do please lock in ASAP!

Скидки для ранних пташек на World’s Fair в Сан-Франциско, крупнейшее мероприятие AIE в этом году, заканчиваются сегодня — цены вырастут примерно на $500 уже сегодня вечером, так что, пожалуйста, успейте зафиксировать цену как можно скорее!

From near-universal AI tool adoption inside Shopify to internal systems for ML experimentation, auto-research, customer simulation, and ultra-low-latency search, Mikhail Parakhin joins us for a deep dive into what it actually looks like when a 20-year-old, $200B software company goes all-in on AI. We cover why Shopify has become much more vocal about its internal stack, what changed after the December model-quality inflection, and why the real bottleneck in AI coding is no longer generation, but review, CI/CD, and deployment stability.

От почти повсеместного внедрения AI-инструментов внутри Shopify до внутренних систем для ML-экспериментов, авто-ресёрча, симуляции покупателей и сверхнизколатентного поиска — Михаил Парахин присоединяется к нам, чтобы детально разобрать, как на самом деле выглядит ситуация, когда 20-летняя софтверная компания стоимостью $200 млрд полностью делает ставку на AI. Мы обсуждаем, почему Shopify стала гораздо более открыто говорить о своём внутреннем стеке, что изменилось после декабрьского перелома в качестве моделей, и почему реальное узкое место в AI-кодинге больше не генерация, а ревью, CI/CD и стабильность деплоя.

We also go inside Tangle, Tangent, SimGym, which are three major AI initiatives that Shopify is doing to make experimentation reproducible, optimization automatic, customer behavior simulatable, and search and catalog intelligence faster and cheaper at scale. Along the way, Mikhail explains UCP, Liquid AI, and why token budgets are directionally right but often measured badly, why AI-written code can still increase bugs in production, what makes Shopify’s customer simulation defensible, and what he learned from the Sydney era at Bing.

Мы также заглядываем внутрь Tangle, Tangent, SimGym, — это три крупные AI-инициативы Shopify, призванные сделать эксперименты воспроизводимыми, оптимизацию автоматической, поведение покупателей симулируемым, а поиск и интеллект каталога — быстрее и дешевле в масштабе. По ходу Михаил объясняет UCP, Liquid AI, и почему токен-бюджеты верны по направлению, но часто измеряются плохо, почему написанный AI код всё равно может увеличивать число багов в продакшене, что делает симуляцию покупателей Shopify защищаемой, и чему он научился в эпоху Sydney в Bing.

We discuss:

Мы обсуждаем:

Путь Михаила от руководства крупным бизнес-юнитом Microsoft, охватывавшим Windows, Edge, Bing и рекламу, до должности CTO ShopifyПочему Shopify сейчас публично говорит об AI больше и почему пребывание на передовой стало для компании необходимостьюКривая внутреннего внедрения AI в Shopify, декабрьский перелом и почему инструменты в стиле CLI растут быстрее традиционных инструментов на базе IDEПочему Дженсен Хуанг прав по направлению насчёт токен-бюджетов, но сырое число токенов всё ещё неверный способ оценивать инженерный результатПочему настоящий прорыв — не больше агентов параллельно, а лучшие циклы критики, более сильные модели и трата большего количества средств на ревью, чем на генерациюПочему AI-кодинг всё равно может приводить к большему числу багов в продакшене, даже если модели в среднем пишут более чистый код, чем людиПочему Shopify построила собственный процесс ревью PR и почему Михаил считает, что большинство готовых инструментов ревью бьют мимо целиКак объём PR, провалы тестов и откаты деплоя становятся реальными узкими местами в эпоху агентовПочему Git, pull request’ы и CI/CD могут потребовать новой метафоры, когда код пишется со скоростью машиныЧто такое Tangle и как Shopify использует его, чтобы делать ML- и data-воркфлоу воспроизводимыми, совместными и готовыми к продакшену с самого началаЧем Tangle отличается от Airflow и почему кэширование с адресацией по контенту создаёт сетевые эффекты между командамиЧто такое Tangent и как Shopify использует авто-ресёрч-петли для оптимизации поиска, тем, сжатия промптов, хранилища и многого другогоПочему Tangent становится демократизирующим инструментом для PM и доменных экспертов, а не только для ML-инженеровПочему AutoML наконец-то ощущается реальным в эпоху LLM и где авто-ресёрч сегодня всё ещё не дотягиваетПочему Tangle, Tangent и SimGym становятся гораздо мощнее, когда объединены в одну системуЧто такое SimGym, почему симулированные покупатели работают только при наличии реального исторического поведения и почему данные Shopify дают ей ровКак SimGym эволюционировал от сравнения A/B-вариантов до подсказок мерчантам, что изменить на одном живом storefront, чтобы поднять конверсиюПочему симуляция покупателей так дорога — от мультимодальных моделей до браузерных ферм и затрат на serving и дистилляциюКак Shopify моделирует траектории мерчантов и покупателей, прогоняет контрфактики и думает об интервенциях вроде скидок, кампаний и уведомленийПочему поведение на уровне категорий так сильно различается в коммерции и почему идеи вроде китайского ресторанного процесса снова появляются на практикеНовая работа Shopify над UCP и каталогом, включая поиск товаров в рантайме, массовые запросы и связывание идентичностиПочему Shopify использует Liquid AI и почему Михаил считает её первой по-настоящему конкурентоспособной не-трансформерной архитектурой, которую он применял на практикеГде Liquid уже работает внутри Shopify сегодня — от низколатентного понимания запросов до крупномасштабных нагрузок каталога и Sidekick PulseСможет ли Liquid стать моделью фронтирного масштаба при достаточных вычислениях и почему Shopify остаётся прагматичной и опирается на заслуги при выборе моделиКого Shopify нанимает прямо сейчас в области ML, data science и распределённых базах данныхИстория Sydney в Bing, почему её личность не была случайностью и чему Михаил научился, целенаправленно формируя характер AI на раннем этапе

Mikhail Parakhin

Михаил Парахин

LinkedIn: https://www.linkedin.com/in/mikhail-parakhin/X: https://x.com/MParakhin

Timestamps

Тайм-коды

00:00:00 Introduction: Mikhail Parakhin, Microsoft, and Shopify

00:00:00 Введение: Михаил Парахин, Microsoft и Shopify

00:01:16 Why Shopify Is Talking More About AI

00:01:16 Почему Shopify говорит об AI больше

00:02:29 Internal AI Adoption at Shopify and the December Inflection

00:02:29 Внутреннее внедрение AI в Shopify и декабрьский перелом

00:06:54 Token Budgets, Jensen Huang, and Why Usage Metrics Can Mislead

00:06:54 Токен-бюджеты, Дженсен Хуанг и почему метрики использования могут вводить в заблуждение

00:10:55 Why Shopify Built Its Own AI PR Review System

00:10:55 Почему Shopify построила собственную систему AI-ревью PR

00:12:38 AI Coding, More Bugs, and the Real Deployment Bottleneck

00:12:38 AI-кодинг, больше багов и реальное узкое место деплоя

00:14:11 Why Git, PRs, and CI/CD May Need to Change for Agents

00:14:11 Почему Git, PR и CI/CD, возможно, придётся изменить ради агентов

00:18:24 Tangle: Shopify’s Reproducible ML and Data Workflow Engine

00:18:24 Tangle: воспроизводимый движок ML- и data-воркфлоу от Shopify

00:21:19 Why Tangle Is Different from Airflow

00:21:19 Чем Tangle отличается от Airflow

00:26:14 Tangent: Auto Research for Optimization and Experimentation

00:26:14 Tangent: авто-ресёрч для оптимизации и экспериментов

00:30:07 How Tangent Democratizes Experimentation Beyond ML Engineers

00:30:07 Как Tangent демократизирует эксперименты за пределами ML-инженеров

00:33:06 The Limits of Auto Research

00:33:06 Пределы авто-ресёрча

00:36:36 Why Tangle, Tangent, and SimGym Compound Together

00:36:36 Почему Tangle, Tangent и SimGym усиливают друг друга

00:37:20 SimGym: Simulating Customers with Shopify’s Historical Data

00:37:20 SimGym: симуляция покупателей на исторических данных Shopify

00:42:47 The Infra Behind SimGym

00:42:47 Инфраструктура за SimGym

00:46:00 Why SimGym Gets Better with Real Customer History

00:46:00 Почему SimGym становится лучше с реальной историей покупателей

00:47:30 Counterfactuals, HSTU, and Modeling Merchant Trajectories

00:47:30 Контрфактики, HSTU и моделирование траекторий мерчантов

00:51:55 CRPs, Clustering, and Category-Level Customer Behavior

00:51:55 CRP, кластеризация и поведение покупателей на уровне категорий

00:53:30 UCP, Shopify Catalog, and Identity Linking

00:53:30 UCP, каталог Shopify и связывание идентичности

00:55:07 Liquid AI: Why Shopify Uses Non-Transformer Models

00:55:07 Liquid AI: почему Shopify использует не-трансформерные модели

00:59:13 Real Shopify Use Cases for Liquid

00:59:13 Реальные кейсы использования Liquid в Shopify

01:03:00 Can Liquid Scale into a Frontier Model?

01:03:00 Может ли Liquid вырасти во фронтирную модель?

01:09:49 Hiring at Shopify: ML, Data Science, and Databases

01:09:49 Найм в Shopify: ML, data science и базы данных

01:10:43 Sydney at Bing: Personality Shaping and AI Character

01:10:43 Sydney в Bing: формирование личности и характер AI

01:13:32 Closing Thoughts

01:13:32 Заключительные мысли

Transcript

Транскрипт

[00:00:00] swyx: Okay. We’re here in the studio, a remote studio, with Mikhail Parakhin, CTO of Shopify. Welcome.

[00:00:00] swyx: Окей. Мы здесь в студии, удалённой студии, с Михаилом Парахиным, CTO Shopify. Добро пожаловать.

[00:00:08] Mikhail Parakhin: Thank you. Welcome.

[00:00:08] Mikhail Parakhin: Спасибо. Рад быть здесь.

[00:00:10] swyx: I don’t even know if I should introduce you as CTO of Shopify. I feel like you have many identities. Uh, you led sort of the, the Bing ML team, I guess, uh, uh, or ads team. I, I don’t know, I don’t know, uh, you know, it’s, uh, people va-variously refer you as like CEO or, or, uh, I don’t know what that, that, that said previous role at Microsoft was.

[00:00:10] swyx: Я даже не знаю, стоит ли представлять тебя как CTO Shopify. Кажется, у тебя много идентичностей. Э-э, ты вёл что-то вроде ML-команды Bing, наверное, или рекламной команды. Я-я не знаю, я не знаю, э-э, знаешь, люди по-разному называют тебя то ли CEO, то ли, э-э, я не знаю, как называлась та твоя прежняя роль в Microsoft.

[00:00:29] Mikhail Parakhin: Uh, that was... Yeah, my previous role w- at Microsoft was the-- I actually was the CEO of one of Microsoft’s business units, which included, as I, you know, as we discussed, all the things that people like to laugh about, uh, including Windows and Edge and Bing and ads and everything.

[00:00:29] Mikhail Parakhin: Э-э, это была... Да, моя предыдущая роль в Microsoft — я на самом деле был CEO одного из бизнес-юнитов Microsoft, который включал, как мы, знаешь, как мы обсуждали, все те вещи, над которыми люди любят посмеиваться, в том числе Windows, Edge, Bing, рекламу и всё остальное.

[00:00:47] swyx: Yeah, yeah. What a, what a, what a wild time.

[00:00:47] swyx: Да, да. Какое же это было дикое время.

You’ve obviously, uh, done a lot since you landed at Shopify. Uh, one of the reasons I reached out was because you started promoting more sort of internal tooling, uh, primarily Tangle, but also a lot of people have seen and adopted Tobi’s QMD, uh, and obviously, I think, uh, Shopify has always been sort of leading in terms of, uh, engineering.

Ты, очевидно, э-э, многое сделал с тех пор, как пришёл в Shopify. Э-э, одна из причин, почему я связался с тобой, в том, что ты начал больше продвигать что-то вроде внутреннего тулинга, в основном Tangle, но при этом многие видели и переняли QMD Тоби, и, очевидно, я думаю, Shopify всегда был в каком-то смысле лидером в плане инженерии.

I think more-- it’s just more recent that you guys have been more vocal about your sort of AI adoption. Is that, is that true?

Думаю, это скорее... просто более недавнее, что вы, ребята, стали более открыто говорить о вашем, так сказать, внедрении AI. Это так, это правда?

[00:01:16] Mikhail Parakhin: Well, I think AI tools in general are fairly recent development, uh, and we’ve-- Shopify, you know, at this stage of its development, we’re developing AI in-in-house and other, uh, building tools that use AI and, you know, interfacing with the wider AI community, uh, you know, are on the sort of the, uh, runaway trajectory.

[00:01:16] Mikhail Parakhin: Ну, я думаю, AI-инструменты в целом — довольно недавнее явление, и мы — Shopify, знаешь, на этом этапе своего развития мы разрабатываем AI внутри компании и строим другие инструменты, которые используют AI, и, знаешь, взаимодействуем с более широким AI-сообществом, и всё это находится на, так сказать, разгонной траектории.

So it just did by sort of natural byproduct. We, we talk about it more also. We just, uh, just even yesterday, Andrej Karpathy was famous in tweeting about, oh, are there some, uh, ways, uh, that, that you can organize your agents to store the data and then, uh, look up the data so that you don’t have to research or, or lose context every- Yes

Так что это произошло просто как естественный побочный продукт. Мы и говорим об этом больше. Мы только, э-э, буквально вчера Андрей Карпатый прославился твитом о том, мол, есть ли какие-то способы организовать своих агентов, чтобы хранить данные, а потом, э-э, искать данные, чтобы не приходилось каждый раз заново исследовать или, или терять контекст — Да

time. And a little bit tongue in cheek, I tweeted that, “Hey, we’ve, we’ve done it much earlier, and we even have different approaches, Tobi and I.” Tobi, of course, is a big fan of QMD, and I’m more of a SQL, SQLite fan. But, uh, yeah, very similar things that we’ve already done here. The point is, yeah, we’re very dynamic, you know, explosively growing company, and we have to be at the forefront of AI adoption, obviously.

раз. И слегка в шутку я написал в твиттере, что: «Эй, мы сделали это гораздо раньше, и у нас даже есть разные подходы — у Тоби и у меня». Тоби, конечно, большой фанат QMD, а я больше фанат SQL, SQLite. Но, э-э, да, очень похожие вещи мы здесь уже сделали. Суть в том, что да, мы очень динамичная, знаешь, взрывно растущая компания, и нам приходится быть на переднем крае внедрения AI, очевидно.

[00:02:29] swyx: Yeah. Yeah. Um, you, your team kindly prepared some slides actually that we were gonna bring up on to, uh, the screen. I think I can, I can screen share, and then we can kind of go through some of the shocking stats that maybe, maybe put some numbers to what exactly is going on. So here we have, uh- An internal AI tool adoption chart.

[00:02:29] swyx: Да. Да. Эм, твоя команда любезно подготовила несколько слайдов, которые мы собирались вывести на экран. Думаю, я могу, я могу расшарить экран, и тогда мы сможем пройтись по некоторым шокирующим цифрам, которые, может быть, подкрепят числами то, что именно происходит. Итак, вот здесь у нас, э-э, график внутреннего внедрения AI-инструментов.

What are we looking at here? What ?

На что мы здесь смотрим? Что это?

[00:02:54] Mikhail Parakhin: Yeah, this is very interesting statistics. Uh, this is number of daily active workers, you know, think of, uh, DAO, basically the active users of-

[00:02:54] Mikhail Parakhin: Да, это очень интересная статистика. Э-э, это число ежедневно активных работников, знаешь, что-то вроде DAU, по сути, активных пользователей —

[00:03:05] swyx: Yeah ...

[00:03:05] swyx: Да...

[00:03:05] Mikhail Parakhin: AI tool as a percentage of all the people in the company, right? And then- Yeah ... different AI tools. And, uh, you could see two things here is that one is the green is total.

[00:03:05] Mikhail Parakhin: AI-инструмента как процент от всех людей в компании, верно? И затем — Да... разные AI-инструменты. И, э-э, тут можно увидеть две вещи: одна — это зелёное, общее. Зелёное — это просто суммарно. Так что видно, что к настоящему моменту это приближается реально к 100%. Сейчас сложно делать свою работу, не взаимодействуя глубоко хотя бы с одним инструментом. Можно увидеть и другую интересную вещь: как многие отмечали, в декабре был фазовый переход, когда внезапно модели стали достаточно хороши, что всё взлетело и начало расти.

Uh, green is just total. So you could see that it approaches really % by now. It’s hard not to do your job now without interacting deeply, at least with one tool. You could see another interesting thing is just as many people commented in December was the phase transition when suddenly models gotten good enough that, that everything took off and started growing.

Э-э, многие заметили, что мелкие улучшения накопились в это большое изменение примерно в промежутке сентябрь-декабрь.

Uh, it, it was many people noticed that the thing is that small improvements accumulated into this big change in Sep- December roughly timeframe.

[00:03:52] swyx: Да.

[00:03:52] swyx: Yeah.

[00:03:52] Mikhail Parakhin: Другое, что я бы заявил, видно здесь, — это что инструменты на базе CLI и инструменты, которые не требуют от тебя смотреть на код, становятся популярнее, и можно увидеть, да, разные версии Claude Code, Codex, Pi и внутренних инструментов разработки взлетают.

[00:03:52] Mikhail Parakhin: The other thing I would claim you could see is that, uh, CLI-based tools and tools that don’t require you to look at the code becoming more popular, and you could see, yeah, various versions of, uh, Cloud Code and Codex and Pi and internal development tools taking off.

Э-э, именно, да, и синее — это наш River, просто внутренний агент для кодинга, тогда как инструменты, которые требуют IDE, такие как GitHub Copilot или Cursor, они не то чтобы сжимаются, но растут не так быстро. Вот, э-э, красная, красная линия — это инструменты типа IDE. Так что видно, что они не испытывают такого быстрого роста.

Uh, exactly, yeah, uh, and blue is our River, just internal agent for coding, where tools, uh, that require IDEs such as, uh, GitHub, Copilot or Cursor, they’re not exactly shrinking, but they’re not growing as fast. Like, uh, red, red line is, is the IDE kind of tools. So you could see that they’re, they’re not experiencing as, as fast of a growth.

[00:04:37] swyx: Насколько я понимаю, по сути, у каждого сотрудника есть свой выбор, верно? Выбирай любой инструмент, который используешь, а потом ты просто проходишь что-то вроде ежедневного опроса?

[00:04:37] swyx: As I understand it, basically, every employee has their choice, right? Of choose whatever tool you use, and then you’re just kind of doing a, a daily sur-survey or something.

[00:04:47] Mikhail Parakhin: Именно. И, э-э, мы — Да... установка такая: сделай свою работу, можешь использовать любой инструмент, и мы по сути финансируем неограниченные токены для всех.

[00:04:47] Mikhail Parakhin: Exactly. And, uh, we- Yeah ... the, the push is to get your job done, you can use any tool, and we effectively fund unlimited tokens for everybody.

Э-э, мы стараемся контролировать модели, которые люди используют, но снизу, а не сверху. То есть мы по сути говорим: «Эй, пожалуйста, не используйте ничего слабее Opus четыре точка шесть».

Uh, we, we do, we do try to control the models that, uh, people use, but from the bottom, not from top. Like we basically say, “Hey, please don’t use anything less than Opus four point six.”

[00:05:09] swyx: О.

[00:05:09] swyx: Oh .

[00:05:10] Mikhail Parakhin: Некоторые люди в итоге используют GPT пять точка четыре extra high. Некоторые используют Opus четыре точка шесть. Эм, э-э, знаешь, есть свои плюсы и минусы в том, чтобы идти на полное контекстное окно в миллион токенов против того, чтобы не идти.

[00:05:10] Mikhail Parakhin: Some people, some people end up using GPT five point four extra high. Some people use Opus four point six. Um, uh, you know, uh, there are some, uh, there are plus and minuses in going for full one million context window versus not.

Но, э-э, мы стараемся отговаривать людей от использования чего-либо слабее этого.

But, uh, we try to discourage people from using anything less than that.

[00:05:28] swyx: Да, да. Понял, понял. Э-э, то есть, знаешь... Следующий график здесь действительно показывает расширение и, так сказать, перелом декабря две тысячи двадцать пятого, верно? Что, э-э, люди используют много токенов. Думаю, ещё реально интересно, что никто особо не злоупотреблял этим в две тысячи двадцать пятом.

[00:05:28] swyx: Yeah, yeah. Got it, got it. Uh, I mean, uh, that’s, you know... The, the next chart here, it really kind of shows the expansion and the sort of December twenty twenty-five inflection, right? That, uh, people are using a lot of tokens. I think it’s also really interesting that no one was kind of abusing it in twenty twenty-five.

То есть это было — сравнительно с этим годом почти не было роста. В смысле, всё равно, знаешь, наверное, наверное дало процентов пятьдесят.

Like it was- Had comparatively, uh, to this year, there was almost no growth. I mean, it’s still like, you know, probably, probably gave fifty percent.

[00:05:56] Mikhail Parakhin: Да. Это просто другой масштаб. Это всё ещё экспоненциальный — Да, да... рост, просто с другим — ...темпом расширения. Э-э, была точка перелома, и, Шон, я бы заявил, супер интересная часть здесь в том, что видно, как распределение становится всё более и более скошенным.

[00:05:56] Mikhail Parakhin: Yeah. This is just a different scale. It’s still exponential- Yeah, yeah ...growth at just a different- ...rate of expansion. Uh, there was inflection point, and Sean, I would claim the, the super interesting part here is that you could see that the distribution becoming more and more skewed.

Да. Верхние процентили растут быстрее. То есть это значит — Да... люди в верхнем десятом процентиле, их потребление растёт быстрее, чем у семьдесят пятого и так далее. Так что, э-э, распределение скашивается всё больше и больше в сторону самых активных пользователей, что... Я не знаю, о чём мне это говорит. Это как будто ощущается не идеально, честно говоря.

Yes. The top percentiles grow faster. So that means- Yeah ...the people in the top ten percentile, they, their consumption grows faster than seventy-five and so forth. So, uh, the distribution skews more and more towards the highest users, which is... I don’t know what it tells me. It’s like it feels not ideal, to be honest.

Или, может, всё нормально. Посмотрим.

Or maybe it’s okay. We’ll see.

[00:06:36] swyx: Почему это ощущается не идеально? Это из-за, эм, количества в ущерб качеству, или в чём беспокойство?

[00:06:36] swyx: Why does it feel not ideal? Is, is it because of, um, quantity over quality, or what’s the concern?

[00:06:42] Mikhail Parakhin: Потому что доведи это до предела. Это значит, знаешь, если, если этот темп расхождения продолжится — Ах, да... через год будет один человек, потребляющий все токены. Так что это просто, это как-то странно.

[00:06:42] Mikhail Parakhin: Because take it to the limit. That means, you know, if, if this rate of separation continued- Ah, yes ...a year, there will be one person consuming all the tokens. So it’s just, it’s kinda strange.

[00:06:54] swyx: Да, в смысле, эм, э-э, я думаю, внутреннее, типа, обучение и всё такое, э-э, поможет распределить вещи более широко. Но в, в ранние дни, конечно, люди, которые более «подсажены на AI», очевидно, найдут больше способов это использовать, чем люди, менее «подсаженные на AI». Может, назовём это так.

[00:06:54] swyx: Yeah, I mean, um, uh, I, I think internal like teaching and all that, uh, will, will help sort of distribute things more widely. But in, in the early days, of course, the people who are sort of more AI-pilled will obviously find more ways to use it than the people who are less AI-pilled. Maybe let’s, let’s call it that.

Я просто, я просто быстро сделаю паузу от... Знаешь, мы вернёмся к остальным слайдам, но я просто хочу, эм, разобрать — знаешь, есть много CTO больших компаний вроде тебя, и все они обдумывают какой-то токен-бюджет, верно? Типа, я думаю, это что-то, о чём говорит Дженсен Хуанг, где, мол, если твой инженер за 200 тысяч не использует 100 тысяч токенов в год, то он недоиспользует кодинг-агентов.

I’ll just, I’ll just kinda quickly, uh, pause from the, the... You know, we will go back to the rest of the slides, but I just wanna, um, review, you know, there are a lot of CTOs of, of large companies like yourself where they’re all considering some kind of token budget, right? Like I think it’s something, something that Jensen Huang has been talking about, where like if your 200K engineer is not using 100K of tokens every year, like they’re, they’re underutilizing coding agents.

Конечно, Дженсен Хуанг так и скажет, но это выглядит очень как подход «количество в ущерб качеству», и некоторые люди по сути говорят, мол, сравнимо ли это с оценкой качества инженера по строкам кода, верно? Что, как мы тоже знаем, в каком-то смысле ущербно, но лучше, чем ничего. Так что я не знаю, есть ли у тебя, так сказать, управленческий взгляд на то, как смотреть на такого рода метрики.

Of course, Jensen Huang would say that, but like it seems a very quantity over quality approach and like some, some people are basically saying like, well, is this comparable to judging engineer quality by lines of code, right? Which we also know is like kind of flawed, but better than nothing. So I, I don’t know if you have like a sort of management take here on, on how to view this kind of, uh, metrics.

[00:08:02] Mikhail Parakhin: Ну, в смысле, ты меня подначиваешь. Я, я люблю... Это моя любимая тема. Э-э, если позволишь, я, наверное, могу говорить два часа только об этом. Мне есть много чего сказать. Типа, я действительно считаю, что Дженсен получил много плохой прессы, мол: «О, конечно, ты, знаешь, это — ...продавец тортов говорит, что вам не хватает тортов».

[00:08:02] Mikhail Parakhin: Well, I mean, you’re, you’re baiting me. I, I like... This is my favorite topic. Uh, if you let me, I’ll probably talk for two hours on just this. I have a lot of things to say. Like I do think Jensen gotten a lot of bad press saying, “Oh, of course you’re, you know, this, uh, the- ...the cake seller says you don’t need enough cakes.”

Знаешь? Типа, конечно. Э-э, но я на самом деле считаю, что это незаслуженно. Я думаю, он, он на самом деле прав. Я действительно считаю — Он,

You know? Like, of course. Uh, but, uh, I actually, uh, think that’s undeserved. I think he, he’s actually right. Uh, I do think- He,

[00:08:33] swyx: он прав по направлению.

[00:08:33] swyx: he’s directionally correct.

[00:08:35] Mikhail Parakhin: Да. Да. Он прав по направлению, точно. Э-э —

[00:08:35] Mikhail Parakhin: Yeah. Yeah. He’s directionally correct for sure. Uh-

[00:08:37] swyx: Кто знает, какое правильное число? Да.

[00:08:37] swyx: Who knows what the right number is? Yeah.

[00:08:39] Mikhail Parakhin: То, что я действительно хочу сказать, и это нечто, чему мы научились методом проб и ошибок и что очень важно, — это две вещи.

[00:08:39] Mikhail Parakhin: The thing that I do Uh, want to say, and this is something that we learned through trial and error and very important is like two things.

Первая: дело не просто в потреблении токенов. Э-э, можно потреблять токены, и, по сути, антипаттерн — это запускать несколько агентов, слишком много агентов параллельно, которые не общаются друг с другом. Это почти бесполезно по сравнению с просто меньшим числом агентов и сжигает токены очень неэффективно. Э-э, настройка правильного цикла критики, особенно с высококачественными моделями, где один агент что-то делает, другой, в идеале с другой моделью, критикует это, предлагает способы улучшить, агент переделывает с учётом этой критики, и так это занимает гораздо дольше.

One is that it’s not about just consuming tokens. Uh, you can consume tokens and, and in fact, the anti-pattern is running multiple agents, too many agents in parallel that don’t communicate with each other. That’s almost useless, uh, compared to just fewer agents and burns tokens very efficiently. Uh, setting up the right critique loop, especially with the high quality models, where one agent does something, the other one, ideally with a different model, critiques it, uh, suggests ways to improve it, the agent redoes it with this critique and, and so it takes much longer.

Так что людям это не нравится, потому что латентность растёт. Знаешь, им приходится ждать, пока идёт эта дискуссия. Но, э-э, качество кода гораздо выше. И ещё одна вещь, раз уж ты упомянул — слушай, да, общий бюджет — это просто как строки кода. Строки кода взрываются у всех прямо сейчас, отчасти потому что AI реально двигает дело, а отчасти просто потому что AI может писать гораздо больше кода, знаешь, он не устаёт.

So people don’t like it because latency goes up. You know, they, they have to wait until this debate is happening. But, uh, the quality of the code is much higher. And another thing, just since you mentioned like, look, uh, uh, yeah, the overall budget is just like, uh, lines of codes. Lines of codes are exploding for everybody right now, or partially because AI is really mover balls, but partially just because AI can write a lot more code, you know, doesn’t get tired.

И поэтому тебе нужно, нужно иметь очень сильное узкое горлышко во время PR-ревью. Иначе просто число багов взлетит до небес. Это, э-э, это неожиданное следствие того, что объём перебивает всё остальное. Я бы заявил, что к настоящему моменту хорошая модель пишет код в среднем с меньшим числом багов, чем средний человек.

And so you have to have to have a very strong narrow waist during PR review. Otherwise, just the number of bugs will go through the roof. It’s, uh, it’s this unexpected consequence of the just volume trumping everything. I would claim by now good model writes code on average with fewer bugs than, than the average human.

Но поскольку они пишут его гораздо больше, типа больше его попадёт в продакшен. Так что приходится — Тебе всё равно

But since they write so much more of it, like more of it will make it into production. So you have to- You still

[00:10:26] swyx: придётся иметь

[00:10:26] swyx: have

[00:10:26] Mikhail Parakhin: больше багов. Да. Приходится иметь очень строгие PR-ревью, тоже автоматизированные, конечно. Но, э-э, да, тратить на это много бюджета. Типа, для меня, для меня на самом деле важная метрика — это соотношение бюджета, потраченного во время генерации кода, против, э-э, потраченного, э-э, на дорогие токены, типа GPT пять точка четыре Pro или, э-э, Deep Think от Gemini, знаешь, на проверках PR-ревью.

[00:10:26] Mikhail Parakhin: more bugs. Yeah. Have to have a very rigorous PR reviews, also automated of course. But, uh, yeah, that to spend a lot budget there. Like this, this for me, for me, actually, the important metric is the ratio of budget spent during code generation versus, uh, spent, uh, expensive tokens like GPT, uh, five point four Pro or, uh, uh, Deep Think from Gemini, you know, checking on PR reviews.

[00:10:55] swyx: Да, абсолютно. Э-э, я заметил, что в твоём графике не было никаких инструментов ревью. Ты просто используешь, скажем, Claude Code для ревью? Или у тебя есть другой набор инструментов ревью, типа Greptile, Code Rabbit, у Devin Reviews есть инструмент ревью. Не знаю, пробовал ли ты эти специализированные инструменты ревью.

[00:10:55] swyx: Yeah, totally. Uh, I noticed in your chart you didn’t have any review tools. Do you just use like, like let’s say a Claude code to review tools? Or do you have another set of review tools like the Greptiles, the Code Rabbits, uh, Devin Reviews has a review tool. I don’t know if you’ve had those specialist review tools.

[00:11:13] Mikhail Parakhin: Ты немного забегаешь вперёд по моей теме прямо сейчас, потому что на графиках я показывал только публичные инструменты. Э-э, я не нашёл хорошего инструмента PR-ревью, который делал бы то, что, по моему мнению, должно быть сделано. И, э-э, отчасти моё мышление в том, что это настолько... Это просто идёт вразрез и с тем, что люди эмоционально предпочитают, и с некоторыми, э-э, знаешь, откровенно даже бизнес-моделями, по которым работают компании.

[00:11:13] Mikhail Parakhin: You are a little bit jumping on my store tool right now because the graphs I was only showing public tools. Uh, uh, the-- I haven’t found a good PR review tool that, that does what I think should be done. And, uh, partially my, my thinking is because it’s so... It just goes against both what people feel like emotionally they prefer and, uh, some of the, uh, you know, frankly Even business models that, that the companies run.

Во время ревью кода ты хочешь запускать самые большие модели. Это значит, не знаю, Codex или, э-э, Claude Code не подойдёт. Тебе нужны модели pro-уровня, если ты действительно хочешь, э-э, выдержать наплыв ботов, идущих в продакшен. И тебе нужно тратить много времени на то, чтобы модели ходили по кругу, но ты не хочешь, типа, большую стаю, э-э, агентов.

At peer review tool, uh, time, you want to run the largest models. That means, I don’t know, Codex or, or, uh, Cloud Code is not gonna cut it. You need to have pro-level models if you really want to, uh, stand the tide of bots from going into production. And you need us to spend a lot of time, the models taking turns, but you don’t want, like, a big swarm of, uh, of, uh, agents.

Так что по сути ты оказываешься в другом, дуалистическом мире, где ты генерируешь не так много токенов. Ты на самом деле генерируешь мало токенов, но это занимает много времени, потому что это дорогие модели, ходящие по кругу, а не много-много агентов, пытающихся делать много вещей параллельно. Вот, вот поэтому я ощущаю, что не нашёл хороших инструментов, так что мы пока используем собственный для ревью кода.

So in fact, you end up in a different dual-dualistic world where you generate not that many tokens. You, in fact, generate few tokens, but it takes f-a long time because these are expensive models taking turns rather than many, many agents trying to do many things in parallel. So that’s, that’s why I feel like I haven’t found good tools, so we are using our own for peer review for now.

[00:12:33] swyx: Да. Да. В смысле, э-э, я думаю, много компаний строят свои собственные, особенно под свои нужды, верно?

[00:12:33] swyx: Yeah. Yeah. I mean, uh, I think a lot of companies are building their own, uh, especially to their needs, right?

[00:12:38] Mikhail Parakhin: Mm-hmm.

[00:12:38] Mikhail Parakhin: Мм-хм.

[00:12:38] swyx: Um, I, uh, you also have a chart here going back to the slides on, uh, PR merge growth, where we’re now at thirty percent, uh, month on month rather than ten percent. Uh, and also the, the estimated complexity is going up.

[00:12:38] swyx: Эм, я, э-э, у тебя тут ещё есть график, возвращаясь к слайдам, о, э-э, росте мёрджа PR, где мы теперь на тридцати процентах, э-э, месяц к месяцу, а не десяти процентах. Э-э, и ещё, оценочная сложность растёт.

You know, this is productivity, right? ‘Cause y- presumably there’s more stuff going into the code base and more, more features getting worked on. I’m curious about the backlog, right? Like the, the, the-- I actually don’t mind a pro-level model taking an hour or two hours to review my PR, because I’ve dealt with humans who take a week to review my PR, right?

Знаешь, это продуктивность, верно? Потому что, предположительно, в кодовую базу попадает больше всего, и над большим, большим числом фич идёт работа. Мне любопытно про бэклог, верно? Типа, я на самом деле не против, чтобы модель pro-уровня тратила час или два на ревью моего PR, потому что я имел дело с людьми, которые неделю ревьюят мой PR, верно?

And I keep pinging them on Slack, “Hey, hey, review my PR.” So, you know, I think there’s some trade-off here where, like, it still doesn’t make sense.

И я постоянно пингую их в Slack: «Эй, эй, отревьюй мой PR». Так что, знаешь, я думаю, тут есть некий компромисс, где, типа, это всё равно не имеет смысла.

[00:13:18] Mikhail Parakhin: Exactly. That, that’s exactly m-my point. Uh, that on one hand, you can tolerate longer latencies at, uh, PR. On the other hand, like right now, the real problem is not in spending time waiting for PR.

[00:13:18] Mikhail Parakhin: Именно. Это, это в точности моя мысль. Э-э, что с одной стороны, ты можешь терпеть бо́льшие латентности на PR. С другой стороны, типа, прямо сейчас реальная проблема не в том, чтобы тратить время в ожидании PR.

It’s real problem is since there’s so much more code than- Yeah ... uh, probability of at least some tests failing going up, and then you, like, keep de-failing, then you have to find the offending PR, evict it, retest it without that PR, and so deployment cycle becomes much longer. Uh, so it actually, in terms of the overall time to deploy, it’s total time savings if you spend more time on a longer model, like thinking for an hour, because then, then you, you don’t have to spend all that time during testing and rolling, you know, rolling back the deployment.

Реальная проблема в том, что раз кода настолько больше, то — Да... вероятность того, что хотя бы какие-то тесты упадут, растёт, и тогда ты, типа, продолжаешь разбираться с падениями, потом тебе надо найти провинившийся PR, выкинуть его, перетестировать без этого PR, и так цикл деплоя становится гораздо длиннее. Э-э, так что на самом деле, с точки зрения общего времени до деплоя, это суммарная экономия времени, если ты тратишь больше времени на более долгую модель, типа размышляя час, потому что тогда тебе не приходится тратить всё это время на тестирование и откат деплоя.

[00:14:03] swyx: Yeah, totally. That’s still worth it. You know, you don’t look at the individual, look at the aggregate, and look at the, the, the change in the aggregate system.

[00:14:03] swyx: Да, абсолютно. Это всё равно того стоит. Знаешь, ты смотришь не на отдельную единицу, а на агрегат, и на изменение в агрегатной системе.

[00:14:11] Mikhail Parakhin: Exactly.

[00:14:11] Mikhail Parakhin: Именно.

[00:14:11] swyx: I’m kind of curious if, like, there’s this PR mentality and, like, c-- the, the, the CICD paradigm will be changed eventually. Some people are like, obviously a lot of people want new GitHub, but I even wonder if, like, Git is the problem, right?

[00:14:11] swyx: Мне как-то любопытно, существует ли эта PR-ментальность и, типа, парадигма CI/CD в итоге изменится. Некоторые говорят, очевидно, что многие хотят новый GitHub, но я даже задумываюсь, не является ли, типа, Git проблемой, верно?

Like, is that the bottleneck? Is the concept of a PR a bottleneck? Do you guys use stack diffs? I don’t know if, uh, that’s a, like, a merge queue stack diff type of thing.

Типа, это и есть узкое место? Является ли сама концепция PR узким местом? Вы, ребята, используете stack diffs? Не знаю, э-э, это, типа, штука вроде merge queue со stack diff?

[00:14:34] Mikhail Parakhin: We, we use, we use Stacks, we u- we use Graphite. We worked with, uh, Graphite a lot. Uh, so we use Stack, uh, PRs. I think, uh, like that’s clearly the overall CICD in general, and the interaction with the code repository right now is the, clearly the sort of the, the main issue and the bottleneck for us, uh, and highest top of mind.

[00:14:34] Mikhail Parakhin: Мы, мы используем, мы используем Stacks, мы используем Graphite. Мы много работали с, э-э, Graphite. Так что мы используем Stack, э-э, PR. Я думаю, э-э, это явно общий CI/CD в целом, и взаимодействие с репозиторием кода прямо сейчас — это явно, так сказать, главная проблема и узкое место для нас, э-э, и самое приоритетное в мыслях.

I would say we probably need a different metaphor or different whole design of how to process it in new agentic world. I haven’t seen anything dramatically better yet. I, I think everybody right now is just trying to keep their head above the water ‘cause, ‘cause there, there’s so many PRs and then everybody’s CICD pipelines start creaking, the, the times are increasing, the number of bugs slipping by increasing, and you have to, have to clap on down.

Я бы сказал, нам, наверное, нужна другая метафора или другой целостный дизайн того, как это обрабатывать в новом агентском мире. Я пока не видел ничего кардинально лучше. Я, я думаю, все прямо сейчас просто пытаются удержать голову над водой, потому что, потому что PR настолько много, и тогда у всех начинают скрипеть пайплайны CI/CD, времена растут, число багов, проскальзывающих мимо, растёт, и тебе приходится, приходится зажимать.

And so we are a little bit in this situation when we need to first stabilize that story and then start thinking, hey, what, what it could be a completely different and new world, which I haven’t... I know some people working on it. I haven’t seen something, like anything super compelling yet, but clearly the old thing were designed for humans will need to be morphed into something new.

И вот мы немного в этой ситуации, когда нам надо сначала стабилизировать эту историю, а потом начать думать: эй, а каким мог бы быть совершенно другой и новый мир, который я ещё не... Я знаю некоторых людей, работающих над этим. Я пока не видел чего-то, типа чего-то супер убедительного, но явно старые штуки, которые проектировались для людей, придётся преобразовать во что-то новое.

[00:15:53] swyx: One of the thing that I, I think about is kind of like the merge conflict is basically a global mutex on the whole system, right? And in, in hu- in human organizations, we do have something like that. It’s the company standup. But like, other than that, it’s like it’s actually fitting for us to be somewhat decentralized, somewhat plugged into one stream of information source, but somewhat lossy.

[00:15:53] swyx: Одна из вещей, о которой я думаю, это что-то вроде того, что мёрдж-конфликт по сути — это глобальный мьютекс на всю систему, верно? И в человеческих организациях у нас тоже есть что-то такое. Это корпоративный стендап. Но, типа, кроме этого, нам на самом деле подходит быть несколько децентрализованными, несколько подключёнными к одному потоку источника информации, но несколько лоссовыми.

Like it’s okay, you know, that, that not every delivery is like atomic consistency. Like we’re not dealing with a database sometimes.

Типа, это нормально, знаешь, что, что не каждая доставка обладает атомарной консистентностью. Типа, мы же иногда не имеем дела с базой данных.

[00:16:27] Mikhail Parakhin: This is a very good point, uh, because since humans don’t write code too fast, you know that global mutex is not too bad. Once you-

[00:16:27] Mikhail Parakhin: Это очень хорошее замечание, э-э, потому что раз люди не пишут код слишком быстро, знаешь, этот глобальный мьютекс не так уж плох. Как только —

[00:16:36] swyx: Yes ...

[00:16:36] swyx: Да...

[00:16:37] Mikhail Parakhin: start writing code at the speed of machine, it becomes the, you know, the bottleneck.

[00:16:37] Mikhail Parakhin: начинаешь писать код со скоростью машины, он становится, знаешь, узким местом.

Then what do you do? Maybe, and I can’t believe I’m saying this because I, I’m long-- lifelong opponent of, uh, microservices, and I always thought that was, like, a really bad idea. And now that you’re saying it, like, maybe in new guys like microservices will make a comeback, you know, because then you, you can ship things independently in tiny things and, and the managing all that complexity automatically will be much easier.

Тогда что ты делаешь? Может, и я не могу поверить, что говорю это, потому что я, я пожизненный противник, э-э, микросервисов, и я всегда считал, что это, типа, реально плохая идея. И теперь, раз ты это говоришь, типа, может, в новом мире, типа, микросервисы сделают камбэк, знаешь, потому что тогда ты, ты можешь шипить вещи независимо, маленькими кусочками, и, и управлять всей этой сложностью автоматически будет гораздо проще.

I don’t know. Like, we’ll s-- we’ll have to see.

Не знаю. Типа, нам придётся посмотреть.

[00:17:10] swyx: Yeah. I mean, I don’t know what the Microsoft or, or Shopify thing is, but I, I read this paper from Google where they have a monorepo that deploys into microservices, right? And then, uh, the other concept that I think about a lot is the Chaos Monkey concept from, from Netflix.

[00:17:10] swyx: Да. В смысле, я не знаю, как это устроено в Microsoft или, или Shopify, но я читал эту статью от Google, где у них монорепозиторий, который деплоится в микросервисы, верно? И, э-э, другая концепция, о которой я много думаю, — это концепция Chaos Monkey от, от Netflix.

Being able to create, like, this robust system where, um, uh, you know, you, you have the service discovery, you have the, uh, the independent, independent microservices discovery and, and, uh, you know, probably going to be a fair amount of duplication. That’s how an organic system sort of scales, uh, that, that you have that...

Возможность создать, типа, эту устойчивую систему, где, эм, э-э, знаешь, у тебя есть service discovery, у тебя есть, э-э, независимый, независимый discovery микросервисов, и, и, э-э, знаешь, наверное, будет приличное количество дублирования. Вот так органическая система, так сказать, масштабируется, э-э, что, что у тебя есть это...

I don’t know how you call it. Slack? Robustness? Depend-- uh, d-duplication. I, I, I forget the-- I, I’m-- And this-- those-- these are not exactly the terms- Hmm ... I’m looking for, but I c-can’t really think of the words. Okay. I was gonna go into Tangent and Tangle. Uh, so, uh, we, we sort of discussed the overall stats that, uh, Shopify has.

Не знаю, как это назвать. Slack? Робастность? Зависим... э-э, д-дублирование. Я, я, я забываю — я, я... И это — те, эти — это не совсем те термины — Хмм... которые я ищу, но я не могу реально подобрать слова. Окей. Я собирался перейти к Tangent и Tangle. Э-э, так что, э-э, мы, мы вроде обсудили общую статистику, которую, э-э, имеет Shopify.

Uh, but, you know, I, I think some, some pretty cool stuff that you guys are working on is your ML experimentation, uh, and your, your sort of auto tr-research training pipeline. Presumably you’re much closer to this one because it’s, it’s a sort of personal hobby of yours. How, how would you explain them in, together?

Э-э, но, знаешь, я, я думаю, какие-то, какие-то довольно крутые вещи, над которыми вы, ребята, работаете, — это ваша ML-экспериментация, э-э, и ваш, так сказать, авто-ресёрч-пайплайн обучения. Предположительно ты гораздо ближе к этому, потому что это, это что-то вроде твоего личного хобби. Как, как бы ты объяснил их вместе?

I thought we have a slide that, like, uh, has the s- the system diagram.

Я думал, у нас есть слайд, типа, с системной диаграммой.

[00:18:24] Mikhail Parakhin: Yeah. Tangle first and then Tangent as a-

[00:18:24] Mikhail Parakhin: Да. Сначала Tangle, а потом Tangent как —

[00:18:27] swyx: Yeah ...

[00:18:27] swyx: Да...

[00:18:28] Mikhail Parakhin: as a thing on top of Tangle. And, uh, Tangle is the third generation, I claim, of, uh, systems of, uh, running any data processing, but a bit with a skew for ML experiments, but not necessarily. Any sort of data processing tasks where you need to iterate, share, and you have scale so that you want maximum efficiency.

[00:18:28] Mikhail Parakhin: как штука поверх Tangle. И, э-э, Tangle — это, я заявляю, третье поколение систем, э-э, для запуска любой обработки данных, но с уклоном в ML-эксперименты, но не обязательно. Любые задачи обработки данных, где тебе нужно итерировать, делиться, и у тебя есть масштаб, так что ты хочешь максимальную эффективность.

You know how, like, normally you would work, you would-- Imagine you’re a data scientist or an ML practitioner, you would get Jupiter notebooks or, or maybe you would get, uh, you know, Pyth- your Python scripts, and you would manage the data, and you produce those TSV files, and you put them in some JFS or something.

Знаешь, как, типа, обычно ты работал бы, ты бы — представь, что ты data scientist или ML-практик, ты бы получил Jupyter-ноутбуки или, или, может, э-э, знаешь, свои Python-скрипты, и ты бы управлял данными, и ты бы производил эти TSV-файлы, и складывал их в какую-нибудь JFS или что-то такое.

Then you would notice that, oh, it has this, uh, weird missing values. You go and write another script that, uh, goes and replaces them with, uh-

Потом ты бы заметил, что, о, тут есть эти, э-э, странные пропущенные значения. Ты идёшь и пишешь ещё один скрипт, который, э-э, идёт и заменяет их на, э-э —

[00:19:20] swyx: Ah ...

[00:19:20] swyx: А...

[00:19:21] Mikhail Parakhin: dash S. And then, then you, then you run some, some, uh, “Oh, I need to filter bots.” And so you run some light GBM model that, uh, removes the bots. And then, then you like-- And then you, you kind of like get into shape, and then you start experimenting, and you run multiple experiments, and then you’re like, “Oh my God,” like, “this experiment is worse.”

[00:19:21] Mikhail Parakhin: дефис S. А потом, потом ты, потом ты запускаешь какой-то, какой-то, э-э, «О, мне надо отфильтровать ботов». И вот ты запускаешь какую-то модель LightGBM, которая, э-э, убирает ботов. А потом, потом ты типа — а потом ты, ты как бы приводишь это в форму, и потом начинаешь экспериментировать, и запускаешь несколько экспериментов, и потом ты такой: «О боже», типа: «этот эксперимент хуже».

You undo, and you cannot get to previous result. And like, “Ah, what did I do?” Like that. Again, then, then you finally like get everything working. Then you like start throwing it over the fence to production. You, you replicate it, those things don’t work, and then sometimes you like don’t notice that you forgot some feature naming and the, the features don’t match.

Ты откатываешь и не можешь вернуться к предыдущему результату. И типа: «Ах, что я сделал?» Типа того. Опять же, потом, потом ты наконец, типа, заставляешь всё работать. Потом ты начинаешь перебрасывать это через забор в продакшен. Ты, ты реплицируешь это, эти штуки не работают, и потом иногда ты, типа, не замечаешь, что забыл какое-то наименование фичи, и, и фичи не совпадают.

But then, like imagine you, you did everything, and then six months later you’re like, have to repeat it because now there’s more data, or you wanted to do another pass, and you’re like, “What, what did I do?” Or like, or like, “This script crashes now,” or the, “the path has changed.” And then, then you’re trying to, like you spend another month just doing ar- digital archeology on your own, you know, history, right?

Но потом, типа, представь, ты, ты всё сделал, а потом через полгода тебе, типа, приходится это повторять, потому что теперь больше данных, или ты хотел сделать ещё один проход, и ты такой: «Что, что я сделал?» Или типа: «Этот скрипт теперь падает», или «путь изменился». И потом, потом ты пытаешься, типа, потратить ещё месяц, просто занимаясь цифровой археологией по своей же, знаешь, истории, верно?

Now multiply that by many, many teams. Now imagine you got an intern that you wanna ramp up. Now you have to show that intern, “Oh, you know, look, here’s the folder, there’s the scripts, you know, ask your cloud agent to do, and then, uh, to, to figure it out.” And then cloud agent does something, and then you’re, “Ah, yeah, right, right, it was the wrong folder.

Теперь умножь это на много-много команд. Теперь представь, ты получил стажёра, которого хочешь ввести в курс дела. Теперь тебе надо показать этому стажёру: «О, знаешь, смотри, вот папка, там скрипты, знаешь, попроси своего cloud-агента сделать, а потом, э-э, разобраться». И потом cloud-агент что-то делает, и потом ты: «Ах, да, точно, точно, это была не та папка.

I forgot to tell you, I actually have this other thing I forgot myself.” And, and that’s, that’s the, like, the daily life we all, uh, all know it, uh, if, if you’re a data scientist, machine practitioner, ma- machine learning practitioner or, uh, or even like any data managing, uh, person.

Я забыл тебе сказать, у меня на самом деле есть эта другая штука, я сам забыл». И, и это, это, типа, повседневная жизнь, которую мы все, э-э, все знаем, э-э, если, если ты data scientist, машинный практик, ма-, ML-практик или, э-э, или даже, типа, любой человек, управляющий данными.

[00:21:00] swyx: Yeah. So I, I used to do this, uh, f- uh, on the quant finance side, uh, in, in my hedge fund.

[00:21:00] swyx: Да. Так что я, я раньше этим занимался, э-э, на стороне квантового финанса, э-э, в, в моём хедж-фонде.

So we did this before Airflow, and then, uh, obviously Airflow came along and, uh, then more recently Dagster, uh, I would say is like, in my mind, what I would use for that shape of problem, uh, where you had to materialize assets and create a pipeline.

Так что мы делали это до Airflow, а потом, э-э, очевидно, появился Airflow и, э-э, потом, более недавно, Dagster, э-э, я бы сказал, это, в моём понимании, то, что я бы использовал для такого типа задач, э-э, где тебе надо материализовать ассеты и создать пайплайн.

[00:21:19] Mikhail Parakhin: And that’s, that’s very good segue because... So Airflow is great, but Airflow is more about you, you have something and you wanna repeatedly run it in production on schedule.

[00:21:19] Mikhail Parakhin: И это, это очень хороший переход, потому что... Так, Airflow отличный, но Airflow больше про то, что у тебя что-то есть, и ты хочешь повторно запускать это в продакшене по расписанию.

It’s less about you as a team developing things and being able to share, and you grabbing the standard pipeline and saying, “Hey, I wanna change this tiny little component in the huge sea of data processing, and I don’t wanna-- I wanna run ten experiments on this, and I wanna do hyperparameter optimization.”

Он меньше про то, что ты как команда разрабатываешь вещи и можешь делиться, и ты берёшь стандартный пайплайн и говоришь: «Эй, я хочу изменить вот этот крошечный компонентик в огромном море обработки данных, и я не хочу — я хочу прогнать десять экспериментов на этом, и я хочу сделать оптимизацию гиперпараметров».

All that is very hard to do with Airflow. It’s very easy to do with Tango. Tango is m- more about, it’s everything about group of people Running experiments, it might be agents too nowadays. Uh, running experiments cheaply, collaborating, sharing results. Uh, you don’t need to understand fully. You, you grab-- you clone somebody else’s experiment or somebody else’s pipeline, uh, run, uh, change small piece, run it, be, like, get it to production state, and then ship in one click.

Всё это очень сложно делать в Airflow. Это очень легко делать в Tangle. Tangle — больше про, он весь про группу людей, запускающих эксперименты, теперь это могут быть и агенты. Э-э, запуск экспериментов дёшево, коллаборация, обмен результатами. Э-э, тебе не нужно понимать полностью. Ты берёшь — ты клонируешь чей-то эксперимент или чей-то пайплайн, э-э, запускаешь, э-э, меняешь маленький кусочек, запускаешь, типа, доводишь до продакшен-состояния, а потом шипишь в один клик.

So then the... You don’t have to port it into any other system to, to run in production. You can just run the same experiment. It’s, it’s fully production ready. And, and it’s, uh, it has lots of... Again, as I said, it’s third generation system. The original one was, I would claim there was Ether and then, uh, at least in my career, Ether was the first, first, uh, that pioneered this type of approach.

Так что потом... Тебе не нужно портировать это в какую-либо другую систему, чтобы запустить в продакшене. Ты можешь просто запустить тот же эксперимент. Он, он полностью готов к продакшену. И, и это, э-э, у него куча... Опять же, как я сказал, это система третьего поколения. Первой, я бы заявил, был Ether, а потом, э-э, по крайней мере в моей карьере, Ether был первым, первым, э-э, кто пионерил этот тип подхода.

And then there was, uh, Nirvana, which, uh, uh, at Yandex, which did kind of sec-second take on this. And now this one aggregates the, the learnings from all of those and, and Airflow as well to, to get to the state where you try it, it, it feels kind of magical. Uh, ‘cause now everything is based on content, uh, hashes.

А потом был, э-э, Nirvana, который, э-э, в Yandex, который сделал, типа, второй заход на это. И теперь этот агрегирует, э-э, наработки всех из них, и, и Airflow тоже, чтобы прийти к состоянию, где ты пробуешь это, и это ощущается как бы магически. Э-э, потому что теперь всё основано на контенте, э-э, хешах.

So even if the version changed, but if the output didn’t change, nothing is being rerun. It’s very efficient. If you... Multiple people start experiment that needs the same sort of data preprocessing, it’s not repeated multiple times. It’s automatically done only once. If you start ten experiments that all require, you know, some, some data preparation first as the first step, and you don’t have to coordinate for that.

Так что даже если версия изменилась, но если вывод не изменился, ничего не перезапускается. Это очень эффективно. Если ты... Несколько человек начинают эксперимент, которому нужна одна и та же, так сказать, предобработка данных, она не повторяется несколько раз. Она автоматически делается только один раз. Если ты запускаешь десять экспериментов, всем которым нужна, знаешь, какая-то подготовка данных первым шагом, тебе не надо это координировать.

Like, you don’t have to know that other people are starting it. You now, it’s very easy compos-, uh, composability, any language you can u- uh, you wanna use, and it’s very visual. So you can see immediately, you can edit it easily, you can assemble small things with just even mouse clicks if you want to, and, uh, share, clone.

Типа, тебе не надо знать, что другие люди это запускают. Ты теперь, это очень лёгкая компонуемость, любой язык, который ты хочешь использовать, и это очень визуально. Так что ты можешь сразу увидеть, ты можешь легко редактировать, ты можешь собирать маленькие штуки даже просто кликами мышью, если хочешь, и, э-э, делиться, клонировать.

And everybody knows also it’s fully kind of static in the sense that we rerun it second time, it will exactly have the same results. Like, you will never have to do digital archeology. So full versioning and everything is also there.

И все знают также, что это полностью, так сказать, статично в том смысле, что мы перезапустим это второй раз — оно будет иметь в точности те же результаты. Типа, тебе никогда не придётся заниматься цифровой археологией. Так что полное версионирование и всё прочее тоже там есть.

[00:24:06] swyx: Uh, so, so people can, uh... It’s open source. Go to the GitHub repo and, and, uh, check it out.

[00:24:06] swyx: Э-э, так, так люди могут, э-э... Это open source. Зайди в GitHub-репозиторий и, и, э-э, посмотри.

Uh, and it is also a really good, uh, blog post about it. I think all these is, like, really appealing. The, the, the, the thing that I think sells me the most about it is that, um, sort of development to production transition, right? Which I think, um, a lot of people haven’t really solved that, uh, strictly, right?

Э-э, и про это есть также реально хороший, э-э, блог-пост. Я думаю, всё это, типа, реально привлекательно. То, что, что меня больше всего цепляет в этом, — это, эм, так сказать, переход от разработки к продакшену, верно? Который, я думаю, эм, много людей реально не решили, э-э, строго, верно?

Like, we develop really, really well in, in Python notebooks, but then, you know, that’s obviously not a sort of production ready process. I think that, like, any way in which that is solved, I think is, is very appealing. Then the other thing that you mentioned, which also raised my eyebrows, was content-based caching, which you mentioned is, is, um, you know, is ve-very much, uh, um, a sort of efficiency measure about, uh, you know, just like recalculation only on, on sort of content addressing Which I think makes sense.

Типа, мы разрабатываем реально, реально хорошо в, в Python-ноутбуках, но потом, знаешь, это очевидно не, так сказать, готовый к продакшену процесс. Я думаю, что, типа, любой способ, которым это решается, я думаю, это очень привлекательно. Потом другая вещь, которую ты упомянул, которая тоже подняла мне брови, — это кэширование на основе контента, которое, ты упомянул, это, это, эм, знаешь, очень во многом, э-э, типа мера эффективности про, э-э, знаешь, просто, типа, пересчёт только при, на, так сказать, адресации по контенту, что, я думаю, имеет смысл.

Uh, it surprised me that the savings could be this much, but maybe I just haven’t worked at your scale where there’s so much duplication, uh, that people just rerun because they change a single ID upstream.

Э-э, меня удивило, что экономия может быть настолько большой, но, может, я просто не работал на твоём масштабе, где так много дублирования, э-э, что люди просто перезапускают, потому что изменили один ID выше по потоку.

[00:25:10] Mikhail Parakhin: It does, yeah. But it’s not only you rerun. The, the main savings are coming from the fact that you ran it, you got your job done, and you moved on.

[00:25:10] Mikhail Parakhin: Так и есть, да. Но дело не только в том, что ты перезапускаешь. Главная экономия идёт от того факта, что ты запустил это, сделал свою работу и пошёл дальше.

Then- Yeah ... somebody else in some department you don’t know existed runs the same task, but on a newer version.

Потом — Да... кто-то ещё в каком-то отделе, о существовании которого ты не знал, запускает ту же задачу, но на более новой версии.

[00:25:27] swyx: Yeah.

[00:25:27] swyx: Да.

[00:25:27] Mikhail Parakhin: Like right now, you can’t, in, in most of the organizations, you can’t even find out about it so that you can’t even measure that you’re spending that time twice, right? Here- Yeah ... if everybody’s on Tango, that’s detected automatically and detected that the output is the same.

[00:25:27] Mikhail Parakhin: Типа, прямо сейчас в большинстве организаций ты не можешь даже узнать об этом, так что ты не можешь даже измерить, что ты тратишь это время дважды, верно? Здесь — Да... если все на Tangle, это обнаруживается автоматически, и обнаруживается, что вывод один и тот же.

And then for that person, all it looks like is like experiment just suddenly moved, jumped forward, right? Uh, uh- Yeah ... so that’s because, because the, there’s network effect of multiple people helping each other.

И потом для того человека всё это выглядит так, будто эксперимент просто внезапно сдвинулся, прыгнул вперёд, верно? Э-э, э-э — Да... так что это потому, потому что есть сетевой эффект множества людей, помогающих друг другу.

[00:25:51] swyx: Yeah. This is one of those things where it’s designed to be a platform from the beginning rather than an individual developer’s tool from the beginning, right?

[00:25:51] swyx: Да. Это одна из тех вещей, где это спроектировано быть платформой с самого начала, а не инструментом отдельного разработчика с самого начала, верно?

And, and everything’s gonna streams down from there. That is the sort of Tango, uh, orchestrator, and it’s, it manages jobs. We’ve seen a few versions of this, and this is obviously, uh, uh, the sort of, uh, unique approaches that you guys have, have, uh, figured out. And then there’s Tangent.

И, и всё будет стекать вниз оттуда. Это, так сказать, оркестратор Tangle, и это, он управляет задачами. Мы видели несколько версий этого, и это, очевидно, э-э, э-э, так сказать, уникальные подходы, которые вы, ребята, придумали. А потом есть Tangent.

[00:26:14] Mikhail Parakhin: Yeah. And Tangent is basically an automatic auto research loop that can help and kind of do your work for you.

[00:26:14] Mikhail Parakhin: Да. И Tangent — это по сути автоматическая авто-ресёрч-петля, которая может помочь и, типа, сделать твою работу за тебя.

Uh- ... you know, uh, effectively, effectively, Andrej Karpathy recently popularized it with auto research. Yes. Remember he said like he was, uh, speed running this, uh... Yeah, uh, you know the story. The, here we’re basically bringing the same capability into Tango so that, uh, the, uh, Tangent can analyze it. It’s just an agent that can run multiple experiments, figure out what can be changed, and keep on rerunning it, keep on modifying until, uh, maximizing some goal, some loss function, whatever you need to, to achieve.

Э-э... знаешь, э-э, по сути, по сути, Андрей Карпатый недавно популяризировал это с авто-ресёрчем. Да. Помнишь, он сказал, типа, он, э-э, спидранил это, э-э... Да, э-э, знаешь эту историю. Тут мы по сути приносим ту же возможность в Tangle, так что, э-э, Tangent может анализировать это. Это просто агент, который может запускать несколько экспериментов, выяснять, что можно изменить, и продолжать перезапускать, продолжать модифицировать, пока, э-э, не максимизирует какую-то цель, какую-то функцию потерь, что бы тебе ни нужно было достичь.

And in general, I would say if you’re not using auto research-like approach in whatever you do, like literally whatever you do, then you’re missing out. We saw at Shopify that taking like a wildfire, anything where you can put measurements can be done dramatically better. Our-

И в целом я бы сказал, что если ты не используешь подход типа авто-ресёрча в чём бы ты ни делал, типа буквально в чём угодно, то ты упускаешь. Мы увидели в Shopify, что это распространяется, типа, как лесной пожар: всё, куда можно поставить измерения, можно сделать кардинально лучше. Наша —

[00:27:19] swyx: Mm-hmm ...

[00:27:19] swyx: Мм-хм...

[00:27:20] Mikhail Parakhin: uh, speed of, uh, templatization HTML, uh, completely new UX tem- uh, templatization of, uh, reducing latency for liquid themes.

[00:27:20] Mikhail Parakhin: э-э, скорость, э-э, шаблонизации HTML, э-э, совершенно новая UX-шаблонизация, э-э, снижение латентности для liquid-тем.

Uh, we-- Our, uh, search, uh, recently we moved from It’s hard even, uh, quote from eight hundred QPS to forty-two hundred QPS with the same quality just by pure optimizations and not a research loop that kept running and changing code in our index serve on the same number of machines, just increasing the throughput.

Э-э, наш — наш, э-э, поиск, э-э, недавно мы перешли — это сложно даже, э-э, процитировать — с восьмисот QPS до четырёх тысяч двухсот QPS при том же качестве просто за счёт чистых оптимизаций, и не — ресёрч-петля, которая продолжала работать и менять код в нашем index serve на том же числе машин, просто увеличивая пропускную способность.

We, we managed to improve the quality of gisting and machine learning process. Uh, you know, gisting is the prompt compression technique that

Мы, мы смогли улучшить качество гистинга и процесс машинного обучения. Э-э, знаешь, гистинг — это техника сжатия промптов, которая

[00:27:59] swyx: allows for

[00:27:59] swyx: позволяет

[00:28:00] Mikhail Parakhin: lower latency and, and lower and, uh, actually higher quality slightly. So like literally whatever different walks of life, and it doesn’t have to be AI related.

[00:28:00] Mikhail Parakhin: более низкую латентность и, и более низкое, э-э, на самом деле слегка более высокое качество. Так что, типа, буквально что угодно из разных сфер жизни, и это не обязательно должно быть связано с AI.

Uh, we, we had a reduction in, uh, storage because the agents would go and find data sets that clearly are derivative, uh, and then you don’t need to store things twice. You know, we, we, we found somewhat embarrassingly that it was one of the largest tables was hashing random IDs into another random ID, and we literally- Oof

Э-э, у нас, у нас было сокращение, э-э, хранилища, потому что агенты шли и находили датасеты, которые явно являются производными, э-э, и тогда тебе не нужно хранить вещи дважды. Знаешь, мы, мы, мы нашли несколько смущающе, что одной из самых больших таблиц была таблица, хешировавшая случайные ID в другой случайный ID, и мы буквально — Ох

put only one. So it was translating, yeah, two random IDs hashed

оставили только один. Так что это переводило, да, два случайных ID, хешированных

[00:28:36] swyx: into

[00:28:36] swyx: в

[00:28:37] Mikhail Parakhin: each. So, so

[00:28:37] Mikhail Parakhin: друг друга. Так, так

[00:28:37] swyx: it has access to the code as well, so it can, it can check the, like what, what the hell is it doing?

[00:28:37] swyx: у него есть доступ и к коду тоже, так что он может, он может проверить, типа, какого чёрта он делает?

[00:28:42] Mikhail Parakhin: So there, there cou- it could be run in two levels. You, uh, you know, at the superficial level, it could just use ex-existing components and, uh, reshuffle them.

[00:28:42] Mikhail Parakhin: Так, тут это может запускаться на двух уровнях. Ты, э-э, знаешь, на поверхностном уровне он может просто использовать существующие компоненты и, э-э, перетасовывать их.

Uh, you know, like you can grab- Yeah ... uh, XGBoost, and you can grab some, some Py- PyTorch module, and then can grab some, you know, grab another tools and, and combine them. At a deeper level, since Tangle is all sort of CLI based underneath you, every, every component is a wrapped really CLI, uh, call and a YAML file, it can analyze code and create new components and, and, uh, keep on iterating as well.

Э-э, знаешь, типа можешь взять — Да... э-э, XGBoost, и можешь взять какой-то, какой-то модуль PyTorch, а потом взять какие-то, знаешь, взять другие инструменты и, и скомбинировать их. На более глубоком уровне, поскольку Tangle весь, так сказать, на базе CLI под капотом, каждый, каждый компонент — это обёрнутый, по сути, CLI, э-э, вызов и YAML-файл, он может анализировать код и создавать новые компоненты, и, и, э-э, продолжать итерировать тоже.

So, so you can, you can both have quick modifications of existing t- uh, pipelines with the, with components that are already there pre-baked, or you can create new components, uh, and-

Так что, так что ты можешь, ты можешь и иметь быстрые модификации существующих, э-э, пайплайнов с, с компонентами, которые уже там, заранее запечены, или ты можешь создавать новые компоненты, э-э, и —

[00:29:29] swyx: Yeah ...

[00:29:29] swyx: Да...

[00:29:29] Mikhail Parakhin: keep iterating on those. So auto research is, again, this is probably the, the thing I was excited the most in the last two months happening, and we see it taking like, like totally like a wildfire.

[00:29:29] Mikhail Parakhin: продолжать итерировать на них. Так что авто-ресёрч — это, опять же, это, наверное, та вещь, которой я был больше всего воодушевлён за последние два месяца, и мы видим, как это, типа, типа, прямо как лесной пожар.

Just, uh, everybody, every day, every... well, every day, every minute, I would, uh, have somebody Slack message saying, “Oh, look how much better I made it.” And, uh, it’s all throughout the research.

Просто, э-э, каждый, каждый день, каждую... ну, каждый день, каждую минуту, я бы, э-э, получаю от кого-нибудь сообщение в Slack: «О, смотри, насколько лучше я это сделал». И, э-э, это всё по ходу ресёрча.

[00:29:53] swyx: Is this democratized in some way in, in the sense that like is it your ML, uh, engineers and researchers doing this, or is it your regular PMs and software engineers also have the ability to auto-- to use Tangent?

[00:29:53] swyx: Это как-то демократизировано, в, в том смысле, что, типа, это твои ML-, э-э, инженеры и исследователи это делают, или твои обычные PM и софтверные инженеры тоже имеют возможность авто-, использовать Tangent?

[00:30:07] Mikhail Parakhin: This is an awesome question. Like, Tango in general and Tangent in particular are extremely democratizing. Like they- Yeah ... they are the main tools for- ‘Cause I don’t

[00:30:07] Mikhail Parakhin: Это потрясающий вопрос. Типа, Tangle в целом и Tangent в частности крайне демократизирующие. Типа, они — Да... они главные инструменты для — Потому что мне не нужны

[00:30:15] swyx: need the details.

[00:30:15] swyx: детали.

[00:30:16] Mikhail Parakhin: Yeah. Exactly. Initially used by ML and AI engineers, but then literally, as you said, PMs are like the highest user right now is one of PMs on our org, uh, Sartak and he was, he was number one by, by usage of, of this ‘cause they’re just, uh, energetic and knowledgeable, and now it, it unlocks a lot of capability where you don’t have to co-change code manually.

[00:30:16] Mikhail Parakhin: Да. Именно. Изначально использовались ML- и AI-инженерами, но потом буквально, как ты сказал, PM — типа, самый активный пользователь прямо сейчас один из PM в нашем подразделении, э-э, Сартак, и он был, он был номер один по, по использованию этого, потому что они просто, э-э, энергичны и знающи, и теперь это, это разблокирует кучу возможностей, где тебе не надо менять код вручную.

[00:30:39] swyx: I mean, I mean, because it kind of cuts out the ML, ML engineer from the process because the, the, the PMs have the domain knowledge and the ability to think about, uh, from first principles about, okay, what, what results do I want? And they can-- they even have the access to the data that, that needs to go in.

[00:30:39] swyx: В смысле, в смысле, потому что это как бы вырезает ML, ML-инженера из процесса, потому что у PM есть доменные знания и способность думать, э-э, от первых принципов о том, окей, какой, какой результат я хочу? И они могут — у них даже есть доступ к данным, которые, которые надо подать на вход.

So it’s like in some ways, like this is the magic black box that we’ve always wanted for, for training and, and for, uh, I guess, uh, uh, hill climbing, whatever.

Так что это, типа, в каком-то смысле, типа, это волшебный чёрный ящик, который мы всегда хотели для, для обучения и, и для, э-э, я думаю, э-э, э-э, восхождения на холм, как угодно.

[00:31:04] Mikhail Parakhin: It’s basically cloud code for your AI development- ... uh, situation, right? Like now, now you don’t have to know exactly how algorithms work. You can just, uh, bring your domain knowledge and expertise and product knowledge and iterate within Tangent until you’ve gotten the results that you need.

[00:31:04] Mikhail Parakhin: Это по сути Claude Code для твоей AI-разработки — ...э-э, ситуации, верно? Типа, теперь, теперь тебе не надо точно знать, как работают алгоритмы. Ты можешь просто, э-э, принести свои доменные знания, экспертизу и продуктовые знания и итерировать внутри Tangent, пока не получишь нужные тебе результаты.

[00:31:21] swyx: In my previous roles, every time that someone has pitched AutoML, you know, I’ve always been like, “Uh, this is not, this is not gonna work. It’s, you know, it’s, it’s always gonna be a flop.” Somehow it’s working now. I mean, presumably the answer is now we have LLMs and it’s good enough, right? It’s, it’s an emergent property that we can do auto research, but like, it doesn’t feel that satisfying that how come we didn’t do this before, right?

[00:31:21] swyx: В моих предыдущих ролях каждый раз, когда кто-то питчил AutoML, знаешь, я всегда был типа: «Э-э, это не, это не сработает. Это, знаешь, это всегда будет провал». Каким-то образом сейчас это работает. В смысле, предположительно ответ в том, что теперь у нас есть LLM, и они достаточно хороши, верно? Это, это эмерджентное свойство, что мы можем делать авто-ресёрч, но, типа, не очень-то удовлетворяет, как же так получилось, что мы не делали этого раньше, верно?

Like we just did like parameter search and like, I don’t know. That’s maybe that’s it.

Типа, мы просто делали, типа, поиск параметров и, типа, не знаю. Может, вот и всё.

[00:31:48] Mikhail Parakhin: Yeah. Bayesian optimization and hyperparameter optimization was, was the one that, or facet of AutoML that was used very actively, which incidentally also built into, uh, Tango. But, you know, I know Patrice Simard very well, and, uh, he was such a, uh, such a proponent of AutoML, and he put, like literally spent careers trying to democratize it.

[00:31:48] Mikhail Parakhin: Да. Байесовская оптимизация и оптимизация гиперпараметров была, была той, или той гранью AutoML, которая использовалась очень активно, что, кстати, тоже встроено в, э-э, Tangle. Но, знаешь, я очень хорошо знаю Patrice Simard, и, э-э, он был таким, э-э, таким сторонником AutoML, и он буквально потратил карьеру, пытаясь его демократизировать.

Without LLMs, it just turned out to be very hard. Like it, you, you would have flexibility within certain narrow domain, but it was hard to wider scale, and now with LLMs suddenly it’s like magic wand, and so suddenly everybody- ... is an AutoML expert.

Без LLM это просто оказалось очень сложно. Типа, ты, ты имел бы гибкость в определённой узкой области, но было сложно масштабировать шире, а теперь с LLM внезапно это как волшебная палочка, и вот внезапно все — ...эксперты по AutoML.

[00:32:28] swyx: Yeah, I, I think it’s multiple things, right? Like I’m, I’m just gonna bring up the, the, the chart again, right?

[00:32:28] swyx: Да, я, я думаю, это несколько вещей, верно? Типа, я, я просто снова выведу, тот, тот, тот график, верно?

Like LLMs can do the monitoring very well. That is the very potentially unbounded, super unstructured. It can do the analysis very well, it can do the... Uh, and basically it is much more intelligence poured into every single step. Uh, there’s maybe nothing structurally changed about AutoML, but this is just m-more intelligent and more unstructured.

Типа, LLM могут очень хорошо делать мониторинг. Это очень потенциально неограниченно, супер неструктурированно. Они могут очень хорошо делать анализ, они могут... Э-э, и по сути это гораздо больше интеллекта, влитого в каждый отдельный шаг. Э-э, может, структурно ничего не изменилось в AutoML, но это просто более интеллектуально и более неструктурированно.

[00:32:53] Mikhail Parakhin: Exactly.

[00:32:53] Mikhail Parakhin: Именно.

[00:32:54] swyx: Any flaws that you’ve run into? Like everyone is like drinking the Kool-Aid, oh my God, time savings, uh, you know, performance improvements. Like what, what, uh, issues have you have, uh, come up?

[00:32:54] swyx: Какие-нибудь изъяны, на которые ты наткнулся? Типа, все, типа, пьют этот Kool-Aid, о боже, экономия времени, э-э, знаешь, улучшения производительности. Типа, какие, какие, э-э, проблемы у тебя, э-э, всплыли?

[00:33:06] Mikhail Parakhin: This is really cool. It’s not a solution to all the world’s problems for sure. The limitations are usually the ones I-- And this is where we get into a bit of a subjective territory.

[00:33:06] Mikhail Parakhin: Это реально круто. Это точно не решение всех проблем мира. Ограничения обычно те, которые я — И тут мы заходим в немного субъективную территорию.

Uh, I can only share what I’ve, I’ve seen so far, and I’m sure the situation, uh, is changing, and, you know, maybe after I say it, like many people will reach out and say, “Hey, what about this?” And you don’t know that, and then, then we’ll be probably right. But what I’ve seen is auto research is very good at doing kind of obvious things that you don’t have bandwidth to do or you didn’t notice or maybe you’re not aware of like the-- some standard practices.

Э-э, я могу поделиться только тем, что я, я видел до сих пор, и я уверен, что ситуация, э-э, меняется, и, знаешь, может, после того как я это скажу, типа, много людей напишет и скажет: «Эй, а как насчёт этого?» И ты этого не знаешь, и тогда, тогда мы будем, наверное, правы. Но что я видел, так это что авто-ресёрч очень хорош в том, чтобы делать как бы очевидные вещи, на которые у тебя нет пропускной способности, или которые ты не заметил, или, может, ты не в курсе, типа — каких-то стандартных практик.

It is not good at doing something completely out of distribution, something that, you know, you have to think for, for multiple days, uh, and, and do something like none of this. So, so it’s, uh, I, uh, set an experiment once, uh, on, on my sort of, uh, hobby thing, and I let it run for, uh, ended up, uh, several weeks run, uh, you know, it’s like full production kind of scale, so it, you know, slow runs and, and it ex-- it performed in the end, uh, over four hundred experiments, and only one was successful.

Он не хорош в том, чтобы делать что-то совершенно вне распределения, что-то, над чем, знаешь, тебе надо думать несколько дней, э-э, и, и сделать что-то, чего никто из этого не. Так что, так что это, э-э, я, э-э, как-то поставил эксперимент, э-э, на, на моей, так сказать, э-э, хобби-штуке, и я дал ему поработать, э-э, в итоге, э-э, несколько недель прогон, э-э, знаешь, это типа полномасштабное продакшен-, так что, знаешь, медленные прогоны, и, и в итоге он выполнил, э-э, более четырёхсот экспериментов, и только один был успешным.

I’m like, “Okay, that’s, that’s good.” But-

Я такой: «Окей, это, это хорошо». Но —

[00:34:18] swyx: But it saved time.

[00:34:18] swyx: Но это сэкономило время.

[00:34:19] Mikhail Parakhin: Yeah, I saved time. Like it, it was the, that thing. Yeah, if I, if I were doing four hundred experiments myself, my betting average, as I said, would have been much higher, I’m sure. But also, first of all, it would take me like three years to do four hundred experiments.

[00:34:19] Mikhail Parakhin: Да, я сэкономил время. Типа, это, это была та штука. Да, если, если бы я делал четыреста экспериментов сам, моё среднее попадание, как я сказал, было бы гораздо выше, я уверен. Но также, прежде всего, у меня заняло бы, типа, три года, чтобы сделать четыреста экспериментов.

And, uh, I didn’t have to do them. Like the machines were just, uh, the price of electricity did that. So, and I got one improvement, uh, that in, uh, my, my-- Honestly, when I was starting that experiment, my thinking was to go and show that, “Hey, Andre, maybe you just don’t know how to optimize.” And I was super smart because in, in my pro-problem, it was optimized for many years, and it was like fully improved.

И, э-э, мне не пришлось их делать. Типа, машины просто, э-э, цена электричества это сделала. Так что, и я получил одно улучшение, э-э, которое в, э-э, моём, моём — честно, когда я начинал тот эксперимент, моя мысль была пойти и показать, что: «Эй, Андрей, может, ты просто не умеешь оптимизировать». И я был супер уверен в себе, потому что в, в моей проблеме оптимизировали много лет, и она была, типа, полностью улучшена.

Uh, and I didn’t expect it, you know, auto research to find anything at all. Yet it did. So instead of making fun of Andre, I ended up, uh, a big, big supporter. Yeah, that’s exactly the tweet. Yes.

Э-э, и я не ожидал, знаешь, что авто-ресёрч найдёт что-либо вообще. И всё же он нашёл. Так что вместо того чтобы насмехаться над Андреем, я в итоге, э-э, стал большим, большим сторонником. Да, это в точности тот твит. Да.

[00:35:10] swyx: You and Toby really, really go back and forth on-online a lot, which is really funny. Uh, think of it as, as an eval for the optimalness of the code it’s running on.

[00:35:10] swyx: Вы с Тоби реально много пикируетесь онлайн, что реально забавно. Э-э, думай об этом как о, как об эвале оптимальности кода, на котором он работает.

Uh, it’s almost like it reminds me of like a Kolmogorov complexity thing, but, uh, I guess it’s-- there’s some optimal thing that you’re trying to sort of reduce down to, I guess. Um, and so, so you, you, you know, you should congratulate yourself that you had, uh, you know, uh, ninety-nine percent, uh, optimality.

Э-э, это почти как, мне это напоминает, типа, штуку с колмогоровской сложностью, но, э-э, я думаю, это — есть некая оптимальная штука, к которой ты пытаешься, так сказать, свести. Эм, и так, так что ты, ты, знаешь, ты должен поздравить себя, что у тебя было, э-э, знаешь, э-э, девяносто девять процентов, э-э, оптимальности.

[00:35:36] Mikhail Parakhin: Exactly, yeah. I think Andre really deserves a lot of credit for popularizing this approach. This is, uh, this is incredibly, I think, powerful and cool and You know, the, uh, even him, him just mentioning it led to a lot of gains in a lot of places in the industry, so we should be thankful.

[00:35:36] Mikhail Parakhin: Именно, да. Я думаю, Андрей реально заслуживает много заслуг за популяризацию этого подхода. Это, э-э, это невероятно, я думаю, мощно и круто, и, знаешь, даже само его упоминание привело к большому числу выигрышей во многих местах в индустрии, так что мы должны быть благодарны.

[00:35:56] swyx: Yeah. I think he also has a just...

[00:35:56] swyx: Да. Я думаю, у него также есть просто...

I don’t know what it is. Like, um, you know, it, it is a simple self-contained project that people can take and apply to other things, which is, is, is one thing, but also just the name. Just like somehow no one, no one managed to call their thing auto research. It’s just naming things is very important. I think that that is mostly, uh, our coverage of Tango and, and, uh, Tangents.

Не знаю, что это. Типа, эм, знаешь, это, это простой самодостаточный проект, который люди могут взять и применить к другим вещам, что, что является одной штукой, но также просто само название. Просто как-то никто, никто не догадался назвать свою штуку авто-ресёрчем. Просто называть вещи очень важно. Я думаю, это в основном, э-э, наш обзор Tangle и, и, э-э, Tangent.

I think obviously, you know, there’s a lot of, uh, ML infra at, at Shopify that people can, uh, dive into. We’re about to go into SimGym, but before I do that, any, any other sort of broader comments around this whole effort? Like where is it, where is it leading to?

Я думаю, очевидно, знаешь, в Shopify много, э-э, ML-инфраструктуры, в которую люди могут, э-э, нырнуть. Мы вот-вот перейдём к SimGym, но прежде чем я это сделаю, какие-нибудь, какие-нибудь другие, так сказать, более широкие комментарии вокруг всего этого начинания? Типа, куда это, куда это ведёт?

[00:36:36] Mikhail Parakhin: As a segue to SimGym, like all those things start composing strongly.

[00:36:36] Mikhail Parakhin: Как переход к SimGym — типа, все эти вещи начинают сильно компоноваться.

And, uh, you could see a huge unlock when you can look at each one of the tools and, and you see, oh, they’re extremely useful. Uh, Tango is useful by itself. Auto Research is useful by itself. SimGym is useful by itself. If you combine all three, you create like synergetic effect. I think that’s why we wanted to even, uh, cover them today is because this is something that if you go back even, you know, five years ago, would’ve been unthinkable.

И, э-э, ты можешь увидеть огромный прорыв, когда ты можешь посмотреть на каждый из инструментов и, и видишь, о, они крайне полезны. Э-э, Tangle полезен сам по себе. Авто-ресёрч полезен сам по себе. SimGym полезен сам по себе. Если скомбинировать все три, ты создаёшь, типа, синергетический эффект. Я думаю, вот почему мы хотели даже, э-э, осветить их сегодня — потому что это нечто, что если вернуться даже, знаешь, на пять лет назад, было бы немыслимо.

Uh, replicating that, uh, would, would be either incredibly costly or impossible, right? With probably thousands of people are required.

Э-э, повторить это, э-э, было бы либо невероятно дорого, либо невозможно, верно? Наверное, требовались бы тысячи людей.

[00:37:20] swyx: Well, we have serverless human, uh, serverless intelligence, right? Like, uh, so yes, you do have thousands of hu-- of, of intelligences, not just, not humans. And that’s, that’s close enough, right?

[00:37:20] swyx: Ну, у нас есть бессерверный человек, э-э, бессерверный интеллект, верно? Типа, э-э, так что да, у тебя есть тысячи человек — э-э, интеллектов, не просто, не людей. И это, это достаточно близко, верно?

Even if they’re not AGI, they’re, they’re close enough to do the, the task that you need them to do. And, and, you know, that’s, there’s plenty for, for a lot of routine work, knowledge work. Okay, let’s get into SimGym. Um, this is one of those things I, I was surprised to see actually it’s apparently your, uh, one of your most popular launches, and I think something that, uh, I think Sim AI, I think Yunjun Park, who did the Smallville thing, there’s a very small cottage industry of people trying to do like the simulate customer thing.

Даже если они не AGI, они, они достаточно близки, чтобы делать, делать задачу, которая тебе от них нужна. И, и, знаешь, этого, этого достаточно для, для большого объёма рутинной работы, работы со знаниями. Окей, давай перейдём к SimGym. Эм, это одна из тех вещей, которую я, я был удивлён увидеть на самом деле — это, по-видимому, твой, э-э, один из самых популярных запусков, и я думаю, нечто, что, э-э, я думаю, Sim AI, я думаю, Yunjun Park, который сделал штуку Smallville, есть очень небольшая кустарная индустрия людей, пытающихся сделать, типа, эту штуку симуляции покупателя.

I think a lot of people maybe don’t super trust this yet because they’re like, well, obviously they would just do what you prompt them to do, right? But maybe just think, uh, tell us about the sort of inspiration or origin story.

Я думаю, многие люди, может, не супер доверяют этому пока, потому что они, типа, ну, очевидно, они просто сделают то, что ты им запромптишь, верно? Но, может, просто подумай, э-э, расскажи нам про, так сказать, вдохновение или историю происхождения.

[00:38:10] Mikhail Parakhin: That’s exactly actually the thing I wanted to cover, because if you don’t have the historical data, all you can do is prompt a-agents in a vacuum, and they will do exactly what you prompt them to do.

[00:38:10] Mikhail Parakhin: Это в точности на самом деле то, что я хотел осветить, потому что если у тебя нет исторических данных, всё, что ты можешь сделать, — это промптить агентов в вакууме, и они сделают в точности то, что ты им запромптишь.

In fact, when I first proposed it, and this is a bit of, um, my brainchild initially, if I, I can boast, even Toby said like, “But wouldn’t they, they just repeat what, what you tell them?” And, uh, but I’m like, “Yes, except Shopify has decades of history of how people made changes and what there is, uh, there, what it resulted in terms of sales.”

На самом деле, когда я впервые это предложил, и это немного, эм, моё детище изначально, если я, я могу похвастаться, даже Тоби сказал, типа: «Но разве они, они просто не повторят то, что ты им скажешь?» И, э-э, но я такой: «Да, кроме того что у Shopify десятилетия истории того, как люди вносили изменения и к чему это, э-э, привело в плане продаж».

So now what we can do is we can-- we have this... It’s not, it’s a noisy data. There’s a small, usually websites, uh, you know, like things, things are never in isolation. It’s almost never AB experiment. It’s always AA experiment when there’s has two meanings, but basically, you know, in different time you run two different things.

Так что теперь что мы можем сделать — мы можем — у нас есть эти... Это не, это шумные данные. Есть маленькие, обычно сайты, э-э, знаешь, типа, вещи, вещи никогда не бывают в изоляции. Это почти никогда не AB-эксперимент. Это всегда AA-эксперимент, где, есть два значения, но по сути, знаешь, в разное время ты запускаешь две разные вещи.

But if you aggregate in general, uh, like everything together, and you apply, uh, denoising and collaborative filtering like approach, you can extract a very clear signal. And then you can optimize your agents. And that’s why it took so long. It took almost a year of that optimization of just us sitting and fiddling, and, and we had this internal goals of correlation of hitting-- internal goal was to hit zero point seven correlation with, uh, add to cart events, for example.

Но если агрегировать в целом, э-э, типа всё вместе, и ты применяешь, э-э, шумоподавление и, типа, подход вроде коллаборативной фильтрации, ты можешь извлечь очень чёткий сигнал. И тогда ты можешь оптимизировать своих агентов. И вот почему это заняло так долго. Это заняло почти год той оптимизации, просто мы сидели и возились, и, и у нас была эта внутренняя цель корреляции — попасть в — внутренняя цель была попасть в корреляцию ноль точка семь с, э-э, событиями добавления в корзину, например.

Like that, that if we run real AB test experiment, that it should, it should go and, and rep-uh, replicate, uh, same sort of success that, that humans had or lack thereof. And it, it took forever, and I don’t think that’s easily replicatable because, uh, like who else would have that data? You have to have this historic, you know, decades, uh, worth of data.

Типа, что, что если мы запускаем реальный AB-тест-эксперимент, что это должно, должно пойти и, э-э, реплицировать, э-э, тот же, так сказать, успех, что, что был у людей, или его отсутствие. И это, это заняло вечность, и я не думаю, что это легко реплицируемо, потому что, э-э, у кого ещё были бы такие данные? Тебе надо иметь эти исторические, знаешь, десятилетия, э-э, данных.

And now, now the, like the other thing you need is in-infrastructure and the scale, right? Because, uh, w- again, what we found, uh, stat sig results, you need to run a lot of simulations, a lot of agents, and, and it’s-- Those are expensive things. Like you’re, you’re making actions in the browser because you want a real friction.

И теперь, теперь, типа, другая вещь, которая тебе нужна, — это инфраструктура и масштаб, верно? Потому что, э-э, опять же, что мы обнаружили — для стат-знач результатов тебе надо запустить много симуляций, много агентов, и, и это — это дорогие штуки. Типа ты, ты делаешь действия в браузере, потому что хочешь реального трения.

You want to, to be able to get the image like of what humans will see because you wanna, uh, detect effects like, “Hey, if I make my images larger, will I have more sales or l- uh, fewer sales?” And like usually people’s intuition here, by the way, is that I increase my images, I will have more because they look nicer.

Ты хочешь, чтобы быть способным получить изображение, типа того, что увидят люди, потому что ты хочешь, э-э, обнаружить эффекты типа: «Эй, если я сделаю свои изображения больше, у меня будет больше продаж или меньше?» И, типа, обычно интуиция людей здесь, кстати, такая, что я увеличу свои изображения, у меня будет больше, потому что они выглядят красивее.

You know, designers all look sparse and big images. Like usually your sales tank, right? But, but, uh, you know, from HTML, all the characters look the same only the, the size tag looks different, right? So it’s very hard. So you have to take visual information, you have to run this in simulated browser environment on the big farm and, and of course, you have to have, uh, like very, very expensive model, good model with multi-model model.

Знаешь, дизайнеры все любят разреженный вид и большие изображения. Типа обычно твои продажи проседают, верно? Но, но, э-э, знаешь, из HTML все символы выглядят одинаково, только тег размера выглядит иначе, верно? Так что это очень сложно. Так что тебе надо взять визуальную информацию, тебе надо запустить это в симулированном браузерном окружении на большой ферме и, и, конечно, тебе надо иметь, э-э, типа очень, очень дорогую модель, хорошую модель с мультимодальной моделью.

So all this it’s-- is what’s taken so long and, uh, to share my personal fail a little bit there, Sean, is like, you know, we always had this bias to-- for like large company bias. You know, we always, uh, whenever you-- we do, we’re like, “Hey, we’ll run an experiment,” right? We make, make a change, and we will run an experiment and then, uh, see, uh, see which one’s better or like, “No, this is worse,” and most of them are worse, so you discard it and keep iterating, hill climbing.

Так что всё это — это то, что заняло так долго, и, э-э, поделюсь немного своим личным провалом тут, Шон — типа, знаешь, у нас всегда был этот уклон к — типа, уклон большой компании. Знаешь, мы всегда, э-э, когда бы мы ни — мы, типа: «Эй, мы запустим эксперимент», верно? Мы делаем, делаем изменение, и мы запустим эксперимент, и потом, э-э, смотрим, э-э, какой лучше, или типа: «Нет, этот хуже», и большинство из них хуже, так что ты их отбрасываешь и продолжаешь итерировать, восходя на холм.

And we’re like, “Oh, like smaller merchants, they cannot get stat sig results. They cannot really run experiments simply because, you know, in a week there would be not enough data for them.” So we thought from this perspective. What we didn’t realize is that most people don’t have A and B, they just have one thing, and they need suggestions of What A and B should be.

И мы, типа: «О, типа, меньшие мерчанты, они не могут получить стат-знач результаты. Они не могут реально запускать эксперименты просто потому что, знаешь, за неделю для них было бы недостаточно данных». Так что мы думали с этой перспективы. Чего мы не осознавали — это что у большинства людей нет A и B, у них есть просто одна вещь, и им нужны предложения о том, какими A и B должны быть.

So, uh, we first build this, hey, we run simulation on two separate teams and, and, uh, say, “Hey, which one is better?” We then morphed it into, and very recently just released it, when you have just your site, your theme, we run over it and we say, “Hey, here’s what predicted values of, of, uh, uh, conversions are, and here’s how we think you should modify it to increase your conversions.”

Так что, э-э, мы сначала построили это, эй, мы запускаем симуляцию на двух отдельных командах и, и, э-э, говорим: «Эй, какая лучше?» Мы потом преобразовали это в — и совсем недавно просто выпустили — когда у тебя есть просто твой сайт, твоя тема, мы прогоняем по нему и говорим: «Эй, вот предсказанные значения, э-э, конверсий, и вот как мы думаем, тебе стоит это модифицировать, чтобы увеличить конверсии».

And then circling back to what you started with, the proof is in the pudding. Like, if we are not correlating with reality, like, people will not be using it. And, uh, thankfully, we see literally every day more users than the previous day. So, so right now, uh, right now- It’s working. Yeah. I’m-- Right now my problem is how to pay for it all because the so our major thing is how to optimize the LLMs, do distillation, how to run the headless browsers, uh, and handful browsers, uh, uh, cheaper so that we can accommodate the increase in traffic.

И потом, возвращаясь к тому, с чего ты начал — доказательство в пудинге. Типа, если мы не коррелируем с реальностью, типа, люди не будут это использовать. И, э-э, к счастью, мы видим буквально каждый день больше пользователей, чем в предыдущий день. Так что, так что прямо сейчас, э-э, прямо сейчас — Это работает. Да. Я — Прямо сейчас моя проблема — как за всё это платить, потому что наша главная вещь — как оптимизировать LLM, делать дистилляцию, как запускать headless-браузеры, э-э, и браузеры, э-э, э-э, дешевле, чтобы мы могли вместить рост трафика.

[00:42:47] swyx: Yeah. I, I understand that you, uh, you published a lot of technical detail at GTC, so I was just gonna bring it up a little bit. I think s- was this in, in con-conjunction with some kind of GTC presentation? Or something like that, right?

[00:42:47] swyx: Да. Я, я понимаю, что ты, э-э, ты опубликовал много технических деталей на GTC, так что я просто собирался немного это поднять. Я думаю, э-э, это было в сочетании с какой-то презентацией на GTC? Или чем-то таким, верно?

[00:42:59] Mikhail Parakhin: Well, we, yeah, we, we did it in several place, but yeah, we had the engineering- Yeah

[00:42:59] Mikhail Parakhin: Ну, мы, да, мы, мы делали это в нескольких местах, но да, у нас был инженерный — Да

blog, uh, as well. Yeah.

блог, э-э, тоже. Да.

[00:43:05] swyx: Yeah. So you’re running, uh, GPT OSS. Uh,

[00:43:05] swyx: Да. Так что вы запускаете, э-э, GPT OSS. Э-э,

[00:43:08] Mikhail Parakhin: the, this is an older version. You know, now we run multimodal model. But yeah- Yeah ... GPT OSS, we still run GPT OSS as well for

[00:43:08] Mikhail Parakhin: это, это более старая версия. Знаешь, теперь мы запускаем мультимодальную модель. Но да — Да... GPT OSS, мы всё ещё запускаем GPT OSS тоже для

[00:43:15] swyx: And then you have the VMs, and you also have browser-based. I really like this one where it you said, “It violates almost every assumption that standard LLM serving is designed for.”

[00:43:15] swyx: А потом у тебя есть VM, и у тебя также есть на базе браузера. Мне реально нравится вот это, где ты сказал: «Это нарушает почти каждое допущение, под которое спроектирован стандартный serving LLM».

And then you had like, basically orders of magnitude differences between everything.

И потом у тебя было, типа, по сути различия на порядки между всем.

[00:43:29] Mikhail Parakhin: Exactly. Which is, which, uh, which was, you know, a bit of a challenge to implement, like when, like even simple things. Uh, be- since it violates all the assumptions, for example, multi-instance GPUs, like MIGs don’t work as well.

[00:43:29] Mikhail Parakhin: Именно. Что, что, э-э, что было, знаешь, немного вызовом для реализации, типа когда, типа даже простые вещи. Э-э, поскольку это нарушает все допущения, например, multi-instance GPU, типа MIG, работают не так хорошо.

But we needed, uh, to get MIG to work because, ‘cause otherwise it’s way too expensive. And so we had to deal with the, yeah, with, uh, lots of infrastructure and, and, uh, work with, uh, uh, Fireworks and CentML, uh, you know, to help with optimizations and browser-based, as you mentioned. Yeah, like, takes a village.

Но нам надо было, э-э, заставить MIG работать, потому что, потому что иначе это слишком дорого. И так нам пришлось разбираться с, да, с, э-э, кучей инфраструктуры и, и, э-э, работать с, э-э, э-э, Fireworks и CentML, э-э, знаешь, чтобы помочь с оптимизациями и на базе браузера, как ты упомянул. Да, типа, нужна целая деревня.

[00:44:04] swyx: Okay. So there’s a lot of like, I guess, experimentation in the infrastructure so far, and you’ve published more or less what you have here. I guess I’m, I’m less familiar with CentML. I, I don’t do, uh, that much work in this, this part of the stack. But why was it the sort of preferred instance platform?

[00:44:04] swyx: Окей. Так что тут много, я думаю, экспериментации в инфраструктуре до сих пор, и ты опубликовал более-менее то, что у тебя тут есть. Я думаю, я, я менее знаком с CentML. Я, я не делаю, э-э, так уж много работы в этой, этой части стека. Но почему это была, так сказать, предпочтительная платформа инстансов?

[00:44:22] Mikhail Parakhin: There are really three probably top companies. There used to be, uh, uh- Three top companies, uh, at least I was aware of that did, uh, LM optimization. You know, together Fireworks and Santa ML, not necessarily in that order. Santa ML recently got acquired by NVIDIA. Uh, what they did is if you have a model and you want to optimize it to a specific prof-- uh, profile of usage, uh, they would go and do it.

[00:44:22] Mikhail Parakhin: Есть реально три, наверное, топовых компании. Раньше было, э-э, э-э — три топовых компании, э-э, по крайней мере я был в курсе, которые делали, э-э, оптимизацию LLM. Знаешь, Together, Fireworks и CentML, не обязательно в этом порядке. CentML недавно был куплен NVIDIA. Э-э, что они делали — если у тебя есть модель и ты хочешь оптимизировать её под конкретный про-, э-э, профиль использования, э-э, они шли и делали это.

And, uh, we work with, with those companies, uh, this was work particularly in with Santa ML and NVIDIA to get them the best possible results out of it. And, and sometimes you, you have to retune depending on, like sometimes you want the maximum throughput, sometimes you want minimal latency, sometimes you want like the cheapest, right?

И, э-э, мы работаем, с, с этими компаниями, э-э, эта работа в частности с CentML и NVIDIA, чтобы получить им наилучшие возможные результаты из этого. И, и иногда тебе, тебе приходится перенастраивать в зависимости от, типа иногда ты хочешь максимальную пропускную способность, иногда ты хочешь минимальную латентность, иногда ты хочешь, типа, самое дешёвое, верно?

And, yeah, or some combination. And so yeah, these are people who would come and help you.

И, да, или какую-то комбинацию. И так да, это люди, которые приходят и помогают тебе.

[00:45:14] swyx: I see. I see. Yeah, yeah. I’m familiar with these people for the LLM, you know, autoregressive stack. But the other interesting category of these optimizers is also the diffusion people, whereas like Fel and, you know, uh, Pruna recently has come up a lot as well, which I think is like really underappreciated, uh, at least by myself, because I, I thought, oh, all the workload would be LLMs, but actually there’s a lot of diffusion as well.

[00:45:14] swyx: Понятно. Понятно. Да, да. Я знаком с этими людьми по, знаешь, авторегрессионному стеку LLM. Но другая интересная категория этих оптимизаторов — это также люди, занимающиеся диффузией, типа Fal и, знаешь, э-э, Pruna недавно всплывает много тоже, что, я думаю, типа реально недооценено, э-э, по крайней мере мной, потому что я, я думал, о, вся нагрузка будет LLM, но на самом деле много и диффузии тоже.

[00:45:38] Mikhail Parakhin: Exactly.

[00:45:38] Mikhail Parakhin: Именно.

[00:45:38] swyx: There’s a lot here, so I, I, I... it’s, it’s, uh, it’s, it’s, it’s hard to cover. But I, I do think like people underappreciate the importance of customer simulation, basically. I think this is something that I’m candidly still getting to terms with. Uh, you know, uh, you also-- your team also like prepared this, like, really nice diagram.

[00:45:38] swyx: Тут много всего, так что я, я, я... это, это, э-э, это, это, это сложно осветить. Но я, я действительно думаю, что, типа, люди недооценивают важность симуляции покупателей, по сути. Я думаю, это нечто, с чем я, честно говоря, всё ещё свыкаюсь. Э-э, знаешь, э-э, ты также — твоя команда также, типа, подготовила эту, типа, реально классную диаграмму.

Uh, I, I assume this is AI generated.

Э-э, я, я предполагаю, это сгенерировано AI.

[00:46:00] Mikhail Parakhin: Yeah, it looks-

[00:46:00] Mikhail Parakhin: Да, это выглядит —

[00:46:01] swyx: Maybe it’s not.

[00:46:01] swyx: Может, и нет.

[00:46:01] Mikhail Parakhin: Yeah, it looks, uh, Gemini-ish. Yeah, but, uh, uh, honestly, I, I don’t know where, where the hell they generated. It looks, look, uh, looks like it’s, uh, Google. But the interesting part, John, that, that, uh, we haven’t covered, but I, I wanted to mention is if your store had previous customers, rather than it’s a new store, you’re like new merchant just launching things, it helps tremendously in just correlation and forecast.

[00:46:01] Mikhail Parakhin: Да, выглядит, э-э, в стиле Gemini. Да, но, э-э, э-э, честно, я, я не знаю, где, где, чёрт возьми, они это сгенерировали. Выглядит, смотри, э-э, выглядит, будто это, э-э, Google. Но интересная часть, Джон, которую, которую, э-э, мы не осветили, но которую я, я хотел упомянуть — это что если у твоего магазина были предыдущие покупатели, в отличие от того, что это новый магазин, ты типа новый мерчант, только запускающий вещи, это помогает колоссально просто в корреляции и прогнозе.

Yeah, we take your previous, uh, customer’s behavior, and we create agents that replicate those specific distribution of, of customers that you get, and then we a- we apply those to your changes, and then that, that raised raw, you know, the re-- uh, just correlation with the add to cart events or to-- with conversion or whatever it, it, it may be, uh, quite dramatically.

Да, мы берём твоё предыдущее, э-э, поведение покупателей, и мы создаём агентов, которые реплицируют то конкретное распределение, э-э, покупателей, которое ты получаешь, и потом мы при- мы применяем их к твоим изменениям, и потом это, это повышает сырую, знаешь, прямо — э-э, просто корреляцию с событиями добавления в корзину или с — с конверсией или чем бы это ни было, э-э, довольно кардинально.

So, uh, replicating humans in general seems like an interesting, cool challenge.

Так что, э-э, репликация людей в целом кажется интересным, классным вызовом.

[00:46:58] swyx: As a shareholder, I think this is the-- like if people are Shopify shareholders, they should really deeply understand this because this is basically the moat. The, the more you use Shopify, the more it will just automatically improve, right?

[00:46:58] swyx: Как акционер, я думаю, это — типа, если люди акционеры Shopify, им стоит реально глубоко понять это, потому что это по сути ров. Чем, чем больше ты используешь Shopify, тем больше он будет просто автоматически улучшаться, верно?

Like you’re, you’re doing the job for them.

Типа ты, ты делаешь работу за них.

[00:47:13] Mikhail Parakhin: Yeah, that’s what we started with. Like, uh- ... uh, otherwise, if you’re just a startup, I wouldn’t do it if, uh, you know, if it was my startup because Without the data, it, yeah, as, as you said, it’s, it’s exactly the case that, uh, whatever you say in prompt, that’s, that’s what the agents will be doing.

[00:47:13] Mikhail Parakhin: Да, это то, с чего мы начали. Типа, э-э — э-э, иначе, если ты просто стартап, я бы не делал это, если, э-э, знаешь, если бы это был мой стартап, потому что без данных это, да, как, как ты сказал, это в точности тот случай, что, э-э, что бы ты ни сказал в промпте, это, это то, что агенты будут делать.

[00:47:30] swyx: The statistician in me wants to like really satisfy the sort of, um, statistical intuition, I guess. Um, to me it’s kind of, uh, the, the word that comes to mind is, um, ergodicity. Uh, so let’s say a, a customer takes this path, customer takes this path, customer takes this path, right? Um, the... In my mind, the way I explain it is like, okay, here, here’s the ninety-five percentile, here’s the five percentile, and here’s the median, right?

[00:47:30] swyx: Статистику во мне хочется, типа, реально удовлетворить, так сказать, эм, статистическую интуицию, наверное. Эм, для меня это что-то вроде, э-э, слово, которое приходит на ум, это, эм, эргодичность. Э-э, так что, скажем, покупатель идёт этим путём, покупатель идёт этим путём, покупатель идёт этим путём, верно? Эм, в... В моём понимании, способ, которым я это объясняю, такой: окей, вот, вот девяносто пятый процентиль, вот пятый процентиль, и вот медиана, верно?

Um, but to me, what SimGym is potentially doing is that it can, uh, modify... It can sort of model the sort of in-between sort of journeys as well, that, that maybe are dependent on the previous states. This may be like a very RL-type conclusion where like basically the summary statistics, if you only did naive AB testing, you only have the, the statistics at, at, at a certain point, and you only judge based on the sort of overall summary statistics.

Эм, но для меня то, что SimGym потенциально делает — это что он может, э-э, модифицировать... Он может, так сказать, моделировать, так сказать, промежуточные, так сказать, путешествия тоже, которые, которые, может, зависят от предыдущих состояний. Это, может быть, типа очень RL-типа вывод, где, типа, по сути сводные статистики — если ты делал только наивное AB-тестирование, у тебя есть только, статистики в, в, в определённой точке, и ты судишь только на основе, так сказать, общих сводных статистик.

But here you can actually model trajectories. Does that make sense? Or-

Но здесь ты можешь на самом деле моделировать траектории. Это имеет смысл? Или —

[00:48:31] Mikhail Parakhin: That makes total sense because like, well, that, that makes even more sense that maybe even you realize bec- because-

[00:48:31] Mikhail Parakhin: Это имеет полный смысл, потому что, типа, ну, это, это имеет даже больше смысла, чем, может, ты даже осознаёшь, потому что —

[00:48:38] swyx: Okay. Please,

[00:48:38] swyx: Окей. Прошу,

[00:48:38] Mikhail Parakhin: please. Yes ... we do-- Yeah. The, so internally, uh, we have this system, we talked about it briefly once at NeurIPS.

[00:48:38] Mikhail Parakhin: прошу. Да... мы делаем — Да. Так, внутренне, э-э, у нас есть эта система, мы говорили о ней вкратце однажды на NeurIPS.

We have a huge HSTU-based system that models the whole companies, uh, and their possible paths. And like- Yeah ... what you are, what you are showing, like actually at any point of time, you can either model the user’s behavior or you mo- can also think about, uh, the whole merchant as a company, as the entity that acts in the world.

У нас есть огромная система на базе HSTU, которая моделирует целые компании, э-э, и их возможные пути. И типа — Да... то, что ты, что ты показываешь, типа, на самом деле в любой момент времени ты можешь либо моделировать поведение пользователя, либо ты можешь также думать о, э-э, целом мерчанте как о компании, как о сущности, которая действует в мире.

You can model that as well. And then you can do, can do counterfactuals. In your graph, like in your blue graph, uh, if you’re... Imagine in the center there, uh, somewhere in the middle, you would have an intervention. I give that person a coupon, or I don’t know, I send a personal thank you card, or give a discount in some- somewhere.

Ты можешь моделировать и это. И тогда ты можешь делать, можешь делать контрфактики. На твоём графике, типа на твоём синем графике, э-э, если ты — представь, в центре там, э-э, где-то в середине, у тебя была бы интервенция. Я даю этому человеку купон, или, не знаю, я посылаю личную благодарственную открытку, или даю скидку где-то — где-то.

And then you can, uh, then you can do forward rollouts from that counterfactual. So what would have happened with that intervention or without the intervention? And you can even ch- change where that intervention, uh, in time can happen, right? Like some- where, where in this journey. So we, we do this at the Shopify scale for our merchants, and then if we notice that something that they can be fixing, like there’s a strong counterfactual, like we have Shopify policy, they basically get a notification like, “Hey, we think your...

И тогда ты можешь, э-э, тогда ты можешь делать прямые роллауты из того контрфактика. Так что что бы произошло с той интервенцией или без интервенции? И ты можешь даже из- менять, где та интервенция, э-э, во времени может произойти, верно? Типа где-то — где, где в этом путешествии. Так что мы, мы делаем это на масштабе Shopify для наших мерчантов, и потом, если мы замечаем, что что-то они могут исправлять, типа есть сильный контрфактик, типа у нас есть политика Shopify, они по сути получают уведомление типа: «Эй, мы думаем, что у твоего...

something is wrong with your-” I don’t know, Canadian sales. Like, uh, it looks like it’s misconfigured. Here’s what you need to do. Or do you think like, uh, you have to set up this campaign with these parameters? And we do that at the buyer level to literally offer discounts or cashback or, or things to buyers.

что-то не так с твоими — » не знаю, канадскими продажами. Типа, э-э, похоже, что это неправильно сконфигурировано. Вот что тебе надо сделать. Или, как думаешь, типа, э-э, тебе надо настроить эту кампанию с этими параметрами? И мы делаем это на уровне покупателя, чтобы буквально предлагать скидки или кэшбэк, или вещи покупателям.

So this is-- I’m getting very excited. Like this is my sort of area of, uh, interest, I guess, and, and hobby. But being able to m-model something complex as human beings or companies and model counterfactuals on it, where you can have interventions in the future and optimize when to make intervention, what kind inter-- uh, what kind of intervention to make.

Так что это — я очень воодушевляюсь. Типа, это моя, так сказать, область, э-э, интереса, наверное, и, и хобби. Но способность м-моделировать что-то сложное, как человеческие существа или компании, и моделировать контрфактики на этом, где у тебя могут быть интервенции в будущем, и оптимизировать, когда делать интервенцию, какого рода интер- э-э, какого рода интервенцию делать.

It’s such an unlock that previously was completely impossible. Like the-- it was, it was always dreamed of, but never... Like how would you even simulate it without LLMs or HTUs? I think very, very exciting times.

Это такой прорыв, который раньше был совершенно невозможен. Типа это — это было, это было всегда мечтой, но никогда... Типа как бы ты вообще это симулировал без LLM или HSTU? Я думаю, очень, очень захватывающие времена.

[00:50:59] swyx: I just wanted to, uh, to maybe illustrate this. I, I’m not the best illustrator, but I, I am a conceptual statistics guy.

[00:50:59] swyx: Я просто хотел, э-э, может, проиллюстрировать это. Я, я не лучший иллюстратор, но я, я концептуальный статистик-парень.

And y-you know, you cannot just do this. Like this is a dimensionality AB test doesn’t do, right? Like, uh, because it doesn’t have the, the, the change over time, uh, stochastic nature, uh, and it doesn’t have the sort of contextual like... Here’s all the context to this point. Um, okay, cool. Um, that’s SimGym.

И, знаешь, ты не можешь просто сделать это. Типа это размерность, которую AB-тест не делает, верно? Типа, э-э, потому что у него нет, изменения во времени, э-э, стохастической природы, э-э, и у него нет, так сказать, контекстуальной, типа... Вот весь контекст до этой точки. Эм, окей, круто. Эм, это SimGym.

You’re, you’re gonna burn a lot of tokens on this thing. But you’re, you’re one of the, the only scale platforms in the world that can, uh, that can do this across a huge variety of workloads, right? I’m even curious on a sort of human, uh, research level of like, well, do, does retail behave d-differently from like clothing sales?

Ты, ты собираешься сжечь много токенов на этой штуке. Но ты, ты одна из, единственных масштабных платформ в мире, которая может, э-э, которая может делать это по огромному разнообразию нагрузок, верно? Мне даже любопытно на, так сказать, человеческом, э-э, исследовательском уровне, типа, ну, ведёт ли себя ритейл иначе, чем, типа, продажи одежды?

D-does that behave differently from electronic sales? I, I don’t know. I don’t know what else you guys... The Kardashian shoppers, do they differ from like people who buy, uh, I don’t know, cars and, uh, whatever.

Ведёт ли это себя иначе, чем продажи электроники? Я, я не знаю. Я не знаю, что ещё вы, ребята... Покупатели в стиле Кардашьян, отличаются ли они от, типа, людей, которые покупают, э-э, не знаю, машины и, э-э, что угодно.

[00:51:55] Mikhail Parakhin: Well, very different, and different sensitivities and different modes of, uh, shopping and, and different levels of what’s important.

[00:51:55] Mikhail Parakhin: Ну, очень по-разному, и разные чувствительности, и разные режимы, э-э, шопинга, и, и разные уровни того, что важно.

Now, to-totally, you can do aggregations at, uh, at a store level. You can do aggregations at a different, uh, category level. I don’t know if, uh, you know, for our statisticians among us, I couldn’t believe, but we-- recently we’re looking at it, and we had to bring back, uh, CRPs, you know, Chinese restaurant process.

Так вот, тотально, ты можешь делать агрегации на, э-э, уровне магазина. Ты можешь делать агрегации на разном, э-э, уровне категорий. Не знаю, э-э, знаешь, для наших статистиков среди нас, я не мог поверить, но мы — недавно мы смотрели на это, и нам пришлось вернуть, э-э, CRP, знаешь, китайский ресторанный процесс.

It’s a, like, way of aggregating and, like, naturally grow clustering. So across... Specifically to answer questions that, uh, like you were just posing on how, how if, if buyers behave different categories. And I’m like, “I haven’t seen CRP since two thousand and one.” It’s

Это, типа, способ агрегирования и, типа, естественного роста кластеризации. Так что по... Конкретно чтобы ответить на вопросы, которые, э-э, типа ты только что ставил, о том, как, как если, если покупатели ведут себя в разных категориях. И я такой: «Я не видел CRP с две тысячи первого». Это

[00:52:37] swyx: so What? It’s so- What is... No, I haven’t, I haven’t seen this.

[00:52:37] swyx: настолько — Что? Это настолько — Что такое... Нет, я не видел, я не видел этого.

No. This is not in my training. Uh,

Нет. Этого нет в моём обучении. Э-э,

[00:52:44] Mikhail Parakhin: but, but yeah, it, uh, uh, it actually, like the, the-- there was a very popular kind of theory, popular neurips HTML circles in early two thousands, uh, kind of nice. And now, now it has practical applications, uh- Yeah ... that we were resurrecting.

[00:52:44] Mikhail Parakhin: но, но да, это, э-э, э-э, на самом деле, типа, это — была очень популярная, типа, теория, популярная в кругах NeurIPS в ранних двухтысячных, э-э, типа, приятная. И теперь, теперь у неё есть практические применения, э-э — Да... которые мы воскрешали.

[00:53:03] swyx: Yeah, amazing. Uh, I, I can see, I can see how this is like a, uh, a fun job for you where you get to apply all these things.

[00:53:03] swyx: Да, потрясающе. Э-э, я, я вижу, я вижу, как это, типа, э-э, весёлая работа для тебя, где ты можешь применять все эти вещи.

Um, yeah, yeah, so super cool. Super cool. So, okay, so, so anyone who, who knows what CRPs are and has always wanted to use them at work, uh, they should, they should definitely join Shopify. Okay, so w-we have a lot and but I, I’m, I’m being mindful of the time. I, I do wanted to, to sort of cover some other things.

Эм, да, да, так что супер круто. Супер круто. Так, окей, так, так любой, кто, кто знает, что такое CRP, и всегда хотел использовать их на работе, э-э, они, им стоит, им стоит точно присоединиться к Shopify. Окей, так у нас много, но я, я, я слежу за временем. Я, я действительно хотел, так сказать, осветить кое-что ещё.

Um, I-I’ll give you a choice, UCP or Liquid?

Эм, я дам тебе выбор: UCP или Liquid?

[00:53:30] Mikhail Parakhin: Liquid. I think, I think on UCP, you know, like UCP is very important for us and, and it just we are-- UCP, we have a structured, uh, discussions, and you can read about them, and we have, uh, blog posts, and we have a big release this week, in fact, like with our catalog.

[00:53:30] Mikhail Parakhin: Liquid. Я думаю, я думаю, по UCP, знаешь, типа, UCP очень важен для нас, и, и это просто мы — UCP, у нас есть структурированные, э-э, обсуждения, и ты можешь прочитать о них, и у нас есть, э-э, блог-посты, и у нас на самом деле большой релиз на этой неделе, типа с нашим каталогом.

Oh,

О,

[00:53:46] swyx: okay.

[00:53:46] swyx: окей.

[00:53:46] Mikhail Parakhin: Uh, yeah,

[00:53:46] Mikhail Parakhin: Э-э, да,

[00:53:46] swyx: but- Le-I mean, we, we can, we can discuss the, the, the release briefly because we’ll release this after the-- after it’s already announced so whatever. There’s a catalog that you guys are doing?

[00:53:46] swyx: но — Я-в смысле, мы, мы можем, мы можем обсудить, так сказать, релиз вкратце, потому что мы выпустим это после того — после того как он уже анонсирован, так что неважно. Есть каталог, который вы, ребята, делаете?

[00:53:55] Mikhail Parakhin: Yeah. So we are, we are- Okay ... we are bringing in capabilities of a whole, uh, Shopify catalog.

[00:53:55] Mikhail Parakhin: Да. Так что мы, мы — Окей... мы привносим возможности целого, э-э, каталога Shopify.

Basically, you now you can search for products, you can do lookups by specific ID, you can do bulk lookups when you need to bring m-multiple products. You don’t need to know in ad-in advance what you’re trying to show or to sell or check out. Like, you can now, you can now have this decided at, at runtime, and this big area for investment for us for both non-personalized and personalized searches, trying to provide basically a win-window into whole universe of products that are being sold everywhere in the world.

По сути, теперь ты можешь искать товары, ты можешь делать поиск по конкретному ID, ты можешь делать массовые запросы, когда тебе надо привести несколько товаров. Тебе не надо знать заранее, что ты пытаешься показать, или продать, или оформить. Типа, ты можешь теперь, ты можешь теперь иметь это решённым в рантайме, и это большая область для инвестиций для нас и для неперсонализированного, и для персонализированного поиска, пытаясь предоставить по сути окно во всю вселенную товаров, которые продаются везде в мире.

And Shopify is really not exactly, but almost like a super set of any-anything being sold. Now we are bringing it into UCP and, uh, and, uh, identity linking is another big thing for us, uh, so that you, you can use, uh, like Google or whatever, whatever identity you have, uh, they’re minimizing friction.

И Shopify реально не совсем, но почти как надмножество всего, что продаётся. Теперь мы привносим это в UCP и, э-э, и, э-э, связывание идентичности — другая большая вещь для нас, э-э, чтобы ты, ты мог использовать, э-э, типа Google или какую угодно, какую угодно идентичность у тебя есть, э-э, минимизируя трение.

[00:54:56] swyx: Yeah. So

[00:54:56] swyx: Да. Так что

[00:54:57] Mikhail Parakhin: yeah, big release for us.

[00:54:57] Mikhail Parakhin: да, большой релиз для нас.

But Liquid AI of course we never talk about, and the problem might be more, more aligned with what we d-discussed previously on this chat.

Но Liquid AI, о котором мы, конечно, никогда не говорим, и проблема, может, больше, больше согласуется с тем, что мы обсуждали ранее в этом разговоре.

[00:55:07] swyx: Sure. The main thing that everyone understands about Liquid is that it is inspired by Worm, and I still don’t know why. I’m curious on your explanation. I think you, you, uh, you can make things very approachable.

[00:55:07] swyx: Конечно. Главное, что все понимают про Liquid, — это что он вдохновлён Worm, и я всё ещё не знаю почему. Мне любопытно твоё объяснение. Я думаю, ты, ты, э-э, ты можешь делать вещи очень доступными.

And also I think like what is the potential of like the, the level of efficiency that you get out of Liquid?

И ещё я думаю, типа, каков потенциал, типа, уровня эффективности, который ты получаешь из Liquid?

[00:55:23] Mikhail Parakhin: You- we all familiar with transformer architectures. And, uh, for the longest time, there was a competing architecture, it’s called the state space models. So, so Sams, uh, you know, Chris, Chris Reyes, one of the pioneers and, and lots of startups, uh, trying to make those realities.

[00:55:23] Mikhail Parakhin: Ты — мы все знакомы с архитектурами трансформеров. И, э-э, долгое время была конкурирующая архитектура, она называется state space models. Так, так, SSM, э-э, знаешь, Chris, Chris Re, один из пионеров, и, и куча стартапов, э-э, пытающихся сделать их реальностью.

They have, uh, significant benefits being main being, uh, being much faster and, uh, lower footprint and not quadratic in length, you know, sort of, uh, linear in, in, uh, in your context length. But with state space models- They never quite made it. Like they’re used-- They have, uh, certain niches when they thrive, their hybrid architectures are useful, but they never quite made it.

У них есть, э-э, значительные преимущества: главное — то, что они, э-э, гораздо быстрее и, э-э, меньше по объёму и не квадратичны по длине, знаешь, так сказать, э-э, линейны по, по, э-э, по длине твоего контекста. Но с state space models — Они так и не пробились до конца. Типа, они используются — у них есть, э-э, определённые ниши, где они процветают, их гибридные архитектуры полезны, но они так и не пробились до конца.

And liquid neural networks are, you can think of them as a next step, like, uh, sort of, uh, state-space model square. It’s non-transformer architecture that’s more complicated than sta-state space and really difficult to code if you-- if I’m being honest. But it’s, um, very efficient. It’s, uh, subline-- sub, uh, quadratic in, in length of your context.

И liquid neural networks — это, можно думать о них как о следующем шаге, типа, э-э, так сказать, э-э, state-space model в квадрате. Это не-трансформерная архитектура, которая сложнее, чем state-space, и реально трудна для кодинга, если — если честно. Но это, эм, очень эффективно. Это, э-э, субли- суб, э-э, квадратично по, по длине твоего контекста.

Uh, it’s very compact way to represent things, and that’s a liquid AI company. They... Their goal is to productize it, and very often you have this need, uh, when you need to have long context and small model, and you want to have low latency. Like in general, it’s basically on par with transformers, and if you do hybrids with transformers, it’s, it’s even better.

Э-э, это очень компактный способ представления вещей, и это компания Liquid AI. Они... Их цель — продуктизировать это, и очень часто у тебя есть эта потребность, э-э, когда тебе нужен длинный контекст и маленькая модель, и ты хочешь иметь низкую латентность. Типа в целом это по сути на уровне трансформеров, и если делать гибриды с трансформерами, это, это даже лучше.

That’s why we at Shopify, when we tried multiple and we constantly try multiple models, multiple companies, we found that for small, particularly with low latency applications, when you have low latency and/or if you need longer context lengths, liquid was the best. And so we still use the whole zoo and always like obviously test and use everything, uh, every open source model and, you know, it feels like sometimes even every private model.

Вот почему мы в Shopify, когда мы пробовали несколько, и мы постоянно пробуем несколько моделей, несколько компаний, мы обнаружили, что для маленьких, особенно с низколатентными приложениями, когда у тебя низкая латентность и/или если тебе нужны более длинные контексты, Liquid был лучшим. И так мы всё ещё используем целый зоопарк и всегда, типа, очевидно, тестируем и используем всё, э-э, каждую опенсорсную модель и, знаешь, ощущается, что иногда даже каждую приватную модель.

Uh, but liquid’s been taking quite a bit of, uh, at least internal Shopify share. And the reason I’m excited is, yeah, because it’s, it’s the only non-transformer architecture that I found being genuinely competitive. Uh, and, uh, you know, for we use it for search and for, for long context, uh, pulse distilling and others.

Э-э, но Liquid забирает довольно приличную, э-э, по крайней мере внутреннюю долю Shopify. И причина, почему я воодушевлён, — да, потому что это, это единственная не-трансформерная архитектура, которую я нашёл по-настоящему конкурентоспособной. Э-э, и, э-э, знаешь, мы используем её для поиска и для, для длинного контекста, э-э, дистилляции Pulse и других.

This is the overview. I don’t know how approachable Sha, sorry. Maybe, maybe still too obtuse.

Это обзор. Не знаю, насколько доступно, Ша, прости. Может, может, всё ещё слишком туманно.

[00:57:51] swyx: I, I mean, I think they haven’t been that open about their implementation details. I think the... I would say like liquid hasn’t been like if there’s a lot of technical detail published, I haven’t read like a, a formal sort of paper on the implementation details.

[00:57:51] swyx: Я, я в смысле, я думаю, они не были так уж открыты насчёт деталей реализации. Я думаю... Я бы сказал, типа, Liquid не был, типа, если есть много опубликованных технических деталей, я их не читал, типа, формальной, так сказать, статьи о деталях реализации.

Uh, but I, I did get the sort of relationship between the SSMs and the others. This is one of the sort of, uh, charts that was, you know, showing the relationship between like full attention versus Something that’s, uh, more like a RNN type in terms of their, their efficiency. Um, and then the, the other chart was this old one, uh, where it compares versus, uh, some of the other models.

Э-э, но я, я действительно уловил, так сказать, связь между SSM и остальными. Это один из, так сказать, э-э, графиков, который, знаешь, показывал связь между, типа, полным вниманием против чего-то, что, э-э, больше типа RNN, в плане их, их эффективности. Эм, и потом, тот, другой график был этот старый, э-э, где он сравнивает против, э-э, некоторых других моделей.

Uh, doesn’t exactly have the correct Y-axis, but close enough where you can see like it’s basically a, a step change difference in terms of the efficiency. I think the surprise to me was that you guys are, uh, actively using it already in internally inside of Shopify. And like I, I’m curious, like what are the constraints that you’re optimizing for, right?

Э-э, не совсем имеет правильную ось Y, но достаточно близко, где можно увидеть, типа, это по сути, скачкообразная разница в плане эффективности. Я думаю, сюрприз для меня был в том, что вы, ребята, э-э, активно используете это уже внутри Shopify. И типа, я, мне любопытно, типа, какие ограничения ты оптимизируешь, верно?

Is it when you say smaller, is it like the 1B size? Uh, what kind of like latency constraint are you, are you optimizing for? What kind of context length, um, sort of considerations, right? Like I think for example, right, like in the audio kind, kind of use cases, the SSMs ef-effectively have unbounded context length because they, they just have to operate on like the most, the sliding window of the most recent stuff.

Это когда ты говоришь меньше — это, типа, размер 1B? Э-э, какого рода, типа, ограничение по латентности ты, ты оптимизируешь? Какой длины контекст, эм, так сказать, соображения, верно? Типа я думаю, например, верно, типа, в, в аудио-типа, типа кейсах использования, SSM по сути имеют неограниченную длину контекста, потому что они, они просто должны оперировать на, типа, самом, скользящем окне самого недавнего.

Uh, I’m just kinda curious, like w-what do you see the potential here?

Э-э, мне просто как-то любопытно, типа, к-какой потенциал ты тут видишь?

[00:59:13] Mikhail Parakhin: Yeah. The SSMs are effectively because, yeah, because the state embeds all the, all the previous information needed, or that’s the assumption. SSMs effectively have infinite context length. The, the problem with, uh, with them is that expressiveness is not there.

[00:59:13] Mikhail Parakhin: Да. SSM по сути потому что, да, потому что состояние встраивает всю, всю нужную предыдущую информацию, или это допущение. SSM по сути имеют бесконечную длину контекста. Э-э, проблема с, э-э, ними в том, что выразительности там нет.

The, uh, uh, Liquids are effectively souped up SSMs. We are much more expressive, m-uh, com-more complicated again to code. There is, there is a paper on it. You can, you can see it. Differential equation rolled out and, and then computed as a, uh, as really as a convolution. It’s a bit involved. The thing where we, we use it is specifically either for where we need super low latency, and we’re-- there was a lot of very fun project with, uh, Santa ML and Liquid AI themselves.

Э-э, э-э, Liquid — это по сути прокачанные SSM. Мы гораздо более выразительны, м-, э-э, сложнее опять же для кодинга. Есть, есть статья об этом. Ты можешь, можешь её посмотреть. Дифференциальное уравнение, развёрнутое и, и потом вычисленное как, э-э, реально как свёртка. Это немного запутанно. То, где мы, мы используем это, — конкретно либо для где нам нужна сверхнизкая латентность, и мы — был очень весёлый проект с, э-э, CentML и самой Liquid AI.

We run it at, uh, thirty milliseconds, a, a tiny model, like three hundred million parameters in, but we run it in thirty milliseconds, uh, end to end for search when you, when you type a query, and then we produce all the possible things what you, what you can mean by that query and some, you know, uh, not only synonyms, but, but, uh, a que-kind of full query understanding the, the whole tree of what you might need and including your personal personalization because you might have done like previous queries and lowering it all down into the search server so that the requirements on latency obviously they are very, uh, very strict.

Мы запускаем это за, э-э, тридцать миллисекунд, крошечная модель, типа триста миллионов параметров, но мы запускаем её за тридцать миллисекунд, э-э, от и до, для поиска, когда ты, когда ты вводишь запрос, и потом мы производим все возможные вещи, что ты, что ты можешь иметь в виду под этим запросом, и какие-то, знаешь, э-э, не только синонимы, но, но, э-э, типа полное понимание запроса, всё, всё дерево того, что тебе может быть нужно, включая твою персональную персонализацию, потому что ты, может, делал, типа, предыдущие запросы, и опуская всё это в поисковый сервер, так что требования к латентности, очевидно, они очень, э-э, очень строгие.

So, so then we are able to run it under thirty milliseconds because, ‘cause at Liquid, you know, Qwen doesn’t run on this. And even Liquid, we had to work a lot with NVIDIA and to... because almost everything is not designed in CUDA for or in, in the current stack for, for low latency. Like small things that don’t matter with large models, you know, start mattering a lot, and we had to optimize it.

Так что, так что тогда мы способны запускать это менее чем за тридцать миллисекунд, потому что, потому что у Liquid, знаешь, Qwen на этом не запускается. И даже Liquid, нам пришлось много работать с NVIDIA и чтобы... потому что почти всё не спроектировано в CUDA для или в, в текущем стеке для, для низкой латентности. Типа маленькие вещи, которые не имеют значения с большими моделями, знаешь, начинают иметь огромное значение, и нам пришлось это оптимизировать.

There is different end of the spectrum where this is maximum through, uh, bandwidth throughput for things like, for example, offline categorization when A new product appears. We need to do analysis. We need to assign where it is in taxonomy. We need to extract and normalize attributes. We need to do, uh, you know, clusters like, oh, it’s the same thing as that other merchant is selling, right?

Есть другой конец спектра, где это максимальная пропуск-, э-э, пропускная способность для вещей типа, например, офлайн-категоризации, когда появляется новый товар. Нам надо сделать анализ. Нам надо назначить, где он в таксономии. Нам надо извлечь и нормализовать атрибуты. Нам надо сделать, э-э, знаешь, кластеры типа, о, это та же вещь, что продаёт другой мерчант, верно?

That is like un-- like almost unbounded, uh, amount of energy you need to spend on it because it’s, uh, you know, it’s quadratic kind of, uh, problem, and we have billions and billions of products. So you don’t care about latency as much. You know, it’s kind of an overnight batch job, but you, you want to maximum throughput.

Это типа не- типа почти неограниченное, э-э, количество энергии, которое тебе надо потратить на это, потому что это, э-э, знаешь, это квадратичная как бы, э-э, проблема, и у нас миллиарды и миллиарды товаров. Так что тебя не так уж волнует латентность. Знаешь, это типа ночной batch-джоб, но ты, ты хочешь максимальную пропускную способность.

And you usually in those cases, you also sometimes like for, uh, Sidekick Pulse, you also need long context. These are... We are talking models in maybe seven, eight billion, uh, parameter range, uh, where we would, we would take a large model, like we would take something huge, largest we can, we can find. We would distill into liquid for a specific task, such as, for example, for our catalog, uh, formulation or for, for Pulse.

И обычно в тех случаях ты также иногда, типа для, э-э, Sidekick Pulse, тебе также нужен длинный контекст. Это... Мы говорим о моделях, может, в диапазоне семь, восемь миллиардов, э-э, параметров, э-э, где мы бы, мы бы взяли большую модель, типа мы бы взяли что-то огромное, самое большое, что мы можем, можем найти. Мы бы дистиллировали в Liquid под конкретную задачу, такую как, например, для нашего каталога, э-э, формулировки или для, для Pulse.

And then we run it at a very large scale, like in batch jobs. Because just running... And, and it beats in that situation beat very often beats, uh, Qwen or, yeah, Kimi is more on the reasoning side. So Qwen, Qwen I would say is probably their major alternative. That’s when we use it. I mean, not a, not a panacea, not, not really, uh, I wouldn’t say that it’s frontier model in the sense of it’s not gonna suddenly compete with, uh, GPT 5.4.

И потом мы запускаем это на очень большом масштабе, типа в batch-джобах. Потому что просто запуск... И, и она в той ситуации обходит очень часто обходит, э-э, Qwen или, да, Kimi больше на стороне рассуждений. Так что Qwen, Qwen я бы сказал, наверное, их главная альтернатива. Вот когда мы используем это. В смысле, не, не панацея, не, не реально, э-э, я бы не сказал, что это фронтирная модель в смысле, что она не собирается внезапно конкурировать с, э-э, GPT 5.4.

Uh, but, but, uh, uh, it is a phenomenal target for distillation, which is right now becoming more and more important with, uh, explosion of token usage.

Э-э, но, но, э-э, э-э, это феноменальная цель для дистилляции, что прямо сейчас становится всё более и более важным с, э-э, взрывом использования токенов.

[01:03:00] swyx: Is that a, a now only thing or do you think you give Liquid a hundred billion dollars and they will do... Is it, is it just more scale or like what, what is limiting it?

[01:03:00] swyx: Это, это штука только на сейчас, или ты думаешь, что дашь Liquid сто миллиардов долларов, и они сделают... Это, это просто больше масштаба, или, типа, что это ограничивает?

You know, what prevents it from running into the same issues that SSMs had?

Знаешь, что мешает ей нарваться на те же проблемы, что были у SSM?

[01:03:14] Mikhail Parakhin: Their scale is already much larger than the largest SSM I, I’m aware of. Uh, uh- Wow, okay. So yeah. So, uh, SSM was just, was just not expressive enough or in my opinion. Like, um, again, I’m sure I’ve-- I’ll get a lot of pushback and probably accurately so.

[01:03:14] Mikhail Parakhin: Их масштаб уже гораздо больше, чем у самого большого SSM, о котором я, я в курсе. Э-э, э-э — Вау, окей. Так что да. Так что, э-э, SSM был просто, был просто недостаточно выразителен, по моему мнению. Типа, эм, опять же, я уверен, я — я получу много пушбэка и, наверное, заслуженно.

But in my opinion, SSMs are not expressive enough and, uh, liquid models are. I think, uh, especially in their hybrid form when with combined with the transformer, like in Mamba fashion, they probably the best architecture I’m aware of like period. But of course, Liquid AI is not at the scale of, uh, you know, Anthropic or, or Google or OpenAI in terms of compute.

Но, по моему мнению, SSM недостаточно выразительны, а, э-э, liquid-модели — да. Я думаю, э-э, особенно в их гибридной форме, когда скомбинированы с трансформером, типа, в стиле Mamba, они, наверное, лучшая архитектура, о которой я в курсе, типа, вообще. Но, конечно, Liquid AI не на масштабе, э-э, знаешь, Anthropic, или, или Google, или OpenAI в плане вычислений.

So I don’t think, uh, they... I think if, if they, uh, if they had similar level of compute, they, they would be very competitive and maybe even beat the, uh, the largest models, at least from what I’ve seen. They don’t have, uh, this level of, uh, investment But they still have decent investment and, and it’s, uh, it’s, uh, definitely for this scenario of smaller models and distilling into their second to none very often.

Так что я не думаю, э-э, они... Я думаю, если, если бы они, э-э, если бы у них был похожий уровень вычислений, они, они были бы очень конкурентоспособны и, может, даже обошли бы, э-э, самые большие модели, по крайней мере из того, что я видел. У них нет, э-э, такого уровня, э-э, инвестиций, но у них всё же приличные инвестиции, и, и это, э-э, это, э-э, определённо для этого сценария меньших моделей и дистилляции в них — второе ни после кого очень часто.

We are very omnivorous, and we’re on purely merit-based. So the moment they will start being competitive, we’re like, we will switch to something else, and we constantly test. But, but so far, if you see progression, if I draw a graph of our workloads on Liquid versus our workloads on, I would say Qwen, which is another awesome model and probably, uh, another kind of standard within Shopfy, I would say, uh, Liquid’s been definitely taking share

Мы очень всеядны, и мы исходим чисто из заслуг. Так что в момент, когда они начнут быть конкурентоспособными, мы такие, мы переключимся на что-то ещё, и мы постоянно тестируем. Но, но пока что, если ты посмотришь на прогрессию, если я нарисую график наших нагрузок на Liquid против наших нагрузок на, я бы сказал, Qwen, который ещё одна потрясающая модель и, наверное, э-э, другой стандарт внутри Shopify, я бы сказал, я бы сказал, э-э, Liquid определённо забирает долю.

[01:04:48] swyx: I think that’s very promising and probably the best explanation I’ve heard, uh, directly from, from someone involved in Liquid.

[01:04:48] swyx: Я думаю, это очень многообещающе и, наверное, лучшее объяснение, которое я слышал, э-э, напрямую от, от кого-то причастного к Liquid.

Um, I, I do have Maxime Lebon coming to, uh, my conference in London, uh, this week, so I, um, we’ll- Oh, that’s great ... hear more from him. I-- ‘cause, uh, there was this, like Liquid, uh, investor day or something like a, a year or, or a year and a half ago, and I, I think there just wasn’t that much technical detail that I think was, was sort of speaking to my crowd of like potential customers and users, right?

Эм, я, у меня Maxime Lebon приезжает на, э-э, мою конференцию в Лондоне, э-э, на этой неделе, так что я, эм, мы — О, это здорово... услышим больше от него. Я — потому что, э-э, был этот, типа, Liquid, э-э, инвесторский день или что-то типа, э-э, год или, или полтора года назад, и я, я думаю, там просто не было так уж много технических деталей, которые, я думаю, были, обращались к моей аудитории, типа, потенциальных клиентов и пользователей, верно?

Which like, yeah, it’s fine. Like, you know, maybe, maybe, uh, there, uh, we, we still need to wait for more results that come out, uh, before, before this. But I think it would be news to a lot of people that you guys are actually actively already using it for high-frequency use cases. I also wanted to highlight Psychic Pulse, which, uh, we didn’t cover, and we probably don’t have time to cover, but it’s something that you also launched, uh, recently.

Что, типа, да, это нормально. Типа, знаешь, может, может, э-э, там, э-э, нам, нам всё ещё надо подождать больше результатов, которые выйдут, э-э, прежде, прежде чем это. Но я думаю, это было бы новостью для многих людей, что вы, ребята, на самом деле активно уже используете это для высокочастотных кейсов использования. Я также хотел подсветить Sidekick Pulse, который, э-э, мы не осветили, и у нас, наверное, нет времени осветить, но это нечто, что ты также запустил, э-э, недавно.

Basically REXIS, um, but also something that like I’ve-- the, the other REXIS trend I’ve been c- I’ve been covering a lot, uh, from like the YouTube side, even xAI’s, uh, REXIS has been LLM-based REXIS, right? Uh, which I think you are also effectively using liquid models for, but they are just throwing transformers at, at the problem.

По сути RecSys, эм, но также нечто, что, типа, я — другой тренд RecSys, который я, я освещал много, э-э, типа со стороны YouTube, даже RecSys у xAI, э-э, был RecSys на базе LLM, верно? Э-э, который, я думаю, ты тоже по сути используешь liquid-модели для, но они просто бросают трансформеры на, на проблему.

And maybe this is, uh, eh, the sort of hybrid architecture shift that will happen in order to accommodate the kind of long context and, and lo- and high efficiency that, that you need. I don’t really have a strong opinion there, like apart from I would highlight to anyone the, the, the work that the LLM base-- LLM-based REXIS community is doing is, is also very interesting there.

И, может, это, э-э, э, так сказать, гибридный архитектурный сдвиг, который произойдёт, чтобы вместить такого рода длинный контекст и, и ни- и высокую эффективность, которая, которая тебе нужна. У меня реально нет сильного мнения там, типа, кроме того, что я бы подсветил любому, ту, ту, работу, которую делает сообщество RecSys на базе LLM, она, она тоже очень интересна там.

[01:06:22] Mikhail Parakhin: Yeah. The-- again, the thing to get you excited is that it’s not just LLMs looking at things, it’s also HSTU model doing that counterfactual analysis- Yeah ... where we model the whole, uh, enterprise as an entity and, and its actions and then see what, what will, what will happen.

[01:06:22] Mikhail Parakhin: Да. То — опять же, штука, чтобы тебя воодушевить, — это что это не просто LLM, смотрящие на вещи, это также HSTU-модель, делающая тот контрфактический анализ — Да... где мы моделируем целое, э-э, предприятие как сущность и, и его действия, и потом смотрим, что, что будет, что будет происходить.

[01:06:39] swyx: Overall, I think it, it pre-- this all presents like, uh, an enormous like...

[01:06:39] swyx: В целом, я думаю, это, это пред- это всё представляет, типа, э-э, огромное, типа...

I think, uh, you know, uh, there, there was not that deep of a AI story to Shopify when it started. Uh, it was just a WordPress plugin, right? But now, you know, you are the sh- the, the storefronts, uh, e-commerce, you know, uh, guardians to s- like so many, so many people, and you’re, you’re really like applying all the AI, uh, methods and the state-of-the-art stuff.

Я думаю, э-э, знаешь, э-э, не было такой уж глубокой AI-истории у Shopify, когда он начинался. Э-э, это был просто плагин для WordPress, верно? Но теперь, знаешь, вы — sh- те, те storefront’ы, э-э, e-commerce, знаешь, э-э, хранители для, типа, столь многих, столь многих людей, и вы, вы реально, типа, применяете весь AI, э-э, методы и самые передовые штуки.

Uh, so like I, I think, you know, our conversation like today has like really, uh, oh, I guess opened my eyes to a lot. So thank you for doing this. Uh, this is a really amazing, um, overview of, uh, what you’re doing.

Э-э, так что, типа, я, я думаю, знаешь, наш разговор, типа, сегодня, типа, реально, э-э, о, я думаю, открыл мне глаза на многое. Так что спасибо, что делаешь это. Э-э, это реально потрясающий, эм, обзор того, э-э, что ты делаешь.

[01:07:15] Mikhail Parakhin: Okay. Thank you for saying that, Shawn, and, uh, thank you for having me. Of course, it’s always a pleasure to talk to people who, you know, deeply technical and know what they’re talking about.

[01:07:15] Mikhail Parakhin: Окей. Спасибо, что говоришь это, Шон, и, э-э, спасибо, что пригласил меня. Конечно, всегда удовольствие поговорить с людьми, которые, знаешь, глубоко технические и знают, о чём говорят.

[01:07:25] swyx: Yeah. I mean, uh, very few people are as technical as you but at least I can, I, I can like somewhat fo-- uh, vaguely follow along. Yeah. So, so, okay, um, there, there is a hi- there’s a hiring call, uh, you know, uh, any, any particular roles that you’re looking for that you’re like, “Okay, if you know the-- how to solve, um, this problem, uh, reach out”?

[01:07:25] swyx: Да. В смысле, э-э, очень мало людей настолько технические, как ты, но хотя бы я могу, я, я могу типа как-то сле- э-э, смутно следить. Да. Так что, так, окей, эм, есть, есть наб- есть призыв к найму, э-э, знаешь, э-э, какие-нибудь, какие-нибудь конкретные роли, которые ты ищешь, про которые ты типа: «Окей, если ты знаешь, как решить, эм, эту проблему, э-э, свяжись»?

[01:07:45] Mikhail Parakhin: Yeah. Uh, the, the things I would definitely call out that if you’re an ML person or if you’re data science person and, uh, uh, we, we, we have huge need for more, more people munching data, so to speak. Or surprisingly, if you’re a distributed database person and, uh, uh, you know, we, we think that there is a way to use LLMs to reimagine how we do distributed databases, and we’re working a lot with Yugabyte there.

[01:07:45] Mikhail Parakhin: Да. Э-э, вещи, которые я бы точно выделил — это что если ты ML-человек или если ты человек data science, и, э-э, э-э, мы, мы, у нас огромная потребность в большем, большем числе людей, перемалывающих данные, так сказать. Или, удивительно, если ты человек по распределённым базам данных, и, э-э, э-э, знаешь, мы, мы думаем, что есть способ использовать LLM, чтобы переосмыслить, как мы делаем распределённые базы данных, и мы много работаем с Yugabyte там.

And so if you’re-- have interest in those areas, we’ve-- like ShortFi might be the best place in the world for you. That’s pretty good place for other, you know, other disciplines as well.

И так если ты — имеешь интерес в этих областях, мы — типа Shopify может быть лучшим местом в мире для тебя. Это довольно хорошее место и для других, знаешь, других дисциплин тоже.

[01:08:24] swyx: Cool. Um, I think that that was all the questions I had. I said I, I have one sort of a bonus thing if you, if you wanna indulge in, uh, some Bing history.

[01:08:24] swyx: Круто. Эм, я думаю, это были все вопросы, которые у меня были. Я сказал, у меня есть одна, так сказать, бонусная штука, если ты, если ты хочешь предаться, э-э, какой-то истории Bing.

What is your, uh, I guess, takeaways or any, any fun anecdotes about Sydney?

Какие твои, э-э, я думаю, выводы или какие-нибудь, какие-нибудь весёлые анекдоты про Sydney?

[01:08:38] Mikhail Parakhin: Any fun anecdotes about Sydney? Well-

[01:08:38] Mikhail Parakhin: Какие-нибудь весёлые анекдоты про Sydney? Ну —

[01:08:41] swyx: Yeah, it was a very interesting, you know-- I, I think it, like, woke up people to, like, this personality that, that, that it w-- emerged.

[01:08:41] swyx: Да, это было очень интересно, знаешь — я, я думаю, это, типа, разбудило людей к, типа, этой личности, которая, которая, которая в- эмерджентно возникла.

[01:08:48] Mikhail Parakhin: The, the funny thing, like, I mean, the, the most interesting anecdote is that Sydney was first shipped, uh, in India for, uh-- and, uh, it was, uh, not noticed for a long time.

[01:08:48] Mikhail Parakhin: Забавная вещь, типа, в смысле, самый интересный анекдот — это что Sydney был сначала зашипан, э-э, в Индии для, э-э — и, э-э, это было, э-э, не замечено долгое время.

And first implementation of Sydney didn’t even have OpenAI model under it. It was, it was, uh, Turing Megatron, um, Microsoft, uh, and NVIDIA collaboration model. Uh, and there were, uh, yeah, exactly. That’s, that’s the, that’s the one people thought it was a prank, uh, because it was, like, not many people were familiar with the LLMs at, at that point yet, and thought like, “That cannot be automatic.

И первая реализация Sydney даже не имела модели OpenAI под собой. Это была, это была, э-э, Turing Megatron, эм, Microsoft, э-э, и совместная модель NVIDIA. Э-э, и были, э-э, да, именно. Это, это та, та штука, которую люди думали, что это пранк, э-э, потому что это было, типа, не многие люди были знакомы с LLM в, в тот момент ещё, и думали типа: «Это не может быть автоматическим.

You, you must have, uh, you know, people thinking.” And then even they were complaining that, “Oh, the-- my-- this, this chatbot is gaslighting me.” And then, then people like what, what almost everybody doesn’t fully realize is that it wasn’t by accident that, uh, Sydney was Sydney. I mean, we spent a lot, a lot of effort on personality shaping.

Ты, у тебя, э-э, знаешь, люди, должно быть, думают». И потом даже они жаловались, что: «О, этот — мой — этот, этот чат-бот газлайтит меня». И потом, потом люди, типа, что, что почти все не до конца осознают — это что не было случайностью, что, э-э, Sydney был Sydney. В смысле, мы потратили много, много усилий на формирование личности.

Uh, we-- I mean, it, it was a bit of my Yandex legacy, where previously we did this Alice, uh, uh, digital assistant, uh, which we learned the- Chatbot, yeah ... yeah. We, we learned the importance of, uh, personality shaping, and so here we brought, did a lot of personality shaping. Uh, so it was not fully an emerging scenario.

Э-э, мы — в смысле, это, это было немного моим наследием Yandex, где раньше мы делали эту Алису, э-э, э-э, цифрового ассистента, э-э, на которой мы научились — Чат-бот, да... да. Мы, мы научились важности, э-э, формирования личности, и так здесь мы принесли, сделали много формирования личности. Э-э, так что это не было полностью эмерджентным сценарием.

It was, it was also a little bit edgy. What, what we learned in, in those experiments is you want to be polite, but you want to be a little bit on edge, and that draws people in. I haven’t seen, ever since the, uh, kind of those days, I haven’t seen anybody trying exactly that mode. I think we will see, we will see more of this at some point, but, uh, yeah.

Это было, это было также немного дерзко. То, чему мы научились в, в тех экспериментах, — это что ты хочешь быть вежливым, но ты хочешь быть немного на грани, и это притягивает людей. Я не видел, с тех, э-э, типа тех дней, я не видел, чтобы кто-нибудь пробовал в точности тот режим. Я думаю, мы увидим, мы увидим больше этого в какой-то момент, но, э-э, да.

A lot, lots of good memories, you know. And by the way, the very first Sydney dev lead Is, uh, uh, Andrew McNamara is working in ShopFind, uh, and the head of Sidekick and, and our-- and the Pulse- Oh. And lots of these are actually, yeah, in his pur-purview.

Много, куча хороших воспоминаний, знаешь. И кстати, самый первый dev lead Sydney — это, э-э, э-э, Andrew McNamara работает в Shopify, э-э, и глава Sidekick и, и наш — и Pulse — О. И куча всего этого на самом деле, да, в его ве-ведении.

[01:10:53] swyx: Oh, okay. Uh, I-- That, that’s another fun fact. You’re, you’re- Yeah

[01:10:53] swyx: О, окей. Э-э, я — это, это ещё один весёлый факт. Ты, ты — Да

assembling the team again. Yeah. Yeah, it’s cool. Like, I think a lot of, uh, people woke up to the, the idea of AI personality for the first time there. And, like, I think now with maybe OpenClaw, like explicitly prompting a, a fun personality, I think that, that is a real selling point for, for people, right? And then I, I guess maybe the only other time that it’s like really emerged into public consciousness is Go to Gate Clawed.

снова собираешь команду. Да. Да, это круто. Типа, я думаю, много, э-э, людей впервые проснулись к, к идее личности AI там. И, типа, я думаю, теперь, может, с OpenClaw, типа, явно промптящим, типа, весёлую личность, я думаю, что, что это реальное преимущество для, для людей, верно? И потом я, я думаю, может, единственный другой раз, когда это, типа, реально вышло в общественное сознание, — это Go to Gate Claude.

But yeah, I think, uh, you know, hopefully someday we’ll get Shopify Sydney.

Но да, я думаю, э-э, знаешь, надеюсь когда-нибудь мы получим Shopify Sydney.

[01:11:23] Mikhail Parakhin: Well, we have Sidekick. It’s a- Yeah ... it’s a different, different thing a little bit. Yeah.

[01:11:23] Mikhail Parakhin: Ну, у нас есть Sidekick. Это — Да... это другая, немного другая штука. Да.

[01:11:28] swyx: Yeah. Si-Sidekick was like your, your original big launch for, for AI stuff. Uh, yeah, cool. Uh, amazing. Uh, thank you so much. You guys do amazing work.

[01:11:28] swyx: Да. Si-Sidekick был типа твой, твой изначальный большой запуск для, для AI-штук. Э-э, да, круто. Э-э, потрясающе. Э-э, спасибо большое. Вы, ребята, делаете потрясающую работу.

Uh, honestly, if I was a Shopify customer, Shopify investor, um, hearing all the work that you guys are doing o-on this technical side, it, like, m-makes me feel more confident in like, okay, just choose Shopify, right? Like, like you’re never gonna do this in-house, which is obviously what you want. But like, uh, yeah, I mean, like, that-that’s, that’s what an ideal platform is, like, that you’re doing all the things that no individual could do at their scale, but you can at your scale.

Э-э, честно, если бы я был клиентом Shopify, инвестором Shopify, эм, слыша всю работу, которую вы, ребята, делаете на этой технической стороне, это, типа, з-заставляет меня чувствовать себя более уверенно, типа, окей, просто выбирай Shopify, верно? Типа, типа, ты никогда не будешь делать это внутри, что, очевидно, и есть то, чего ты хочешь. Но, типа, э-э, да, в смысле, типа, это — это и есть то, чем является идеальная платформа, типа, что ты делаешь все те вещи, которые ни один отдельный человек не мог бы сделать на их масштабе, но ты можешь на твоём масштабе.

Uh, very exciting problems.

Э-э, очень захватывающие проблемы.

[01:12:01] Mikhail Parakhin: Exactly. Exactly. Yeah. And creating network effect and hard to disagree. If you’re not using Shopify, you should.

[01:12:01] Mikhail Parakhin: Именно. Именно. Да. И создавая сетевой эффект, и сложно не согласиться. Если ты не используешь Shopify, тебе стоит.

[01:12:09] swyx: Yeah, amazing. Okay, well, that’s it. Thank you so much.

[01:12:09] swyx: Да, потрясающе. Окей, ну, вот и всё. Спасибо большое.

Discussion about this episode

Обсуждение этого эпизода