Shopify’s AI Phase Transition: 2026 Usage Explosion, Unlimited Opus-4.6 Token Budget, Tangle, Tangent, SimGym — with Mikhail Parakhin, Shopify CTO
Михаил Парахин, CTO Shopify (ранее CEO бизнес-юнита Microsoft, включавшего Windows, Edge, Bing и рекламу), рассказывает swyx из Latent Space о том, как 20-летняя компания стоимостью $200 млрд полностью переходит на AI. Внутреннее распространение AI-инструментов в Shopify приближается к 100%, а в декабре 2025-го произошёл «фазовый переход»: модели стали достаточно хорошими, использование взлетело, и компания финансирует неограниченные токены, прося не использовать ничего слабее Opus 4.6. Парахин утверждает, что Дженсен Хуанг прав по поводу токен-бюджетов лишь «по направлению»: настоящий выигрыш — не больше агентов параллельно, а сильные циклы критики и трата токенов на ревью, а не на генерацию, поскольку реальным узким местом стали PR-ревью, CI/CD и стабильность деплоя. Он разбирает три ключевые инициативы — Tangle (воспроизводимый движок ML/данных с кэшированием по контенту), Tangent (авто-ресёрч-петля для оптимизации) и SimGym (симуляция покупателей на основе десятилетий исторических данных Shopify, что и составляет ров компании). Также обсуждаются UCP и каталог, использование не-трансформерной архитектуры Liquid AI для низколатентного поиска и дистилляции, моделирование траекторий через HSTU и контрфактический анализ, и опыт работы над «эрой Sydney» в Bing, где личность чат-бота формировалась намеренно.
Фазовый переход Shopify к AI: взрывной рост использования в 2026-м, неограниченный токен-бюджет на Opus-4.6, Tangle, Tangent, SimGym — с Михаилом Парахиным, CTO Shopify
Скидки для ранних пташек на World’s Fair в Сан-Франциско, крупнейшее мероприятие AIE в этом году, заканчиваются сегодня — цены вырастут примерно на $500 уже сегодня вечером, так что, пожалуйста, успейте зафиксировать цену как можно скорее!
От почти повсеместного внедрения AI-инструментов внутри Shopify до внутренних систем для ML-экспериментов, авто-ресёрча, симуляции покупателей и сверхнизколатентного поиска — Михаил Парахин присоединяется к нам, чтобы детально разобрать, как на самом деле выглядит ситуация, когда 20-летняя софтверная компания стоимостью $200 млрд полностью делает ставку на AI. Мы обсуждаем, почему Shopify стала гораздо более открыто говорить о своём внутреннем стеке, что изменилось после декабрьского перелома в качестве моделей, и почему реальное узкое место в AI-кодинге больше не генерация, а ревью, CI/CD и стабильность деплоя.
Мы также заглядываем внутрь Tangle, Tangent, SimGym, — это три крупные AI-инициативы Shopify, призванные сделать эксперименты воспроизводимыми, оптимизацию автоматической, поведение покупателей симулируемым, а поиск и интеллект каталога — быстрее и дешевле в масштабе. По ходу Михаил объясняет UCP, Liquid AI, и почему токен-бюджеты верны по направлению, но часто измеряются плохо, почему написанный AI код всё равно может увеличивать число багов в продакшене, что делает симуляцию покупателей Shopify защищаемой, и чему он научился в эпоху Sydney в Bing.
Мы обсуждаем:
Путь Михаила от руководства крупным бизнес-юнитом Microsoft, охватывавшим Windows, Edge, Bing и рекламу, до должности CTO ShopifyПочему Shopify сейчас публично говорит об AI больше и почему пребывание на передовой стало для компании необходимостьюКривая внутреннего внедрения AI в Shopify, декабрьский перелом и почему инструменты в стиле CLI растут быстрее традиционных инструментов на базе IDEПочему Дженсен Хуанг прав по направлению насчёт токен-бюджетов, но сырое число токенов всё ещё неверный способ оценивать инженерный результатПочему настоящий прорыв — не больше агентов параллельно, а лучшие циклы критики, более сильные модели и трата большего количества средств на ревью, чем на генерациюПочему AI-кодинг всё равно может приводить к большему числу багов в продакшене, даже если модели в среднем пишут более чистый код, чем людиПочему Shopify построила собственный процесс ревью PR и почему Михаил считает, что большинство готовых инструментов ревью бьют мимо целиКак объём PR, провалы тестов и откаты деплоя становятся реальными узкими местами в эпоху агентовПочему Git, pull request’ы и CI/CD могут потребовать новой метафоры, когда код пишется со скоростью машиныЧто такое Tangle и как Shopify использует его, чтобы делать ML- и data-воркфлоу воспроизводимыми, совместными и готовыми к продакшену с самого началаЧем Tangle отличается от Airflow и почему кэширование с адресацией по контенту создаёт сетевые эффекты между командамиЧто такое Tangent и как Shopify использует авто-ресёрч-петли для оптимизации поиска, тем, сжатия промптов, хранилища и многого другогоПочему Tangent становится демократизирующим инструментом для PM и доменных экспертов, а не только для ML-инженеровПочему AutoML наконец-то ощущается реальным в эпоху LLM и где авто-ресёрч сегодня всё ещё не дотягиваетПочему Tangle, Tangent и SimGym становятся гораздо мощнее, когда объединены в одну системуЧто такое SimGym, почему симулированные покупатели работают только при наличии реального исторического поведения и почему данные Shopify дают ей ровКак SimGym эволюционировал от сравнения A/B-вариантов до подсказок мерчантам, что изменить на одном живом storefront, чтобы поднять конверсиюПочему симуляция покупателей так дорога — от мультимодальных моделей до браузерных ферм и затрат на serving и дистилляциюКак Shopify моделирует траектории мерчантов и покупателей, прогоняет контрфактики и думает об интервенциях вроде скидок, кампаний и уведомленийПочему поведение на уровне категорий так сильно различается в коммерции и почему идеи вроде китайского ресторанного процесса снова появляются на практикеНовая работа Shopify над UCP и каталогом, включая поиск товаров в рантайме, массовые запросы и связывание идентичностиПочему Shopify использует Liquid AI и почему Михаил считает её первой по-настоящему конкурентоспособной не-трансформерной архитектурой, которую он применял на практикеГде Liquid уже работает внутри Shopify сегодня — от низколатентного понимания запросов до крупномасштабных нагрузок каталога и Sidekick PulseСможет ли Liquid стать моделью фронтирного масштаба при достаточных вычислениях и почему Shopify остаётся прагматичной и опирается на заслуги при выборе моделиКого Shopify нанимает прямо сейчас в области ML, data science и распределённых базах данныхИстория Sydney в Bing, почему её личность не была случайностью и чему Михаил научился, целенаправленно формируя характер AI на раннем этапе
Михаил Парахин
Тайм-коды
00:00:00 Введение: Михаил Парахин, Microsoft и Shopify
00:01:16 Почему Shopify говорит об AI больше
00:02:29 Внутреннее внедрение AI в Shopify и декабрьский перелом
00:06:54 Токен-бюджеты, Дженсен Хуанг и почему метрики использования могут вводить в заблуждение
00:10:55 Почему Shopify построила собственную систему AI-ревью PR
00:12:38 AI-кодинг, больше багов и реальное узкое место деплоя
00:14:11 Почему Git, PR и CI/CD, возможно, придётся изменить ради агентов
00:18:24 Tangle: воспроизводимый движок ML- и data-воркфлоу от Shopify
00:21:19 Чем Tangle отличается от Airflow
00:26:14 Tangent: авто-ресёрч для оптимизации и экспериментов
00:30:07 Как Tangent демократизирует эксперименты за пределами ML-инженеров
00:33:06 Пределы авто-ресёрча
00:36:36 Почему Tangle, Tangent и SimGym усиливают друг друга
00:37:20 SimGym: симуляция покупателей на исторических данных Shopify
00:42:47 Инфраструктура за SimGym
00:46:00 Почему SimGym становится лучше с реальной историей покупателей
00:47:30 Контрфактики, HSTU и моделирование траекторий мерчантов
00:51:55 CRP, кластеризация и поведение покупателей на уровне категорий
00:53:30 UCP, каталог Shopify и связывание идентичности
00:55:07 Liquid AI: почему Shopify использует не-трансформерные модели
00:59:13 Реальные кейсы использования Liquid в Shopify
01:03:00 Может ли Liquid вырасти во фронтирную модель?
01:09:49 Найм в Shopify: ML, data science и базы данных
01:10:43 Sydney в Bing: формирование личности и характер AI
01:13:32 Заключительные мысли
Транскрипт
[00:00:00] swyx: Окей. Мы здесь в студии, удалённой студии, с Михаилом Парахиным, CTO Shopify. Добро пожаловать.
[00:00:08] Mikhail Parakhin: Спасибо. Рад быть здесь.
[00:00:10] swyx: Я даже не знаю, стоит ли представлять тебя как CTO Shopify. Кажется, у тебя много идентичностей. Э-э, ты вёл что-то вроде ML-команды Bing, наверное, или рекламной команды. Я-я не знаю, я не знаю, э-э, знаешь, люди по-разному называют тебя то ли CEO, то ли, э-э, я не знаю, как называлась та твоя прежняя роль в Microsoft.
[00:00:29] Mikhail Parakhin: Э-э, это была... Да, моя предыдущая роль в Microsoft — я на самом деле был CEO одного из бизнес-юнитов Microsoft, который включал, как мы, знаешь, как мы обсуждали, все те вещи, над которыми люди любят посмеиваться, в том числе Windows, Edge, Bing, рекламу и всё остальное.
[00:00:47] swyx: Да, да. Какое же это было дикое время.
Ты, очевидно, э-э, многое сделал с тех пор, как пришёл в Shopify. Э-э, одна из причин, почему я связался с тобой, в том, что ты начал больше продвигать что-то вроде внутреннего тулинга, в основном Tangle, но при этом многие видели и переняли QMD Тоби, и, очевидно, я думаю, Shopify всегда был в каком-то смысле лидером в плане инженерии.
Думаю, это скорее... просто более недавнее, что вы, ребята, стали более открыто говорить о вашем, так сказать, внедрении AI. Это так, это правда?
[00:01:16] Mikhail Parakhin: Ну, я думаю, AI-инструменты в целом — довольно недавнее явление, и мы — Shopify, знаешь, на этом этапе своего развития мы разрабатываем AI внутри компании и строим другие инструменты, которые используют AI, и, знаешь, взаимодействуем с более широким AI-сообществом, и всё это находится на, так сказать, разгонной траектории.
Так что это произошло просто как естественный побочный продукт. Мы и говорим об этом больше. Мы только, э-э, буквально вчера Андрей Карпатый прославился твитом о том, мол, есть ли какие-то способы организовать своих агентов, чтобы хранить данные, а потом, э-э, искать данные, чтобы не приходилось каждый раз заново исследовать или, или терять контекст — Да
раз. И слегка в шутку я написал в твиттере, что: «Эй, мы сделали это гораздо раньше, и у нас даже есть разные подходы — у Тоби и у меня». Тоби, конечно, большой фанат QMD, а я больше фанат SQL, SQLite. Но, э-э, да, очень похожие вещи мы здесь уже сделали. Суть в том, что да, мы очень динамичная, знаешь, взрывно растущая компания, и нам приходится быть на переднем крае внедрения AI, очевидно.
[00:02:29] swyx: Да. Да. Эм, твоя команда любезно подготовила несколько слайдов, которые мы собирались вывести на экран. Думаю, я могу, я могу расшарить экран, и тогда мы сможем пройтись по некоторым шокирующим цифрам, которые, может быть, подкрепят числами то, что именно происходит. Итак, вот здесь у нас, э-э, график внутреннего внедрения AI-инструментов.
На что мы здесь смотрим? Что это?
[00:02:54] Mikhail Parakhin: Да, это очень интересная статистика. Э-э, это число ежедневно активных работников, знаешь, что-то вроде DAU, по сути, активных пользователей —
[00:03:05] swyx: Да...
[00:03:05] Mikhail Parakhin: AI-инструмента как процент от всех людей в компании, верно? И затем — Да... разные AI-инструменты. И, э-э, тут можно увидеть две вещи: одна — это зелёное, общее. Зелёное — это просто суммарно. Так что видно, что к настоящему моменту это приближается реально к 100%. Сейчас сложно делать свою работу, не взаимодействуя глубоко хотя бы с одним инструментом. Можно увидеть и другую интересную вещь: как многие отмечали, в декабре был фазовый переход, когда внезапно модели стали достаточно хороши, что всё взлетело и начало расти.
Э-э, многие заметили, что мелкие улучшения накопились в это большое изменение примерно в промежутке сентябрь-декабрь.
[00:03:52] swyx: Да.
[00:03:52] Mikhail Parakhin: Другое, что я бы заявил, видно здесь, — это что инструменты на базе CLI и инструменты, которые не требуют от тебя смотреть на код, становятся популярнее, и можно увидеть, да, разные версии Claude Code, Codex, Pi и внутренних инструментов разработки взлетают.
Э-э, именно, да, и синее — это наш River, просто внутренний агент для кодинга, тогда как инструменты, которые требуют IDE, такие как GitHub Copilot или Cursor, они не то чтобы сжимаются, но растут не так быстро. Вот, э-э, красная, красная линия — это инструменты типа IDE. Так что видно, что они не испытывают такого быстрого роста.
[00:04:37] swyx: Насколько я понимаю, по сути, у каждого сотрудника есть свой выбор, верно? Выбирай любой инструмент, который используешь, а потом ты просто проходишь что-то вроде ежедневного опроса?
[00:04:47] Mikhail Parakhin: Именно. И, э-э, мы — Да... установка такая: сделай свою работу, можешь использовать любой инструмент, и мы по сути финансируем неограниченные токены для всех.
Э-э, мы стараемся контролировать модели, которые люди используют, но снизу, а не сверху. То есть мы по сути говорим: «Эй, пожалуйста, не используйте ничего слабее Opus четыре точка шесть».
[00:05:09] swyx: О.
[00:05:10] Mikhail Parakhin: Некоторые люди в итоге используют GPT пять точка четыре extra high. Некоторые используют Opus четыре точка шесть. Эм, э-э, знаешь, есть свои плюсы и минусы в том, чтобы идти на полное контекстное окно в миллион токенов против того, чтобы не идти.
Но, э-э, мы стараемся отговаривать людей от использования чего-либо слабее этого.
[00:05:28] swyx: Да, да. Понял, понял. Э-э, то есть, знаешь... Следующий график здесь действительно показывает расширение и, так сказать, перелом декабря две тысячи двадцать пятого, верно? Что, э-э, люди используют много токенов. Думаю, ещё реально интересно, что никто особо не злоупотреблял этим в две тысячи двадцать пятом.
То есть это было — сравнительно с этим годом почти не было роста. В смысле, всё равно, знаешь, наверное, наверное дало процентов пятьдесят.
[00:05:56] Mikhail Parakhin: Да. Это просто другой масштаб. Это всё ещё экспоненциальный — Да, да... рост, просто с другим — ...темпом расширения. Э-э, была точка перелома, и, Шон, я бы заявил, супер интересная часть здесь в том, что видно, как распределение становится всё более и более скошенным.
Да. Верхние процентили растут быстрее. То есть это значит — Да... люди в верхнем десятом процентиле, их потребление растёт быстрее, чем у семьдесят пятого и так далее. Так что, э-э, распределение скашивается всё больше и больше в сторону самых активных пользователей, что... Я не знаю, о чём мне это говорит. Это как будто ощущается не идеально, честно говоря.
Или, может, всё нормально. Посмотрим.
[00:06:36] swyx: Почему это ощущается не идеально? Это из-за, эм, количества в ущерб качеству, или в чём беспокойство?
[00:06:42] Mikhail Parakhin: Потому что доведи это до предела. Это значит, знаешь, если, если этот темп расхождения продолжится — Ах, да... через год будет один человек, потребляющий все токены. Так что это просто, это как-то странно.
[00:06:54] swyx: Да, в смысле, эм, э-э, я думаю, внутреннее, типа, обучение и всё такое, э-э, поможет распределить вещи более широко. Но в, в ранние дни, конечно, люди, которые более «подсажены на AI», очевидно, найдут больше способов это использовать, чем люди, менее «подсаженные на AI». Может, назовём это так.
Я просто, я просто быстро сделаю паузу от... Знаешь, мы вернёмся к остальным слайдам, но я просто хочу, эм, разобрать — знаешь, есть много CTO больших компаний вроде тебя, и все они обдумывают какой-то токен-бюджет, верно? Типа, я думаю, это что-то, о чём говорит Дженсен Хуанг, где, мол, если твой инженер за 200 тысяч не использует 100 тысяч токенов в год, то он недоиспользует кодинг-агентов.
Конечно, Дженсен Хуанг так и скажет, но это выглядит очень как подход «количество в ущерб качеству», и некоторые люди по сути говорят, мол, сравнимо ли это с оценкой качества инженера по строкам кода, верно? Что, как мы тоже знаем, в каком-то смысле ущербно, но лучше, чем ничего. Так что я не знаю, есть ли у тебя, так сказать, управленческий взгляд на то, как смотреть на такого рода метрики.
[00:08:02] Mikhail Parakhin: Ну, в смысле, ты меня подначиваешь. Я, я люблю... Это моя любимая тема. Э-э, если позволишь, я, наверное, могу говорить два часа только об этом. Мне есть много чего сказать. Типа, я действительно считаю, что Дженсен получил много плохой прессы, мол: «О, конечно, ты, знаешь, это — ...продавец тортов говорит, что вам не хватает тортов».
Знаешь? Типа, конечно. Э-э, но я на самом деле считаю, что это незаслуженно. Я думаю, он, он на самом деле прав. Я действительно считаю — Он,
[00:08:33] swyx: он прав по направлению.
[00:08:35] Mikhail Parakhin: Да. Да. Он прав по направлению, точно. Э-э —
[00:08:37] swyx: Кто знает, какое правильное число? Да.
[00:08:39] Mikhail Parakhin: То, что я действительно хочу сказать, и это нечто, чему мы научились методом проб и ошибок и что очень важно, — это две вещи.
Первая: дело не просто в потреблении токенов. Э-э, можно потреблять токены, и, по сути, антипаттерн — это запускать несколько агентов, слишком много агентов параллельно, которые не общаются друг с другом. Это почти бесполезно по сравнению с просто меньшим числом агентов и сжигает токены очень неэффективно. Э-э, настройка правильного цикла критики, особенно с высококачественными моделями, где один агент что-то делает, другой, в идеале с другой моделью, критикует это, предлагает способы улучшить, агент переделывает с учётом этой критики, и так это занимает гораздо дольше.
Так что людям это не нравится, потому что латентность растёт. Знаешь, им приходится ждать, пока идёт эта дискуссия. Но, э-э, качество кода гораздо выше. И ещё одна вещь, раз уж ты упомянул — слушай, да, общий бюджет — это просто как строки кода. Строки кода взрываются у всех прямо сейчас, отчасти потому что AI реально двигает дело, а отчасти просто потому что AI может писать гораздо больше кода, знаешь, он не устаёт.
И поэтому тебе нужно, нужно иметь очень сильное узкое горлышко во время PR-ревью. Иначе просто число багов взлетит до небес. Это, э-э, это неожиданное следствие того, что объём перебивает всё остальное. Я бы заявил, что к настоящему моменту хорошая модель пишет код в среднем с меньшим числом багов, чем средний человек.
Но поскольку они пишут его гораздо больше, типа больше его попадёт в продакшен. Так что приходится — Тебе всё равно
[00:10:26] swyx: придётся иметь
[00:10:26] Mikhail Parakhin: больше багов. Да. Приходится иметь очень строгие PR-ревью, тоже автоматизированные, конечно. Но, э-э, да, тратить на это много бюджета. Типа, для меня, для меня на самом деле важная метрика — это соотношение бюджета, потраченного во время генерации кода, против, э-э, потраченного, э-э, на дорогие токены, типа GPT пять точка четыре Pro или, э-э, Deep Think от Gemini, знаешь, на проверках PR-ревью.
[00:10:55] swyx: Да, абсолютно. Э-э, я заметил, что в твоём графике не было никаких инструментов ревью. Ты просто используешь, скажем, Claude Code для ревью? Или у тебя есть другой набор инструментов ревью, типа Greptile, Code Rabbit, у Devin Reviews есть инструмент ревью. Не знаю, пробовал ли ты эти специализированные инструменты ревью.
[00:11:13] Mikhail Parakhin: Ты немного забегаешь вперёд по моей теме прямо сейчас, потому что на графиках я показывал только публичные инструменты. Э-э, я не нашёл хорошего инструмента PR-ревью, который делал бы то, что, по моему мнению, должно быть сделано. И, э-э, отчасти моё мышление в том, что это настолько... Это просто идёт вразрез и с тем, что люди эмоционально предпочитают, и с некоторыми, э-э, знаешь, откровенно даже бизнес-моделями, по которым работают компании.
Во время ревью кода ты хочешь запускать самые большие модели. Это значит, не знаю, Codex или, э-э, Claude Code не подойдёт. Тебе нужны модели pro-уровня, если ты действительно хочешь, э-э, выдержать наплыв ботов, идущих в продакшен. И тебе нужно тратить много времени на то, чтобы модели ходили по кругу, но ты не хочешь, типа, большую стаю, э-э, агентов.
Так что по сути ты оказываешься в другом, дуалистическом мире, где ты генерируешь не так много токенов. Ты на самом деле генерируешь мало токенов, но это занимает много времени, потому что это дорогие модели, ходящие по кругу, а не много-много агентов, пытающихся делать много вещей параллельно. Вот, вот поэтому я ощущаю, что не нашёл хороших инструментов, так что мы пока используем собственный для ревью кода.
[00:12:33] swyx: Да. Да. В смысле, э-э, я думаю, много компаний строят свои собственные, особенно под свои нужды, верно?
[00:12:38] Mikhail Parakhin: Мм-хм.
[00:12:38] swyx: Эм, я, э-э, у тебя тут ещё есть график, возвращаясь к слайдам, о, э-э, росте мёрджа PR, где мы теперь на тридцати процентах, э-э, месяц к месяцу, а не десяти процентах. Э-э, и ещё, оценочная сложность растёт.
Знаешь, это продуктивность, верно? Потому что, предположительно, в кодовую базу попадает больше всего, и над большим, большим числом фич идёт работа. Мне любопытно про бэклог, верно? Типа, я на самом деле не против, чтобы модель pro-уровня тратила час или два на ревью моего PR, потому что я имел дело с людьми, которые неделю ревьюят мой PR, верно?
И я постоянно пингую их в Slack: «Эй, эй, отревьюй мой PR». Так что, знаешь, я думаю, тут есть некий компромисс, где, типа, это всё равно не имеет смысла.
[00:13:18] Mikhail Parakhin: Именно. Это, это в точности моя мысль. Э-э, что с одной стороны, ты можешь терпеть бо́льшие латентности на PR. С другой стороны, типа, прямо сейчас реальная проблема не в том, чтобы тратить время в ожидании PR.
Реальная проблема в том, что раз кода настолько больше, то — Да... вероятность того, что хотя бы какие-то тесты упадут, растёт, и тогда ты, типа, продолжаешь разбираться с падениями, потом тебе надо найти провинившийся PR, выкинуть его, перетестировать без этого PR, и так цикл деплоя становится гораздо длиннее. Э-э, так что на самом деле, с точки зрения общего времени до деплоя, это суммарная экономия времени, если ты тратишь больше времени на более долгую модель, типа размышляя час, потому что тогда тебе не приходится тратить всё это время на тестирование и откат деплоя.
[00:14:03] swyx: Да, абсолютно. Это всё равно того стоит. Знаешь, ты смотришь не на отдельную единицу, а на агрегат, и на изменение в агрегатной системе.
[00:14:11] Mikhail Parakhin: Именно.
[00:14:11] swyx: Мне как-то любопытно, существует ли эта PR-ментальность и, типа, парадигма CI/CD в итоге изменится. Некоторые говорят, очевидно, что многие хотят новый GitHub, но я даже задумываюсь, не является ли, типа, Git проблемой, верно?
Типа, это и есть узкое место? Является ли сама концепция PR узким местом? Вы, ребята, используете stack diffs? Не знаю, э-э, это, типа, штука вроде merge queue со stack diff?
[00:14:34] Mikhail Parakhin: Мы, мы используем, мы используем Stacks, мы используем Graphite. Мы много работали с, э-э, Graphite. Так что мы используем Stack, э-э, PR. Я думаю, э-э, это явно общий CI/CD в целом, и взаимодействие с репозиторием кода прямо сейчас — это явно, так сказать, главная проблема и узкое место для нас, э-э, и самое приоритетное в мыслях.
Я бы сказал, нам, наверное, нужна другая метафора или другой целостный дизайн того, как это обрабатывать в новом агентском мире. Я пока не видел ничего кардинально лучше. Я, я думаю, все прямо сейчас просто пытаются удержать голову над водой, потому что, потому что PR настолько много, и тогда у всех начинают скрипеть пайплайны CI/CD, времена растут, число багов, проскальзывающих мимо, растёт, и тебе приходится, приходится зажимать.
И вот мы немного в этой ситуации, когда нам надо сначала стабилизировать эту историю, а потом начать думать: эй, а каким мог бы быть совершенно другой и новый мир, который я ещё не... Я знаю некоторых людей, работающих над этим. Я пока не видел чего-то, типа чего-то супер убедительного, но явно старые штуки, которые проектировались для людей, придётся преобразовать во что-то новое.
[00:15:53] swyx: Одна из вещей, о которой я думаю, это что-то вроде того, что мёрдж-конфликт по сути — это глобальный мьютекс на всю систему, верно? И в человеческих организациях у нас тоже есть что-то такое. Это корпоративный стендап. Но, типа, кроме этого, нам на самом деле подходит быть несколько децентрализованными, несколько подключёнными к одному потоку источника информации, но несколько лоссовыми.
Типа, это нормально, знаешь, что, что не каждая доставка обладает атомарной консистентностью. Типа, мы же иногда не имеем дела с базой данных.
[00:16:27] Mikhail Parakhin: Это очень хорошее замечание, э-э, потому что раз люди не пишут код слишком быстро, знаешь, этот глобальный мьютекс не так уж плох. Как только —
[00:16:36] swyx: Да...
[00:16:37] Mikhail Parakhin: начинаешь писать код со скоростью машины, он становится, знаешь, узким местом.
Тогда что ты делаешь? Может, и я не могу поверить, что говорю это, потому что я, я пожизненный противник, э-э, микросервисов, и я всегда считал, что это, типа, реально плохая идея. И теперь, раз ты это говоришь, типа, может, в новом мире, типа, микросервисы сделают камбэк, знаешь, потому что тогда ты, ты можешь шипить вещи независимо, маленькими кусочками, и, и управлять всей этой сложностью автоматически будет гораздо проще.
Не знаю. Типа, нам придётся посмотреть.
[00:17:10] swyx: Да. В смысле, я не знаю, как это устроено в Microsoft или, или Shopify, но я читал эту статью от Google, где у них монорепозиторий, который деплоится в микросервисы, верно? И, э-э, другая концепция, о которой я много думаю, — это концепция Chaos Monkey от, от Netflix.
Возможность создать, типа, эту устойчивую систему, где, эм, э-э, знаешь, у тебя есть service discovery, у тебя есть, э-э, независимый, независимый discovery микросервисов, и, и, э-э, знаешь, наверное, будет приличное количество дублирования. Вот так органическая система, так сказать, масштабируется, э-э, что, что у тебя есть это...
Не знаю, как это назвать. Slack? Робастность? Зависим... э-э, д-дублирование. Я, я, я забываю — я, я... И это — те, эти — это не совсем те термины — Хмм... которые я ищу, но я не могу реально подобрать слова. Окей. Я собирался перейти к Tangent и Tangle. Э-э, так что, э-э, мы, мы вроде обсудили общую статистику, которую, э-э, имеет Shopify.
Э-э, но, знаешь, я, я думаю, какие-то, какие-то довольно крутые вещи, над которыми вы, ребята, работаете, — это ваша ML-экспериментация, э-э, и ваш, так сказать, авто-ресёрч-пайплайн обучения. Предположительно ты гораздо ближе к этому, потому что это, это что-то вроде твоего личного хобби. Как, как бы ты объяснил их вместе?
Я думал, у нас есть слайд, типа, с системной диаграммой.
[00:18:24] Mikhail Parakhin: Да. Сначала Tangle, а потом Tangent как —
[00:18:27] swyx: Да...
[00:18:28] Mikhail Parakhin: как штука поверх Tangle. И, э-э, Tangle — это, я заявляю, третье поколение систем, э-э, для запуска любой обработки данных, но с уклоном в ML-эксперименты, но не обязательно. Любые задачи обработки данных, где тебе нужно итерировать, делиться, и у тебя есть масштаб, так что ты хочешь максимальную эффективность.
Знаешь, как, типа, обычно ты работал бы, ты бы — представь, что ты data scientist или ML-практик, ты бы получил Jupyter-ноутбуки или, или, может, э-э, знаешь, свои Python-скрипты, и ты бы управлял данными, и ты бы производил эти TSV-файлы, и складывал их в какую-нибудь JFS или что-то такое.
Потом ты бы заметил, что, о, тут есть эти, э-э, странные пропущенные значения. Ты идёшь и пишешь ещё один скрипт, который, э-э, идёт и заменяет их на, э-э —
[00:19:20] swyx: А...
[00:19:21] Mikhail Parakhin: дефис S. А потом, потом ты, потом ты запускаешь какой-то, какой-то, э-э, «О, мне надо отфильтровать ботов». И вот ты запускаешь какую-то модель LightGBM, которая, э-э, убирает ботов. А потом, потом ты типа — а потом ты, ты как бы приводишь это в форму, и потом начинаешь экспериментировать, и запускаешь несколько экспериментов, и потом ты такой: «О боже», типа: «этот эксперимент хуже».
Ты откатываешь и не можешь вернуться к предыдущему результату. И типа: «Ах, что я сделал?» Типа того. Опять же, потом, потом ты наконец, типа, заставляешь всё работать. Потом ты начинаешь перебрасывать это через забор в продакшен. Ты, ты реплицируешь это, эти штуки не работают, и потом иногда ты, типа, не замечаешь, что забыл какое-то наименование фичи, и, и фичи не совпадают.
Но потом, типа, представь, ты, ты всё сделал, а потом через полгода тебе, типа, приходится это повторять, потому что теперь больше данных, или ты хотел сделать ещё один проход, и ты такой: «Что, что я сделал?» Или типа: «Этот скрипт теперь падает», или «путь изменился». И потом, потом ты пытаешься, типа, потратить ещё месяц, просто занимаясь цифровой археологией по своей же, знаешь, истории, верно?
Теперь умножь это на много-много команд. Теперь представь, ты получил стажёра, которого хочешь ввести в курс дела. Теперь тебе надо показать этому стажёру: «О, знаешь, смотри, вот папка, там скрипты, знаешь, попроси своего cloud-агента сделать, а потом, э-э, разобраться». И потом cloud-агент что-то делает, и потом ты: «Ах, да, точно, точно, это была не та папка.
Я забыл тебе сказать, у меня на самом деле есть эта другая штука, я сам забыл». И, и это, это, типа, повседневная жизнь, которую мы все, э-э, все знаем, э-э, если, если ты data scientist, машинный практик, ма-, ML-практик или, э-э, или даже, типа, любой человек, управляющий данными.
[00:21:00] swyx: Да. Так что я, я раньше этим занимался, э-э, на стороне квантового финанса, э-э, в, в моём хедж-фонде.
Так что мы делали это до Airflow, а потом, э-э, очевидно, появился Airflow и, э-э, потом, более недавно, Dagster, э-э, я бы сказал, это, в моём понимании, то, что я бы использовал для такого типа задач, э-э, где тебе надо материализовать ассеты и создать пайплайн.
[00:21:19] Mikhail Parakhin: И это, это очень хороший переход, потому что... Так, Airflow отличный, но Airflow больше про то, что у тебя что-то есть, и ты хочешь повторно запускать это в продакшене по расписанию.
Он меньше про то, что ты как команда разрабатываешь вещи и можешь делиться, и ты берёшь стандартный пайплайн и говоришь: «Эй, я хочу изменить вот этот крошечный компонентик в огромном море обработки данных, и я не хочу — я хочу прогнать десять экспериментов на этом, и я хочу сделать оптимизацию гиперпараметров».
Всё это очень сложно делать в Airflow. Это очень легко делать в Tangle. Tangle — больше про, он весь про группу людей, запускающих эксперименты, теперь это могут быть и агенты. Э-э, запуск экспериментов дёшево, коллаборация, обмен результатами. Э-э, тебе не нужно понимать полностью. Ты берёшь — ты клонируешь чей-то эксперимент или чей-то пайплайн, э-э, запускаешь, э-э, меняешь маленький кусочек, запускаешь, типа, доводишь до продакшен-состояния, а потом шипишь в один клик.
Так что потом... Тебе не нужно портировать это в какую-либо другую систему, чтобы запустить в продакшене. Ты можешь просто запустить тот же эксперимент. Он, он полностью готов к продакшену. И, и это, э-э, у него куча... Опять же, как я сказал, это система третьего поколения. Первой, я бы заявил, был Ether, а потом, э-э, по крайней мере в моей карьере, Ether был первым, первым, э-э, кто пионерил этот тип подхода.
А потом был, э-э, Nirvana, который, э-э, в Yandex, который сделал, типа, второй заход на это. И теперь этот агрегирует, э-э, наработки всех из них, и, и Airflow тоже, чтобы прийти к состоянию, где ты пробуешь это, и это ощущается как бы магически. Э-э, потому что теперь всё основано на контенте, э-э, хешах.
Так что даже если версия изменилась, но если вывод не изменился, ничего не перезапускается. Это очень эффективно. Если ты... Несколько человек начинают эксперимент, которому нужна одна и та же, так сказать, предобработка данных, она не повторяется несколько раз. Она автоматически делается только один раз. Если ты запускаешь десять экспериментов, всем которым нужна, знаешь, какая-то подготовка данных первым шагом, тебе не надо это координировать.
Типа, тебе не надо знать, что другие люди это запускают. Ты теперь, это очень лёгкая компонуемость, любой язык, который ты хочешь использовать, и это очень визуально. Так что ты можешь сразу увидеть, ты можешь легко редактировать, ты можешь собирать маленькие штуки даже просто кликами мышью, если хочешь, и, э-э, делиться, клонировать.
И все знают также, что это полностью, так сказать, статично в том смысле, что мы перезапустим это второй раз — оно будет иметь в точности те же результаты. Типа, тебе никогда не придётся заниматься цифровой археологией. Так что полное версионирование и всё прочее тоже там есть.
[00:24:06] swyx: Э-э, так, так люди могут, э-э... Это open source. Зайди в GitHub-репозиторий и, и, э-э, посмотри.
Э-э, и про это есть также реально хороший, э-э, блог-пост. Я думаю, всё это, типа, реально привлекательно. То, что, что меня больше всего цепляет в этом, — это, эм, так сказать, переход от разработки к продакшену, верно? Который, я думаю, эм, много людей реально не решили, э-э, строго, верно?
Типа, мы разрабатываем реально, реально хорошо в, в Python-ноутбуках, но потом, знаешь, это очевидно не, так сказать, готовый к продакшену процесс. Я думаю, что, типа, любой способ, которым это решается, я думаю, это очень привлекательно. Потом другая вещь, которую ты упомянул, которая тоже подняла мне брови, — это кэширование на основе контента, которое, ты упомянул, это, это, эм, знаешь, очень во многом, э-э, типа мера эффективности про, э-э, знаешь, просто, типа, пересчёт только при, на, так сказать, адресации по контенту, что, я думаю, имеет смысл.
Э-э, меня удивило, что экономия может быть настолько большой, но, может, я просто не работал на твоём масштабе, где так много дублирования, э-э, что люди просто перезапускают, потому что изменили один ID выше по потоку.
[00:25:10] Mikhail Parakhin: Так и есть, да. Но дело не только в том, что ты перезапускаешь. Главная экономия идёт от того факта, что ты запустил это, сделал свою работу и пошёл дальше.
Потом — Да... кто-то ещё в каком-то отделе, о существовании которого ты не знал, запускает ту же задачу, но на более новой версии.
[00:25:27] swyx: Да.
[00:25:27] Mikhail Parakhin: Типа, прямо сейчас в большинстве организаций ты не можешь даже узнать об этом, так что ты не можешь даже измерить, что ты тратишь это время дважды, верно? Здесь — Да... если все на Tangle, это обнаруживается автоматически, и обнаруживается, что вывод один и тот же.
И потом для того человека всё это выглядит так, будто эксперимент просто внезапно сдвинулся, прыгнул вперёд, верно? Э-э, э-э — Да... так что это потому, потому что есть сетевой эффект множества людей, помогающих друг другу.
[00:25:51] swyx: Да. Это одна из тех вещей, где это спроектировано быть платформой с самого начала, а не инструментом отдельного разработчика с самого начала, верно?
И, и всё будет стекать вниз оттуда. Это, так сказать, оркестратор Tangle, и это, он управляет задачами. Мы видели несколько версий этого, и это, очевидно, э-э, э-э, так сказать, уникальные подходы, которые вы, ребята, придумали. А потом есть Tangent.
[00:26:14] Mikhail Parakhin: Да. И Tangent — это по сути автоматическая авто-ресёрч-петля, которая может помочь и, типа, сделать твою работу за тебя.
Э-э... знаешь, э-э, по сути, по сути, Андрей Карпатый недавно популяризировал это с авто-ресёрчем. Да. Помнишь, он сказал, типа, он, э-э, спидранил это, э-э... Да, э-э, знаешь эту историю. Тут мы по сути приносим ту же возможность в Tangle, так что, э-э, Tangent может анализировать это. Это просто агент, который может запускать несколько экспериментов, выяснять, что можно изменить, и продолжать перезапускать, продолжать модифицировать, пока, э-э, не максимизирует какую-то цель, какую-то функцию потерь, что бы тебе ни нужно было достичь.
И в целом я бы сказал, что если ты не используешь подход типа авто-ресёрча в чём бы ты ни делал, типа буквально в чём угодно, то ты упускаешь. Мы увидели в Shopify, что это распространяется, типа, как лесной пожар: всё, куда можно поставить измерения, можно сделать кардинально лучше. Наша —
[00:27:19] swyx: Мм-хм...
[00:27:20] Mikhail Parakhin: э-э, скорость, э-э, шаблонизации HTML, э-э, совершенно новая UX-шаблонизация, э-э, снижение латентности для liquid-тем.
Э-э, наш — наш, э-э, поиск, э-э, недавно мы перешли — это сложно даже, э-э, процитировать — с восьмисот QPS до четырёх тысяч двухсот QPS при том же качестве просто за счёт чистых оптимизаций, и не — ресёрч-петля, которая продолжала работать и менять код в нашем index serve на том же числе машин, просто увеличивая пропускную способность.
Мы, мы смогли улучшить качество гистинга и процесс машинного обучения. Э-э, знаешь, гистинг — это техника сжатия промптов, которая
[00:27:59] swyx: позволяет
[00:28:00] Mikhail Parakhin: более низкую латентность и, и более низкое, э-э, на самом деле слегка более высокое качество. Так что, типа, буквально что угодно из разных сфер жизни, и это не обязательно должно быть связано с AI.
Э-э, у нас, у нас было сокращение, э-э, хранилища, потому что агенты шли и находили датасеты, которые явно являются производными, э-э, и тогда тебе не нужно хранить вещи дважды. Знаешь, мы, мы, мы нашли несколько смущающе, что одной из самых больших таблиц была таблица, хешировавшая случайные ID в другой случайный ID, и мы буквально — Ох
оставили только один. Так что это переводило, да, два случайных ID, хешированных
[00:28:36] swyx: в
[00:28:37] Mikhail Parakhin: друг друга. Так, так
[00:28:37] swyx: у него есть доступ и к коду тоже, так что он может, он может проверить, типа, какого чёрта он делает?
[00:28:42] Mikhail Parakhin: Так, тут это может запускаться на двух уровнях. Ты, э-э, знаешь, на поверхностном уровне он может просто использовать существующие компоненты и, э-э, перетасовывать их.
Э-э, знаешь, типа можешь взять — Да... э-э, XGBoost, и можешь взять какой-то, какой-то модуль PyTorch, а потом взять какие-то, знаешь, взять другие инструменты и, и скомбинировать их. На более глубоком уровне, поскольку Tangle весь, так сказать, на базе CLI под капотом, каждый, каждый компонент — это обёрнутый, по сути, CLI, э-э, вызов и YAML-файл, он может анализировать код и создавать новые компоненты, и, и, э-э, продолжать итерировать тоже.
Так что, так что ты можешь, ты можешь и иметь быстрые модификации существующих, э-э, пайплайнов с, с компонентами, которые уже там, заранее запечены, или ты можешь создавать новые компоненты, э-э, и —
[00:29:29] swyx: Да...
[00:29:29] Mikhail Parakhin: продолжать итерировать на них. Так что авто-ресёрч — это, опять же, это, наверное, та вещь, которой я был больше всего воодушевлён за последние два месяца, и мы видим, как это, типа, типа, прямо как лесной пожар.
Просто, э-э, каждый, каждый день, каждую... ну, каждый день, каждую минуту, я бы, э-э, получаю от кого-нибудь сообщение в Slack: «О, смотри, насколько лучше я это сделал». И, э-э, это всё по ходу ресёрча.
[00:29:53] swyx: Это как-то демократизировано, в, в том смысле, что, типа, это твои ML-, э-э, инженеры и исследователи это делают, или твои обычные PM и софтверные инженеры тоже имеют возможность авто-, использовать Tangent?
[00:30:07] Mikhail Parakhin: Это потрясающий вопрос. Типа, Tangle в целом и Tangent в частности крайне демократизирующие. Типа, они — Да... они главные инструменты для — Потому что мне не нужны
[00:30:15] swyx: детали.
[00:30:16] Mikhail Parakhin: Да. Именно. Изначально использовались ML- и AI-инженерами, но потом буквально, как ты сказал, PM — типа, самый активный пользователь прямо сейчас один из PM в нашем подразделении, э-э, Сартак, и он был, он был номер один по, по использованию этого, потому что они просто, э-э, энергичны и знающи, и теперь это, это разблокирует кучу возможностей, где тебе не надо менять код вручную.
[00:30:39] swyx: В смысле, в смысле, потому что это как бы вырезает ML, ML-инженера из процесса, потому что у PM есть доменные знания и способность думать, э-э, от первых принципов о том, окей, какой, какой результат я хочу? И они могут — у них даже есть доступ к данным, которые, которые надо подать на вход.
Так что это, типа, в каком-то смысле, типа, это волшебный чёрный ящик, который мы всегда хотели для, для обучения и, и для, э-э, я думаю, э-э, э-э, восхождения на холм, как угодно.
[00:31:04] Mikhail Parakhin: Это по сути Claude Code для твоей AI-разработки — ...э-э, ситуации, верно? Типа, теперь, теперь тебе не надо точно знать, как работают алгоритмы. Ты можешь просто, э-э, принести свои доменные знания, экспертизу и продуктовые знания и итерировать внутри Tangent, пока не получишь нужные тебе результаты.
[00:31:21] swyx: В моих предыдущих ролях каждый раз, когда кто-то питчил AutoML, знаешь, я всегда был типа: «Э-э, это не, это не сработает. Это, знаешь, это всегда будет провал». Каким-то образом сейчас это работает. В смысле, предположительно ответ в том, что теперь у нас есть LLM, и они достаточно хороши, верно? Это, это эмерджентное свойство, что мы можем делать авто-ресёрч, но, типа, не очень-то удовлетворяет, как же так получилось, что мы не делали этого раньше, верно?
Типа, мы просто делали, типа, поиск параметров и, типа, не знаю. Может, вот и всё.
[00:31:48] Mikhail Parakhin: Да. Байесовская оптимизация и оптимизация гиперпараметров была, была той, или той гранью AutoML, которая использовалась очень активно, что, кстати, тоже встроено в, э-э, Tangle. Но, знаешь, я очень хорошо знаю Patrice Simard, и, э-э, он был таким, э-э, таким сторонником AutoML, и он буквально потратил карьеру, пытаясь его демократизировать.
Без LLM это просто оказалось очень сложно. Типа, ты, ты имел бы гибкость в определённой узкой области, но было сложно масштабировать шире, а теперь с LLM внезапно это как волшебная палочка, и вот внезапно все — ...эксперты по AutoML.
[00:32:28] swyx: Да, я, я думаю, это несколько вещей, верно? Типа, я, я просто снова выведу, тот, тот, тот график, верно?
Типа, LLM могут очень хорошо делать мониторинг. Это очень потенциально неограниченно, супер неструктурированно. Они могут очень хорошо делать анализ, они могут... Э-э, и по сути это гораздо больше интеллекта, влитого в каждый отдельный шаг. Э-э, может, структурно ничего не изменилось в AutoML, но это просто более интеллектуально и более неструктурированно.
[00:32:53] Mikhail Parakhin: Именно.
[00:32:54] swyx: Какие-нибудь изъяны, на которые ты наткнулся? Типа, все, типа, пьют этот Kool-Aid, о боже, экономия времени, э-э, знаешь, улучшения производительности. Типа, какие, какие, э-э, проблемы у тебя, э-э, всплыли?
[00:33:06] Mikhail Parakhin: Это реально круто. Это точно не решение всех проблем мира. Ограничения обычно те, которые я — И тут мы заходим в немного субъективную территорию.
Э-э, я могу поделиться только тем, что я, я видел до сих пор, и я уверен, что ситуация, э-э, меняется, и, знаешь, может, после того как я это скажу, типа, много людей напишет и скажет: «Эй, а как насчёт этого?» И ты этого не знаешь, и тогда, тогда мы будем, наверное, правы. Но что я видел, так это что авто-ресёрч очень хорош в том, чтобы делать как бы очевидные вещи, на которые у тебя нет пропускной способности, или которые ты не заметил, или, может, ты не в курсе, типа — каких-то стандартных практик.
Он не хорош в том, чтобы делать что-то совершенно вне распределения, что-то, над чем, знаешь, тебе надо думать несколько дней, э-э, и, и сделать что-то, чего никто из этого не. Так что, так что это, э-э, я, э-э, как-то поставил эксперимент, э-э, на, на моей, так сказать, э-э, хобби-штуке, и я дал ему поработать, э-э, в итоге, э-э, несколько недель прогон, э-э, знаешь, это типа полномасштабное продакшен-, так что, знаешь, медленные прогоны, и, и в итоге он выполнил, э-э, более четырёхсот экспериментов, и только один был успешным.
Я такой: «Окей, это, это хорошо». Но —
[00:34:18] swyx: Но это сэкономило время.
[00:34:19] Mikhail Parakhin: Да, я сэкономил время. Типа, это, это была та штука. Да, если, если бы я делал четыреста экспериментов сам, моё среднее попадание, как я сказал, было бы гораздо выше, я уверен. Но также, прежде всего, у меня заняло бы, типа, три года, чтобы сделать четыреста экспериментов.
И, э-э, мне не пришлось их делать. Типа, машины просто, э-э, цена электричества это сделала. Так что, и я получил одно улучшение, э-э, которое в, э-э, моём, моём — честно, когда я начинал тот эксперимент, моя мысль была пойти и показать, что: «Эй, Андрей, может, ты просто не умеешь оптимизировать». И я был супер уверен в себе, потому что в, в моей проблеме оптимизировали много лет, и она была, типа, полностью улучшена.
Э-э, и я не ожидал, знаешь, что авто-ресёрч найдёт что-либо вообще. И всё же он нашёл. Так что вместо того чтобы насмехаться над Андреем, я в итоге, э-э, стал большим, большим сторонником. Да, это в точности тот твит. Да.
[00:35:10] swyx: Вы с Тоби реально много пикируетесь онлайн, что реально забавно. Э-э, думай об этом как о, как об эвале оптимальности кода, на котором он работает.
Э-э, это почти как, мне это напоминает, типа, штуку с колмогоровской сложностью, но, э-э, я думаю, это — есть некая оптимальная штука, к которой ты пытаешься, так сказать, свести. Эм, и так, так что ты, ты, знаешь, ты должен поздравить себя, что у тебя было, э-э, знаешь, э-э, девяносто девять процентов, э-э, оптимальности.
[00:35:36] Mikhail Parakhin: Именно, да. Я думаю, Андрей реально заслуживает много заслуг за популяризацию этого подхода. Это, э-э, это невероятно, я думаю, мощно и круто, и, знаешь, даже само его упоминание привело к большому числу выигрышей во многих местах в индустрии, так что мы должны быть благодарны.
[00:35:56] swyx: Да. Я думаю, у него также есть просто...
Не знаю, что это. Типа, эм, знаешь, это, это простой самодостаточный проект, который люди могут взять и применить к другим вещам, что, что является одной штукой, но также просто само название. Просто как-то никто, никто не догадался назвать свою штуку авто-ресёрчем. Просто называть вещи очень важно. Я думаю, это в основном, э-э, наш обзор Tangle и, и, э-э, Tangent.
Я думаю, очевидно, знаешь, в Shopify много, э-э, ML-инфраструктуры, в которую люди могут, э-э, нырнуть. Мы вот-вот перейдём к SimGym, но прежде чем я это сделаю, какие-нибудь, какие-нибудь другие, так сказать, более широкие комментарии вокруг всего этого начинания? Типа, куда это, куда это ведёт?
[00:36:36] Mikhail Parakhin: Как переход к SimGym — типа, все эти вещи начинают сильно компоноваться.
И, э-э, ты можешь увидеть огромный прорыв, когда ты можешь посмотреть на каждый из инструментов и, и видишь, о, они крайне полезны. Э-э, Tangle полезен сам по себе. Авто-ресёрч полезен сам по себе. SimGym полезен сам по себе. Если скомбинировать все три, ты создаёшь, типа, синергетический эффект. Я думаю, вот почему мы хотели даже, э-э, осветить их сегодня — потому что это нечто, что если вернуться даже, знаешь, на пять лет назад, было бы немыслимо.
Э-э, повторить это, э-э, было бы либо невероятно дорого, либо невозможно, верно? Наверное, требовались бы тысячи людей.
[00:37:20] swyx: Ну, у нас есть бессерверный человек, э-э, бессерверный интеллект, верно? Типа, э-э, так что да, у тебя есть тысячи человек — э-э, интеллектов, не просто, не людей. И это, это достаточно близко, верно?
Даже если они не AGI, они, они достаточно близки, чтобы делать, делать задачу, которая тебе от них нужна. И, и, знаешь, этого, этого достаточно для, для большого объёма рутинной работы, работы со знаниями. Окей, давай перейдём к SimGym. Эм, это одна из тех вещей, которую я, я был удивлён увидеть на самом деле — это, по-видимому, твой, э-э, один из самых популярных запусков, и я думаю, нечто, что, э-э, я думаю, Sim AI, я думаю, Yunjun Park, который сделал штуку Smallville, есть очень небольшая кустарная индустрия людей, пытающихся сделать, типа, эту штуку симуляции покупателя.
Я думаю, многие люди, может, не супер доверяют этому пока, потому что они, типа, ну, очевидно, они просто сделают то, что ты им запромптишь, верно? Но, может, просто подумай, э-э, расскажи нам про, так сказать, вдохновение или историю происхождения.
[00:38:10] Mikhail Parakhin: Это в точности на самом деле то, что я хотел осветить, потому что если у тебя нет исторических данных, всё, что ты можешь сделать, — это промптить агентов в вакууме, и они сделают в точности то, что ты им запромптишь.
На самом деле, когда я впервые это предложил, и это немного, эм, моё детище изначально, если я, я могу похвастаться, даже Тоби сказал, типа: «Но разве они, они просто не повторят то, что ты им скажешь?» И, э-э, но я такой: «Да, кроме того что у Shopify десятилетия истории того, как люди вносили изменения и к чему это, э-э, привело в плане продаж».
Так что теперь что мы можем сделать — мы можем — у нас есть эти... Это не, это шумные данные. Есть маленькие, обычно сайты, э-э, знаешь, типа, вещи, вещи никогда не бывают в изоляции. Это почти никогда не AB-эксперимент. Это всегда AA-эксперимент, где, есть два значения, но по сути, знаешь, в разное время ты запускаешь две разные вещи.
Но если агрегировать в целом, э-э, типа всё вместе, и ты применяешь, э-э, шумоподавление и, типа, подход вроде коллаборативной фильтрации, ты можешь извлечь очень чёткий сигнал. И тогда ты можешь оптимизировать своих агентов. И вот почему это заняло так долго. Это заняло почти год той оптимизации, просто мы сидели и возились, и, и у нас была эта внутренняя цель корреляции — попасть в — внутренняя цель была попасть в корреляцию ноль точка семь с, э-э, событиями добавления в корзину, например.
Типа, что, что если мы запускаем реальный AB-тест-эксперимент, что это должно, должно пойти и, э-э, реплицировать, э-э, тот же, так сказать, успех, что, что был у людей, или его отсутствие. И это, это заняло вечность, и я не думаю, что это легко реплицируемо, потому что, э-э, у кого ещё были бы такие данные? Тебе надо иметь эти исторические, знаешь, десятилетия, э-э, данных.
И теперь, теперь, типа, другая вещь, которая тебе нужна, — это инфраструктура и масштаб, верно? Потому что, э-э, опять же, что мы обнаружили — для стат-знач результатов тебе надо запустить много симуляций, много агентов, и, и это — это дорогие штуки. Типа ты, ты делаешь действия в браузере, потому что хочешь реального трения.
Ты хочешь, чтобы быть способным получить изображение, типа того, что увидят люди, потому что ты хочешь, э-э, обнаружить эффекты типа: «Эй, если я сделаю свои изображения больше, у меня будет больше продаж или меньше?» И, типа, обычно интуиция людей здесь, кстати, такая, что я увеличу свои изображения, у меня будет больше, потому что они выглядят красивее.
Знаешь, дизайнеры все любят разреженный вид и большие изображения. Типа обычно твои продажи проседают, верно? Но, но, э-э, знаешь, из HTML все символы выглядят одинаково, только тег размера выглядит иначе, верно? Так что это очень сложно. Так что тебе надо взять визуальную информацию, тебе надо запустить это в симулированном браузерном окружении на большой ферме и, и, конечно, тебе надо иметь, э-э, типа очень, очень дорогую модель, хорошую модель с мультимодальной моделью.
Так что всё это — это то, что заняло так долго, и, э-э, поделюсь немного своим личным провалом тут, Шон — типа, знаешь, у нас всегда был этот уклон к — типа, уклон большой компании. Знаешь, мы всегда, э-э, когда бы мы ни — мы, типа: «Эй, мы запустим эксперимент», верно? Мы делаем, делаем изменение, и мы запустим эксперимент, и потом, э-э, смотрим, э-э, какой лучше, или типа: «Нет, этот хуже», и большинство из них хуже, так что ты их отбрасываешь и продолжаешь итерировать, восходя на холм.
И мы, типа: «О, типа, меньшие мерчанты, они не могут получить стат-знач результаты. Они не могут реально запускать эксперименты просто потому что, знаешь, за неделю для них было бы недостаточно данных». Так что мы думали с этой перспективы. Чего мы не осознавали — это что у большинства людей нет A и B, у них есть просто одна вещь, и им нужны предложения о том, какими A и B должны быть.
Так что, э-э, мы сначала построили это, эй, мы запускаем симуляцию на двух отдельных командах и, и, э-э, говорим: «Эй, какая лучше?» Мы потом преобразовали это в — и совсем недавно просто выпустили — когда у тебя есть просто твой сайт, твоя тема, мы прогоняем по нему и говорим: «Эй, вот предсказанные значения, э-э, конверсий, и вот как мы думаем, тебе стоит это модифицировать, чтобы увеличить конверсии».
И потом, возвращаясь к тому, с чего ты начал — доказательство в пудинге. Типа, если мы не коррелируем с реальностью, типа, люди не будут это использовать. И, э-э, к счастью, мы видим буквально каждый день больше пользователей, чем в предыдущий день. Так что, так что прямо сейчас, э-э, прямо сейчас — Это работает. Да. Я — Прямо сейчас моя проблема — как за всё это платить, потому что наша главная вещь — как оптимизировать LLM, делать дистилляцию, как запускать headless-браузеры, э-э, и браузеры, э-э, э-э, дешевле, чтобы мы могли вместить рост трафика.
[00:42:47] swyx: Да. Я, я понимаю, что ты, э-э, ты опубликовал много технических деталей на GTC, так что я просто собирался немного это поднять. Я думаю, э-э, это было в сочетании с какой-то презентацией на GTC? Или чем-то таким, верно?
[00:42:59] Mikhail Parakhin: Ну, мы, да, мы, мы делали это в нескольких местах, но да, у нас был инженерный — Да
блог, э-э, тоже. Да.
[00:43:05] swyx: Да. Так что вы запускаете, э-э, GPT OSS. Э-э,
[00:43:08] Mikhail Parakhin: это, это более старая версия. Знаешь, теперь мы запускаем мультимодальную модель. Но да — Да... GPT OSS, мы всё ещё запускаем GPT OSS тоже для
[00:43:15] swyx: А потом у тебя есть VM, и у тебя также есть на базе браузера. Мне реально нравится вот это, где ты сказал: «Это нарушает почти каждое допущение, под которое спроектирован стандартный serving LLM».
И потом у тебя было, типа, по сути различия на порядки между всем.
[00:43:29] Mikhail Parakhin: Именно. Что, что, э-э, что было, знаешь, немного вызовом для реализации, типа когда, типа даже простые вещи. Э-э, поскольку это нарушает все допущения, например, multi-instance GPU, типа MIG, работают не так хорошо.
Но нам надо было, э-э, заставить MIG работать, потому что, потому что иначе это слишком дорого. И так нам пришлось разбираться с, да, с, э-э, кучей инфраструктуры и, и, э-э, работать с, э-э, э-э, Fireworks и CentML, э-э, знаешь, чтобы помочь с оптимизациями и на базе браузера, как ты упомянул. Да, типа, нужна целая деревня.
[00:44:04] swyx: Окей. Так что тут много, я думаю, экспериментации в инфраструктуре до сих пор, и ты опубликовал более-менее то, что у тебя тут есть. Я думаю, я, я менее знаком с CentML. Я, я не делаю, э-э, так уж много работы в этой, этой части стека. Но почему это была, так сказать, предпочтительная платформа инстансов?
[00:44:22] Mikhail Parakhin: Есть реально три, наверное, топовых компании. Раньше было, э-э, э-э — три топовых компании, э-э, по крайней мере я был в курсе, которые делали, э-э, оптимизацию LLM. Знаешь, Together, Fireworks и CentML, не обязательно в этом порядке. CentML недавно был куплен NVIDIA. Э-э, что они делали — если у тебя есть модель и ты хочешь оптимизировать её под конкретный про-, э-э, профиль использования, э-э, они шли и делали это.
И, э-э, мы работаем, с, с этими компаниями, э-э, эта работа в частности с CentML и NVIDIA, чтобы получить им наилучшие возможные результаты из этого. И, и иногда тебе, тебе приходится перенастраивать в зависимости от, типа иногда ты хочешь максимальную пропускную способность, иногда ты хочешь минимальную латентность, иногда ты хочешь, типа, самое дешёвое, верно?
И, да, или какую-то комбинацию. И так да, это люди, которые приходят и помогают тебе.
[00:45:14] swyx: Понятно. Понятно. Да, да. Я знаком с этими людьми по, знаешь, авторегрессионному стеку LLM. Но другая интересная категория этих оптимизаторов — это также люди, занимающиеся диффузией, типа Fal и, знаешь, э-э, Pruna недавно всплывает много тоже, что, я думаю, типа реально недооценено, э-э, по крайней мере мной, потому что я, я думал, о, вся нагрузка будет LLM, но на самом деле много и диффузии тоже.
[00:45:38] Mikhail Parakhin: Именно.
[00:45:38] swyx: Тут много всего, так что я, я, я... это, это, э-э, это, это, это сложно осветить. Но я, я действительно думаю, что, типа, люди недооценивают важность симуляции покупателей, по сути. Я думаю, это нечто, с чем я, честно говоря, всё ещё свыкаюсь. Э-э, знаешь, э-э, ты также — твоя команда также, типа, подготовила эту, типа, реально классную диаграмму.
Э-э, я, я предполагаю, это сгенерировано AI.
[00:46:00] Mikhail Parakhin: Да, это выглядит —
[00:46:01] swyx: Может, и нет.
[00:46:01] Mikhail Parakhin: Да, выглядит, э-э, в стиле Gemini. Да, но, э-э, э-э, честно, я, я не знаю, где, где, чёрт возьми, они это сгенерировали. Выглядит, смотри, э-э, выглядит, будто это, э-э, Google. Но интересная часть, Джон, которую, которую, э-э, мы не осветили, но которую я, я хотел упомянуть — это что если у твоего магазина были предыдущие покупатели, в отличие от того, что это новый магазин, ты типа новый мерчант, только запускающий вещи, это помогает колоссально просто в корреляции и прогнозе.
Да, мы берём твоё предыдущее, э-э, поведение покупателей, и мы создаём агентов, которые реплицируют то конкретное распределение, э-э, покупателей, которое ты получаешь, и потом мы при- мы применяем их к твоим изменениям, и потом это, это повышает сырую, знаешь, прямо — э-э, просто корреляцию с событиями добавления в корзину или с — с конверсией или чем бы это ни было, э-э, довольно кардинально.
Так что, э-э, репликация людей в целом кажется интересным, классным вызовом.
[00:46:58] swyx: Как акционер, я думаю, это — типа, если люди акционеры Shopify, им стоит реально глубоко понять это, потому что это по сути ров. Чем, чем больше ты используешь Shopify, тем больше он будет просто автоматически улучшаться, верно?
Типа ты, ты делаешь работу за них.
[00:47:13] Mikhail Parakhin: Да, это то, с чего мы начали. Типа, э-э — э-э, иначе, если ты просто стартап, я бы не делал это, если, э-э, знаешь, если бы это был мой стартап, потому что без данных это, да, как, как ты сказал, это в точности тот случай, что, э-э, что бы ты ни сказал в промпте, это, это то, что агенты будут делать.
[00:47:30] swyx: Статистику во мне хочется, типа, реально удовлетворить, так сказать, эм, статистическую интуицию, наверное. Эм, для меня это что-то вроде, э-э, слово, которое приходит на ум, это, эм, эргодичность. Э-э, так что, скажем, покупатель идёт этим путём, покупатель идёт этим путём, покупатель идёт этим путём, верно? Эм, в... В моём понимании, способ, которым я это объясняю, такой: окей, вот, вот девяносто пятый процентиль, вот пятый процентиль, и вот медиана, верно?
Эм, но для меня то, что SimGym потенциально делает — это что он может, э-э, модифицировать... Он может, так сказать, моделировать, так сказать, промежуточные, так сказать, путешествия тоже, которые, которые, может, зависят от предыдущих состояний. Это, может быть, типа очень RL-типа вывод, где, типа, по сути сводные статистики — если ты делал только наивное AB-тестирование, у тебя есть только, статистики в, в, в определённой точке, и ты судишь только на основе, так сказать, общих сводных статистик.
Но здесь ты можешь на самом деле моделировать траектории. Это имеет смысл? Или —
[00:48:31] Mikhail Parakhin: Это имеет полный смысл, потому что, типа, ну, это, это имеет даже больше смысла, чем, может, ты даже осознаёшь, потому что —
[00:48:38] swyx: Окей. Прошу,
[00:48:38] Mikhail Parakhin: прошу. Да... мы делаем — Да. Так, внутренне, э-э, у нас есть эта система, мы говорили о ней вкратце однажды на NeurIPS.
У нас есть огромная система на базе HSTU, которая моделирует целые компании, э-э, и их возможные пути. И типа — Да... то, что ты, что ты показываешь, типа, на самом деле в любой момент времени ты можешь либо моделировать поведение пользователя, либо ты можешь также думать о, э-э, целом мерчанте как о компании, как о сущности, которая действует в мире.
Ты можешь моделировать и это. И тогда ты можешь делать, можешь делать контрфактики. На твоём графике, типа на твоём синем графике, э-э, если ты — представь, в центре там, э-э, где-то в середине, у тебя была бы интервенция. Я даю этому человеку купон, или, не знаю, я посылаю личную благодарственную открытку, или даю скидку где-то — где-то.
И тогда ты можешь, э-э, тогда ты можешь делать прямые роллауты из того контрфактика. Так что что бы произошло с той интервенцией или без интервенции? И ты можешь даже из- менять, где та интервенция, э-э, во времени может произойти, верно? Типа где-то — где, где в этом путешествии. Так что мы, мы делаем это на масштабе Shopify для наших мерчантов, и потом, если мы замечаем, что что-то они могут исправлять, типа есть сильный контрфактик, типа у нас есть политика Shopify, они по сути получают уведомление типа: «Эй, мы думаем, что у твоего...
что-то не так с твоими — » не знаю, канадскими продажами. Типа, э-э, похоже, что это неправильно сконфигурировано. Вот что тебе надо сделать. Или, как думаешь, типа, э-э, тебе надо настроить эту кампанию с этими параметрами? И мы делаем это на уровне покупателя, чтобы буквально предлагать скидки или кэшбэк, или вещи покупателям.
Так что это — я очень воодушевляюсь. Типа, это моя, так сказать, область, э-э, интереса, наверное, и, и хобби. Но способность м-моделировать что-то сложное, как человеческие существа или компании, и моделировать контрфактики на этом, где у тебя могут быть интервенции в будущем, и оптимизировать, когда делать интервенцию, какого рода интер- э-э, какого рода интервенцию делать.
Это такой прорыв, который раньше был совершенно невозможен. Типа это — это было, это было всегда мечтой, но никогда... Типа как бы ты вообще это симулировал без LLM или HSTU? Я думаю, очень, очень захватывающие времена.
[00:50:59] swyx: Я просто хотел, э-э, может, проиллюстрировать это. Я, я не лучший иллюстратор, но я, я концептуальный статистик-парень.
И, знаешь, ты не можешь просто сделать это. Типа это размерность, которую AB-тест не делает, верно? Типа, э-э, потому что у него нет, изменения во времени, э-э, стохастической природы, э-э, и у него нет, так сказать, контекстуальной, типа... Вот весь контекст до этой точки. Эм, окей, круто. Эм, это SimGym.
Ты, ты собираешься сжечь много токенов на этой штуке. Но ты, ты одна из, единственных масштабных платформ в мире, которая может, э-э, которая может делать это по огромному разнообразию нагрузок, верно? Мне даже любопытно на, так сказать, человеческом, э-э, исследовательском уровне, типа, ну, ведёт ли себя ритейл иначе, чем, типа, продажи одежды?
Ведёт ли это себя иначе, чем продажи электроники? Я, я не знаю. Я не знаю, что ещё вы, ребята... Покупатели в стиле Кардашьян, отличаются ли они от, типа, людей, которые покупают, э-э, не знаю, машины и, э-э, что угодно.
[00:51:55] Mikhail Parakhin: Ну, очень по-разному, и разные чувствительности, и разные режимы, э-э, шопинга, и, и разные уровни того, что важно.
Так вот, тотально, ты можешь делать агрегации на, э-э, уровне магазина. Ты можешь делать агрегации на разном, э-э, уровне категорий. Не знаю, э-э, знаешь, для наших статистиков среди нас, я не мог поверить, но мы — недавно мы смотрели на это, и нам пришлось вернуть, э-э, CRP, знаешь, китайский ресторанный процесс.
Это, типа, способ агрегирования и, типа, естественного роста кластеризации. Так что по... Конкретно чтобы ответить на вопросы, которые, э-э, типа ты только что ставил, о том, как, как если, если покупатели ведут себя в разных категориях. И я такой: «Я не видел CRP с две тысячи первого». Это
[00:52:37] swyx: настолько — Что? Это настолько — Что такое... Нет, я не видел, я не видел этого.
Нет. Этого нет в моём обучении. Э-э,
[00:52:44] Mikhail Parakhin: но, но да, это, э-э, э-э, на самом деле, типа, это — была очень популярная, типа, теория, популярная в кругах NeurIPS в ранних двухтысячных, э-э, типа, приятная. И теперь, теперь у неё есть практические применения, э-э — Да... которые мы воскрешали.
[00:53:03] swyx: Да, потрясающе. Э-э, я, я вижу, я вижу, как это, типа, э-э, весёлая работа для тебя, где ты можешь применять все эти вещи.
Эм, да, да, так что супер круто. Супер круто. Так, окей, так, так любой, кто, кто знает, что такое CRP, и всегда хотел использовать их на работе, э-э, они, им стоит, им стоит точно присоединиться к Shopify. Окей, так у нас много, но я, я, я слежу за временем. Я, я действительно хотел, так сказать, осветить кое-что ещё.
Эм, я дам тебе выбор: UCP или Liquid?
[00:53:30] Mikhail Parakhin: Liquid. Я думаю, я думаю, по UCP, знаешь, типа, UCP очень важен для нас, и, и это просто мы — UCP, у нас есть структурированные, э-э, обсуждения, и ты можешь прочитать о них, и у нас есть, э-э, блог-посты, и у нас на самом деле большой релиз на этой неделе, типа с нашим каталогом.
О,
[00:53:46] swyx: окей.
[00:53:46] Mikhail Parakhin: Э-э, да,
[00:53:46] swyx: но — Я-в смысле, мы, мы можем, мы можем обсудить, так сказать, релиз вкратце, потому что мы выпустим это после того — после того как он уже анонсирован, так что неважно. Есть каталог, который вы, ребята, делаете?
[00:53:55] Mikhail Parakhin: Да. Так что мы, мы — Окей... мы привносим возможности целого, э-э, каталога Shopify.
По сути, теперь ты можешь искать товары, ты можешь делать поиск по конкретному ID, ты можешь делать массовые запросы, когда тебе надо привести несколько товаров. Тебе не надо знать заранее, что ты пытаешься показать, или продать, или оформить. Типа, ты можешь теперь, ты можешь теперь иметь это решённым в рантайме, и это большая область для инвестиций для нас и для неперсонализированного, и для персонализированного поиска, пытаясь предоставить по сути окно во всю вселенную товаров, которые продаются везде в мире.
И Shopify реально не совсем, но почти как надмножество всего, что продаётся. Теперь мы привносим это в UCP и, э-э, и, э-э, связывание идентичности — другая большая вещь для нас, э-э, чтобы ты, ты мог использовать, э-э, типа Google или какую угодно, какую угодно идентичность у тебя есть, э-э, минимизируя трение.
[00:54:56] swyx: Да. Так что
[00:54:57] Mikhail Parakhin: да, большой релиз для нас.
Но Liquid AI, о котором мы, конечно, никогда не говорим, и проблема, может, больше, больше согласуется с тем, что мы обсуждали ранее в этом разговоре.
[00:55:07] swyx: Конечно. Главное, что все понимают про Liquid, — это что он вдохновлён Worm, и я всё ещё не знаю почему. Мне любопытно твоё объяснение. Я думаю, ты, ты, э-э, ты можешь делать вещи очень доступными.
И ещё я думаю, типа, каков потенциал, типа, уровня эффективности, который ты получаешь из Liquid?
[00:55:23] Mikhail Parakhin: Ты — мы все знакомы с архитектурами трансформеров. И, э-э, долгое время была конкурирующая архитектура, она называется state space models. Так, так, SSM, э-э, знаешь, Chris, Chris Re, один из пионеров, и, и куча стартапов, э-э, пытающихся сделать их реальностью.
У них есть, э-э, значительные преимущества: главное — то, что они, э-э, гораздо быстрее и, э-э, меньше по объёму и не квадратичны по длине, знаешь, так сказать, э-э, линейны по, по, э-э, по длине твоего контекста. Но с state space models — Они так и не пробились до конца. Типа, они используются — у них есть, э-э, определённые ниши, где они процветают, их гибридные архитектуры полезны, но они так и не пробились до конца.
И liquid neural networks — это, можно думать о них как о следующем шаге, типа, э-э, так сказать, э-э, state-space model в квадрате. Это не-трансформерная архитектура, которая сложнее, чем state-space, и реально трудна для кодинга, если — если честно. Но это, эм, очень эффективно. Это, э-э, субли- суб, э-э, квадратично по, по длине твоего контекста.
Э-э, это очень компактный способ представления вещей, и это компания Liquid AI. Они... Их цель — продуктизировать это, и очень часто у тебя есть эта потребность, э-э, когда тебе нужен длинный контекст и маленькая модель, и ты хочешь иметь низкую латентность. Типа в целом это по сути на уровне трансформеров, и если делать гибриды с трансформерами, это, это даже лучше.
Вот почему мы в Shopify, когда мы пробовали несколько, и мы постоянно пробуем несколько моделей, несколько компаний, мы обнаружили, что для маленьких, особенно с низколатентными приложениями, когда у тебя низкая латентность и/или если тебе нужны более длинные контексты, Liquid был лучшим. И так мы всё ещё используем целый зоопарк и всегда, типа, очевидно, тестируем и используем всё, э-э, каждую опенсорсную модель и, знаешь, ощущается, что иногда даже каждую приватную модель.
Э-э, но Liquid забирает довольно приличную, э-э, по крайней мере внутреннюю долю Shopify. И причина, почему я воодушевлён, — да, потому что это, это единственная не-трансформерная архитектура, которую я нашёл по-настоящему конкурентоспособной. Э-э, и, э-э, знаешь, мы используем её для поиска и для, для длинного контекста, э-э, дистилляции Pulse и других.
Это обзор. Не знаю, насколько доступно, Ша, прости. Может, может, всё ещё слишком туманно.
[00:57:51] swyx: Я, я в смысле, я думаю, они не были так уж открыты насчёт деталей реализации. Я думаю... Я бы сказал, типа, Liquid не был, типа, если есть много опубликованных технических деталей, я их не читал, типа, формальной, так сказать, статьи о деталях реализации.
Э-э, но я, я действительно уловил, так сказать, связь между SSM и остальными. Это один из, так сказать, э-э, графиков, который, знаешь, показывал связь между, типа, полным вниманием против чего-то, что, э-э, больше типа RNN, в плане их, их эффективности. Эм, и потом, тот, другой график был этот старый, э-э, где он сравнивает против, э-э, некоторых других моделей.
Э-э, не совсем имеет правильную ось Y, но достаточно близко, где можно увидеть, типа, это по сути, скачкообразная разница в плане эффективности. Я думаю, сюрприз для меня был в том, что вы, ребята, э-э, активно используете это уже внутри Shopify. И типа, я, мне любопытно, типа, какие ограничения ты оптимизируешь, верно?
Это когда ты говоришь меньше — это, типа, размер 1B? Э-э, какого рода, типа, ограничение по латентности ты, ты оптимизируешь? Какой длины контекст, эм, так сказать, соображения, верно? Типа я думаю, например, верно, типа, в, в аудио-типа, типа кейсах использования, SSM по сути имеют неограниченную длину контекста, потому что они, они просто должны оперировать на, типа, самом, скользящем окне самого недавнего.
Э-э, мне просто как-то любопытно, типа, к-какой потенциал ты тут видишь?
[00:59:13] Mikhail Parakhin: Да. SSM по сути потому что, да, потому что состояние встраивает всю, всю нужную предыдущую информацию, или это допущение. SSM по сути имеют бесконечную длину контекста. Э-э, проблема с, э-э, ними в том, что выразительности там нет.
Э-э, э-э, Liquid — это по сути прокачанные SSM. Мы гораздо более выразительны, м-, э-э, сложнее опять же для кодинга. Есть, есть статья об этом. Ты можешь, можешь её посмотреть. Дифференциальное уравнение, развёрнутое и, и потом вычисленное как, э-э, реально как свёртка. Это немного запутанно. То, где мы, мы используем это, — конкретно либо для где нам нужна сверхнизкая латентность, и мы — был очень весёлый проект с, э-э, CentML и самой Liquid AI.
Мы запускаем это за, э-э, тридцать миллисекунд, крошечная модель, типа триста миллионов параметров, но мы запускаем её за тридцать миллисекунд, э-э, от и до, для поиска, когда ты, когда ты вводишь запрос, и потом мы производим все возможные вещи, что ты, что ты можешь иметь в виду под этим запросом, и какие-то, знаешь, э-э, не только синонимы, но, но, э-э, типа полное понимание запроса, всё, всё дерево того, что тебе может быть нужно, включая твою персональную персонализацию, потому что ты, может, делал, типа, предыдущие запросы, и опуская всё это в поисковый сервер, так что требования к латентности, очевидно, они очень, э-э, очень строгие.
Так что, так что тогда мы способны запускать это менее чем за тридцать миллисекунд, потому что, потому что у Liquid, знаешь, Qwen на этом не запускается. И даже Liquid, нам пришлось много работать с NVIDIA и чтобы... потому что почти всё не спроектировано в CUDA для или в, в текущем стеке для, для низкой латентности. Типа маленькие вещи, которые не имеют значения с большими моделями, знаешь, начинают иметь огромное значение, и нам пришлось это оптимизировать.
Есть другой конец спектра, где это максимальная пропуск-, э-э, пропускная способность для вещей типа, например, офлайн-категоризации, когда появляется новый товар. Нам надо сделать анализ. Нам надо назначить, где он в таксономии. Нам надо извлечь и нормализовать атрибуты. Нам надо сделать, э-э, знаешь, кластеры типа, о, это та же вещь, что продаёт другой мерчант, верно?
Это типа не- типа почти неограниченное, э-э, количество энергии, которое тебе надо потратить на это, потому что это, э-э, знаешь, это квадратичная как бы, э-э, проблема, и у нас миллиарды и миллиарды товаров. Так что тебя не так уж волнует латентность. Знаешь, это типа ночной batch-джоб, но ты, ты хочешь максимальную пропускную способность.
И обычно в тех случаях ты также иногда, типа для, э-э, Sidekick Pulse, тебе также нужен длинный контекст. Это... Мы говорим о моделях, может, в диапазоне семь, восемь миллиардов, э-э, параметров, э-э, где мы бы, мы бы взяли большую модель, типа мы бы взяли что-то огромное, самое большое, что мы можем, можем найти. Мы бы дистиллировали в Liquid под конкретную задачу, такую как, например, для нашего каталога, э-э, формулировки или для, для Pulse.
И потом мы запускаем это на очень большом масштабе, типа в batch-джобах. Потому что просто запуск... И, и она в той ситуации обходит очень часто обходит, э-э, Qwen или, да, Kimi больше на стороне рассуждений. Так что Qwen, Qwen я бы сказал, наверное, их главная альтернатива. Вот когда мы используем это. В смысле, не, не панацея, не, не реально, э-э, я бы не сказал, что это фронтирная модель в смысле, что она не собирается внезапно конкурировать с, э-э, GPT 5.4.
Э-э, но, но, э-э, э-э, это феноменальная цель для дистилляции, что прямо сейчас становится всё более и более важным с, э-э, взрывом использования токенов.
[01:03:00] swyx: Это, это штука только на сейчас, или ты думаешь, что дашь Liquid сто миллиардов долларов, и они сделают... Это, это просто больше масштаба, или, типа, что это ограничивает?
Знаешь, что мешает ей нарваться на те же проблемы, что были у SSM?
[01:03:14] Mikhail Parakhin: Их масштаб уже гораздо больше, чем у самого большого SSM, о котором я, я в курсе. Э-э, э-э — Вау, окей. Так что да. Так что, э-э, SSM был просто, был просто недостаточно выразителен, по моему мнению. Типа, эм, опять же, я уверен, я — я получу много пушбэка и, наверное, заслуженно.
Но, по моему мнению, SSM недостаточно выразительны, а, э-э, liquid-модели — да. Я думаю, э-э, особенно в их гибридной форме, когда скомбинированы с трансформером, типа, в стиле Mamba, они, наверное, лучшая архитектура, о которой я в курсе, типа, вообще. Но, конечно, Liquid AI не на масштабе, э-э, знаешь, Anthropic, или, или Google, или OpenAI в плане вычислений.
Так что я не думаю, э-э, они... Я думаю, если, если бы они, э-э, если бы у них был похожий уровень вычислений, они, они были бы очень конкурентоспособны и, может, даже обошли бы, э-э, самые большие модели, по крайней мере из того, что я видел. У них нет, э-э, такого уровня, э-э, инвестиций, но у них всё же приличные инвестиции, и, и это, э-э, это, э-э, определённо для этого сценария меньших моделей и дистилляции в них — второе ни после кого очень часто.
Мы очень всеядны, и мы исходим чисто из заслуг. Так что в момент, когда они начнут быть конкурентоспособными, мы такие, мы переключимся на что-то ещё, и мы постоянно тестируем. Но, но пока что, если ты посмотришь на прогрессию, если я нарисую график наших нагрузок на Liquid против наших нагрузок на, я бы сказал, Qwen, который ещё одна потрясающая модель и, наверное, э-э, другой стандарт внутри Shopify, я бы сказал, я бы сказал, э-э, Liquid определённо забирает долю.
[01:04:48] swyx: Я думаю, это очень многообещающе и, наверное, лучшее объяснение, которое я слышал, э-э, напрямую от, от кого-то причастного к Liquid.
Эм, я, у меня Maxime Lebon приезжает на, э-э, мою конференцию в Лондоне, э-э, на этой неделе, так что я, эм, мы — О, это здорово... услышим больше от него. Я — потому что, э-э, был этот, типа, Liquid, э-э, инвесторский день или что-то типа, э-э, год или, или полтора года назад, и я, я думаю, там просто не было так уж много технических деталей, которые, я думаю, были, обращались к моей аудитории, типа, потенциальных клиентов и пользователей, верно?
Что, типа, да, это нормально. Типа, знаешь, может, может, э-э, там, э-э, нам, нам всё ещё надо подождать больше результатов, которые выйдут, э-э, прежде, прежде чем это. Но я думаю, это было бы новостью для многих людей, что вы, ребята, на самом деле активно уже используете это для высокочастотных кейсов использования. Я также хотел подсветить Sidekick Pulse, который, э-э, мы не осветили, и у нас, наверное, нет времени осветить, но это нечто, что ты также запустил, э-э, недавно.
По сути RecSys, эм, но также нечто, что, типа, я — другой тренд RecSys, который я, я освещал много, э-э, типа со стороны YouTube, даже RecSys у xAI, э-э, был RecSys на базе LLM, верно? Э-э, который, я думаю, ты тоже по сути используешь liquid-модели для, но они просто бросают трансформеры на, на проблему.
И, может, это, э-э, э, так сказать, гибридный архитектурный сдвиг, который произойдёт, чтобы вместить такого рода длинный контекст и, и ни- и высокую эффективность, которая, которая тебе нужна. У меня реально нет сильного мнения там, типа, кроме того, что я бы подсветил любому, ту, ту, работу, которую делает сообщество RecSys на базе LLM, она, она тоже очень интересна там.
[01:06:22] Mikhail Parakhin: Да. То — опять же, штука, чтобы тебя воодушевить, — это что это не просто LLM, смотрящие на вещи, это также HSTU-модель, делающая тот контрфактический анализ — Да... где мы моделируем целое, э-э, предприятие как сущность и, и его действия, и потом смотрим, что, что будет, что будет происходить.
[01:06:39] swyx: В целом, я думаю, это, это пред- это всё представляет, типа, э-э, огромное, типа...
Я думаю, э-э, знаешь, э-э, не было такой уж глубокой AI-истории у Shopify, когда он начинался. Э-э, это был просто плагин для WordPress, верно? Но теперь, знаешь, вы — sh- те, те storefront’ы, э-э, e-commerce, знаешь, э-э, хранители для, типа, столь многих, столь многих людей, и вы, вы реально, типа, применяете весь AI, э-э, методы и самые передовые штуки.
Э-э, так что, типа, я, я думаю, знаешь, наш разговор, типа, сегодня, типа, реально, э-э, о, я думаю, открыл мне глаза на многое. Так что спасибо, что делаешь это. Э-э, это реально потрясающий, эм, обзор того, э-э, что ты делаешь.
[01:07:15] Mikhail Parakhin: Окей. Спасибо, что говоришь это, Шон, и, э-э, спасибо, что пригласил меня. Конечно, всегда удовольствие поговорить с людьми, которые, знаешь, глубоко технические и знают, о чём говорят.
[01:07:25] swyx: Да. В смысле, э-э, очень мало людей настолько технические, как ты, но хотя бы я могу, я, я могу типа как-то сле- э-э, смутно следить. Да. Так что, так, окей, эм, есть, есть наб- есть призыв к найму, э-э, знаешь, э-э, какие-нибудь, какие-нибудь конкретные роли, которые ты ищешь, про которые ты типа: «Окей, если ты знаешь, как решить, эм, эту проблему, э-э, свяжись»?
[01:07:45] Mikhail Parakhin: Да. Э-э, вещи, которые я бы точно выделил — это что если ты ML-человек или если ты человек data science, и, э-э, э-э, мы, мы, у нас огромная потребность в большем, большем числе людей, перемалывающих данные, так сказать. Или, удивительно, если ты человек по распределённым базам данных, и, э-э, э-э, знаешь, мы, мы думаем, что есть способ использовать LLM, чтобы переосмыслить, как мы делаем распределённые базы данных, и мы много работаем с Yugabyte там.
И так если ты — имеешь интерес в этих областях, мы — типа Shopify может быть лучшим местом в мире для тебя. Это довольно хорошее место и для других, знаешь, других дисциплин тоже.
[01:08:24] swyx: Круто. Эм, я думаю, это были все вопросы, которые у меня были. Я сказал, у меня есть одна, так сказать, бонусная штука, если ты, если ты хочешь предаться, э-э, какой-то истории Bing.
Какие твои, э-э, я думаю, выводы или какие-нибудь, какие-нибудь весёлые анекдоты про Sydney?
[01:08:38] Mikhail Parakhin: Какие-нибудь весёлые анекдоты про Sydney? Ну —
[01:08:41] swyx: Да, это было очень интересно, знаешь — я, я думаю, это, типа, разбудило людей к, типа, этой личности, которая, которая, которая в- эмерджентно возникла.
[01:08:48] Mikhail Parakhin: Забавная вещь, типа, в смысле, самый интересный анекдот — это что Sydney был сначала зашипан, э-э, в Индии для, э-э — и, э-э, это было, э-э, не замечено долгое время.
И первая реализация Sydney даже не имела модели OpenAI под собой. Это была, это была, э-э, Turing Megatron, эм, Microsoft, э-э, и совместная модель NVIDIA. Э-э, и были, э-э, да, именно. Это, это та, та штука, которую люди думали, что это пранк, э-э, потому что это было, типа, не многие люди были знакомы с LLM в, в тот момент ещё, и думали типа: «Это не может быть автоматическим.
Ты, у тебя, э-э, знаешь, люди, должно быть, думают». И потом даже они жаловались, что: «О, этот — мой — этот, этот чат-бот газлайтит меня». И потом, потом люди, типа, что, что почти все не до конца осознают — это что не было случайностью, что, э-э, Sydney был Sydney. В смысле, мы потратили много, много усилий на формирование личности.
Э-э, мы — в смысле, это, это было немного моим наследием Yandex, где раньше мы делали эту Алису, э-э, э-э, цифрового ассистента, э-э, на которой мы научились — Чат-бот, да... да. Мы, мы научились важности, э-э, формирования личности, и так здесь мы принесли, сделали много формирования личности. Э-э, так что это не было полностью эмерджентным сценарием.
Это было, это было также немного дерзко. То, чему мы научились в, в тех экспериментах, — это что ты хочешь быть вежливым, но ты хочешь быть немного на грани, и это притягивает людей. Я не видел, с тех, э-э, типа тех дней, я не видел, чтобы кто-нибудь пробовал в точности тот режим. Я думаю, мы увидим, мы увидим больше этого в какой-то момент, но, э-э, да.
Много, куча хороших воспоминаний, знаешь. И кстати, самый первый dev lead Sydney — это, э-э, э-э, Andrew McNamara работает в Shopify, э-э, и глава Sidekick и, и наш — и Pulse — О. И куча всего этого на самом деле, да, в его ве-ведении.
[01:10:53] swyx: О, окей. Э-э, я — это, это ещё один весёлый факт. Ты, ты — Да
снова собираешь команду. Да. Да, это круто. Типа, я думаю, много, э-э, людей впервые проснулись к, к идее личности AI там. И, типа, я думаю, теперь, может, с OpenClaw, типа, явно промптящим, типа, весёлую личность, я думаю, что, что это реальное преимущество для, для людей, верно? И потом я, я думаю, может, единственный другой раз, когда это, типа, реально вышло в общественное сознание, — это Go to Gate Claude.
Но да, я думаю, э-э, знаешь, надеюсь когда-нибудь мы получим Shopify Sydney.
[01:11:23] Mikhail Parakhin: Ну, у нас есть Sidekick. Это — Да... это другая, немного другая штука. Да.
[01:11:28] swyx: Да. Si-Sidekick был типа твой, твой изначальный большой запуск для, для AI-штук. Э-э, да, круто. Э-э, потрясающе. Э-э, спасибо большое. Вы, ребята, делаете потрясающую работу.
Э-э, честно, если бы я был клиентом Shopify, инвестором Shopify, эм, слыша всю работу, которую вы, ребята, делаете на этой технической стороне, это, типа, з-заставляет меня чувствовать себя более уверенно, типа, окей, просто выбирай Shopify, верно? Типа, типа, ты никогда не будешь делать это внутри, что, очевидно, и есть то, чего ты хочешь. Но, типа, э-э, да, в смысле, типа, это — это и есть то, чем является идеальная платформа, типа, что ты делаешь все те вещи, которые ни один отдельный человек не мог бы сделать на их масштабе, но ты можешь на твоём масштабе.
Э-э, очень захватывающие проблемы.
[01:12:01] Mikhail Parakhin: Именно. Именно. Да. И создавая сетевой эффект, и сложно не согласиться. Если ты не используешь Shopify, тебе стоит.
[01:12:09] swyx: Да, потрясающе. Окей, ну, вот и всё. Спасибо большое.
Обсуждение этого эпизода
