AIE Europe Debrief + Agent Labs Thesis: Unsupervised Learning x Latent Space Crossover Special (2026)
Кроссоверный выпуск Latent Space и подкаста Unsupervised Learning, записанный сразу после конференции AIE Europe (но до сделки Cursor-xAI), спустя год после первого совместного эпизода. Swyx и Jacob Effron обсуждают войны AI-кодинга: Claude Code от Anthropic приносит около $2,5 млрд ARR, OpenAI и Cursor — примерно по $2 млрд каждый. Главный тезис swyx: если 2025-й был годом кодинг-агентов, то в 2026-м они «вырываются за пределы» и берутся за всё остальное, поскольку софт пожирает мир. Обсуждаются «плейбук агентских лабораторий» (старт на frontier-моделях, специализация под домен, затем обучение своих моделей), бум открытых моделей и альтернативных чипов (Cerebras), продажа продуктов агентам, а не людям, и давление на традиционный SaaS. В конце swyx говорит о памяти, персонализации и world models, ссылаясь на эссе Fei-Fei Li о пространственном интеллекте и аналогию с «Умницей Уиллом Хантингом»: LLM знают всё из книг, но ничего не прожили.
Разбор AIE Europe + тезис об агентских лабораториях: специальный кроссовер Unsupervised Learning × Latent Space (2026)
Сегодня, спустя год после первого специального кроссовера Unsupervised Learning × Latent Space , мы подводим итоги и обсуждаем всё, что изменилось (а изменилось многое) в мире AI. Этот выпуск был записан сразу после AIE Europe, но до сделки Cursor-xAI.
Unsupervised Learning — это подкаст, в котором берут интервью у самых проницательных умов в AI о том, что реально уже сегодня, что станет реальностью в будущем и что это значит для бизнеса и мира, помогая билдерам, исследователям и фаундерам разбирать и понимать крупнейшие прорывы.
Спасибо Jacob и продюсерской команде UL за то, что приняли нас и смонтировали этот выпуск!
Jacob Effron
Полный эпизод на их YouTube
Мы обсуждаем:
взгляд swyx из самого центра духа AI-инженерии: OpenClaw, инженерия харнессов, контекстная инженерия, evals, observability, GPU, мультимодальность и почему треки конференций теперь показывают, что важнее всего в AI. Стабилизировалась ли наконец AI-инфраструктура: почему «skills» могут быть минимально жизнеспособным форматом упаковки для агентов, почему инфраструктурным компаниям приходилось переизобретать себя каждый год и почему прикладным компаниям было проще пережить волатильность моделей. Спор о вертикальных vs. горизонтальных AI-стартапах: почему прикладные компании могут выступать аутсорсной AI-командой для предприятий, почему некоторые горизонтальные компании всё ещё важны и почему песочницы (sandboxes) могут быть самым явным переизобретением классической облачной инфраструктуры для эпохи AI. «Плейбук агентской лаборатории»: старт на frontier-моделях, специализация под свой домен, а затем обучение собственных моделей, когда у вас достаточно данных, нагрузки и пользовательского поведения, чтобы оправдать экономию на стоимости и задержке. Почему обучение доменно-специфичных моделей реально, а не просто маркетинг: как компании вроде Cursor и Cognition могут заставить пользователей выбирать их внутренние модели и почему поиск, доменная специализация и дистилляция становятся всё важнее. Открытые модели, кастомные чипы и альтернативная инференс-инфраструктура: почему swyx стал больше верить в open source, почему не-NVIDIA-железо внезапно получает реальное внимание и почему каждое 10-кратное ускорение может открыть новые продуктовые опыты. Что значит продавать агентам, а не людям: почему опыт агентов (agent experience), возможно, по большей части просто хороший developer experience под другим названием, почему API и документация важны как никогда и как обладатели данных предобучения наращивают преимущества в мире, где агенты на первом месте. Почему память и персонализация могут стать следующим большим рычагом: сегодня модели в основном вознаграждают частоту упоминаний, но в будущем swyx ожидает, что выбор продукта будет гораздо сильнее формироваться персонализированными системами памяти. Состояние войн AI-кодинга: почему кодинг стал одной из крупнейших и быстрорастущих категорий в AI, как Anthropic, OpenAI, Cursor и Cognition оседлали эту волну и почему у категории, возможно, ещё есть куда расти. Исследование возможностей vs. эффективность: почему индустрия всё ещё в фазе «токен-максинга» и обилия экспериментов, где людей вознаграждают за то, что они тратят больше, а не меньше. Claude Code vs. Codex и странная «липкость» кодинг-продуктов: почему первый магический опыт продукта может значить больше, чем ожидалось, и почему большая загадка в том, почему лишь несколько имён пока стали настоящими победителями. Как может выглядеть конечное состояние рынка кодинга: два крупных игрока, длинный хвост нишевых продуктов и возможный передел, если Microsoft, Mistral, xAI или китайские лаборатории сильнее надавят на кодинг. Где у прикладных компаний всё ещё есть пространство против лабораторий: почему frontier-лаборатории пытаются расширяться в вертикали вроде финансов и здравоохранения, но всё же оставляют место сфокусированным компаниям, которые владеют рабочим процессом и «последней милей». Почему кодинг может быть превью каждого другого AI-рынка: первая категория, по-настоящему ушедшая в параболу, самый явный пример столкновения компаний-разработчиков фундаментальных моделей с прикладными компаниями и шаблон того, как могут развиваться будущие вертикальные AI-рынки. Почему оценки в AI теперь ощущаются безграничными: от продуктов с миллиардом долларов ARR, построенных за год, до триллионных рыночных капитализаций — swyx и Jacob разбирают, как AI-рынок сломал традиционную стартап-интуицию о масштабе и устойчивости. Потребительский AI vs. кодинг-AI: почему потребительская категория ChatGPT, возможно, вышла на плато по частоте и дизайну продукта, тогда как кодинг продолжает ощущаться категорией ежедневного использования с реальным импульсом. Следующий продуктовый фронтир за пределами кодинга: потребительские агенты, computer use и «кодинг-агенты, вырывающиеся за пределы», с тезисом swyx о том, что 2025-й был годом кодинг-агентов, а 2026-й может стать годом, когда они начнут делать всё остальное. Действительно ли фундаментальные модели убивают категории стартапов: почему swyx меньше переживает за ранних фаундеров, больше — за стартапы среднего размера и традиционный SaaS, и почему создание чего-то амбициозного теперь может быть лучшим собеседованием в frontier-лабораторию. AI vs. SaaS и внутренняя культурная война вокруг внедрения: напряжение между AI-нативными сотрудниками, которые хотят выкинуть дорогой софт, и скептиками, считающими, что наспех собранные на AI замены создают хрупкие системы. Почему традиционный SaaS может быть под реальным давлением: личный опыт swyx, потратившего шестизначную сумму на софт для управления событиями и спонсорами, соблазн дёшево пересобрать его на AI и более широкий вопрос о том, будут ли команды доверять кастомным AI-нативным заменам. Биобезопасность, безопасность и доступ к frontier-моделям: почему swyx поднял тему биобезопасности на ужине с Mike Krieger из Anthropic, почему Krieger возразил, что безопасность — более важная проблема, и что ограниченные релизы моделей говорят об Anthropic vs. OpenAI. Эра гигантских моделей: почему системы на 10T+ параметров могут быть лишь временной фазой нормирования до прихода более крупных кластеров, почему лаборатории, возможно, всё чаще будут держать свои самые мощные модели в секрете ради дистилляции и почему один лишь масштаб больше не ощущается полным ответом. Память как самый медленный фактор масштабирования в AI: почему контекстные окна улучшались гораздо медленнее, чем надеялись, почему контекст в миллион токенов всё ещё не изменил большинство реальных рабочих процессов и почему память может быть ключевым узким местом для следующего поколения систем. В чём swyx изменил своё мнение за последний год: стал больше верить в открытые модели, больше убеждён, что верхний эшелон агентских стартапов ведёт себя совсем иначе, чем медианная AI-компания, и больше оптимистичен насчёт файнтюнинга и специализированной адаптации моделей. «Тёмные фабрики» (dark factories) и кодинг без ревью человеком: следующий фронтир после кода, не написанного человеком, где модели не только пишут код, но и выкатывают его без человеческого ревью, вынуждая компании переосмыслить тестирование и верификацию с первых принципов. Почему RL и пост-тренировка могут значить больше, чем предполагали: даже если получившиеся модели выбрасываются каждые несколько месяцев, данные, рабочие процессы и доменно-специфичные улучшения остаются. Синтетические рубрики, Doctor GRPO и многошаговый RL: почему обучение с подкреплением становится гораздо более доменно-специфичным и многошаговым, чем многие осознают, открывая дверь к гораздо более глубокой кастомизации. Следующий фронтир после кодинга: память, персонализация и world models, в том числе почему swyx считает, что world models важны не только для робототехники или игр, но и для того, чтобы дать AI нечто более близкое к прожитому пониманию. Fei-Fei Li, пространственный интеллект и аналогия с «Умницей Уиллом Хантингом»: идея о том, что сегодняшние LLM, возможно, знают всё, прочитав это, но всё ещё лишены прожитого опыта, который превращает знание в более глубокий вид интеллекта.
Тайм-коды
00:00:00 Превью: войны AI-кодинга, давление на стартапы и структура рынка00:00:28 Добро пожаловать на кроссовер Latent Space × Unsupervised Learning00:01:17 На чём сейчас сосредоточены AI-билдеры: OpenClaw, харнессы и инфраструктура00:04:33 Почему AI-инфраструктура сложнее приложений и где стартапы всё ещё могут выиграть00:06:39 Стоит ли компаниям обучать собственные модели?00:09:28 Открытые модели, кастомные чипы и новая гонка инференса00:11:25 Проектирование продуктов для агентов, а не только для людей00:16:49 Состояние войн AI-кодинга в 2026 году00:19:27 Исследование возможностей, токен-максинг и почему кодинг уходит в параболу00:21:41 Как может выглядеть конечное состояние рынка кодинга00:23:50 Где у прикладных компаний всё ещё есть пространство против лабораторий00:27:02 Почему оценки и рыночные колебания в AI ощущаются беспрецедентными00:28:56 Потребительский AI vs. кодинг-AI и почему «липкие» продукты всё ещё важны00:32:28 Каким может быть следующий прорывной опыт продукта00:32:53 Тезис 2026: кодинг-агенты вырываются за пределы и пожирают мир00:35:27 Уничтожают ли фундаментальные модели категории стартапов?00:37:33 AI vs. SaaS, vibe coding и внутренние напряжения в командах00:40:01 Биобезопасность, безопасность и политика ограниченных релизов моделей00:42:19 Гигантские модели, ограничения по вычислениям и пределы масштаба00:44:30 Память как реальное узкое место в AI00:44:57 Почему swyx изменил мнение об открытых моделях00:47:44 Тёмные фабрики и будущее кодинга без ревью человеком00:49:36 Почему пост-тренировка и RL могут значить больше, чем думают00:51:50 Память, world models и следующий фронтир интеллекта00:53:54 Аналогия с «Умницей Уиллом Хантингом» для LLM00:54:21 Заключение
Транскрипт
[00:00:00] swyx: Разве это не безумие? Эта цифра просто не укладывается в голове.
[00:00:03] Jacob Effron: Каково сегодня состояние войн AI-кодинга?
[00:00:05] swyx: Мы находимся в фазе своего рода исследования возможностей. Общий тезис, который я сейчас продвигаю, в том, что так же, как 2025-й был годом кодинг-агентов, 2026-й — это кодинг-агенты, вырывающиеся за пределы, чтобы делать всё остальное.
[00:00:16] Jacob Effron: Тебя беспокоит, что фундаментальные модели просто зайдут в кучу этих стартап-категорий?
[00:00:21] swyx: Стартапы среднего размера. Да.
[00:00:23] Jacob Effron: Как ты думаешь, каким будет конечное состояние этого рынка?
[00:00:25] swyx: чтобы структура рынка существенно изменилась? Понадобилось бы
[00:00:28] Jacob Effron: сегодня в Unsupervised Learning. У нас был весёлый эпизод и то, что по-настоящему стало ежегодной традицией, — кроссовер-эпизод с нашими друзьями из Latent Space.
Мы со swyx сели и поговорили обо всём, что происходит сегодня в AI-экосистеме. О том, что мы думаем о различных изменениях на уровне моделей, что происходит в мире инфраструктуры, о войнах кодинга и о куче других вещей. Это огромное удовольствие — делать это с человеком, которого я по-настоящему уважаю, и ещё одним отличным подкастером в этой игре.
Без лишних слов — вот наш эпизод. Что ж, swyx. Это, э-э, супер-весело — снова вернуться с ещё одним кроссовером Unsupervised Learning × Latent Space.
[00:01:02] swyx: Да,
[00:01:02] Jacob Effron: Чувствую, что можно начать с многих точек, но знаешь, одна вещь, которую я всегда нахожу захватывающей, э-э, в том, как ты проводишь своё время, — это то, что ты, очевидно, находишься в эпицентре этого инженерного движения и сообщества, проводишь эти мероприятия и конференции и устраиваешь эти.
Классные доклады и, я думаю, просто отлично чувствуешь пульс духа времени — того, что происходит.
[00:01:16] swyx: Да.
[00:01:17] Jacob Effron: Может, для начала — какие самые большие темы сейчас занимают умы людей?
[00:01:21] swyx: Да, я только что вернулся из Лондона, э-э, где мы проводили AIE Europe, и сейчас мы делаем примерно по одной в квартал, что, ну, ты
[00:01:27] Jacob Effron: реально нарастил
[00:01:27] swyx: , надеюсь
[00:01:28] Jacob Effron: нарастил, нарастил темп.
[00:01:29] swyx: Стараемся. Пытаемся соответствовать скорости AI, ну
знаешь?
[00:01:30] Jacob Effron: Да, точно. Темы, наверное, были бы совершенно другими, я полагаю. Э-э,
[00:01:33] swyx: да. Знаешь, я определённо курирую треки, так что по ним видно, что я думаю. Когда видишь список треков и спикеров, которых я приглашаю, очевидно, OpenClaw — это, типа, история последних четырёх-пяти месяцев, а сразу под этим.
Я бы поставил инженерию харнессов и контекстную инженерию — две связанные темы в области агентов и RAG. А дальше есть длинный хвост вечнозелёных вещей вроде evals, observability, GPU, э-э, и LLM-инфраструктуры, и просто в целом. У нас также есть другие апдейты по мультимодальности и, э-э, генеративным медиа, назовём это так.
Хм, но я определённо… первые три, что я упомянул, у людей на уме. Да.
[00:02:13] Jacob Effron: Я думаю, харнессы особенно, типа, такие интересные. Хм, знаешь, недавно был этот твит от Harrison Chase, CEO LangChain, который зацепил мой взгляд: он сказал, знаешь, наконец-то ощущается, что у нас есть стабильность, э-э, вокруг инфраструктуры для, ну, знаешь, вокруг AI.
И я думаю, то, что он по сути подразумевал, это: смотри, за последние два-три года, как компания в эпицентре AI-инфраструктуры, это было немного похоже на игру в «прихлопни крота», верно? Тебя постоянно мотало вместе с тем, как эволюционировали паттерны разработки.
[00:02:36] swyx: Для Harrison — точно, верно? Типа, ему по сути приходилось переизобретать компанию каждый год с тех пор, как он основал LangChain.
Верно? Это был LangChain, LangGraph и LLM-агенты и, типа, э-э, я думаю, он один из самых гибких, ловких и проницательных людей в этом плане. Да. Да.
[00:02:49] Jacob Effron: Говорит теперь — теперь наконец время стабильности
[00:02:51] swyx: это. Да.
[00:02:52] Jacob Effron: Да. Хм, ты с этим согласен или как ты воспринимаешь эту мысль?
[00:02:56] swyx: Я думаю, что. Иногда очень дорого обходится говорить «на этот раз всё иначе», но когда ты просто пишешь код, на самом деле нормально просто попытаться сделать ставку, и я думаю, может даже не иметь значения, верна эта ставка или нет.
Типа, мне даже не так уж важно, потому что можно быть правым в тезисе, но если ты не разберёшься, как монетизировать тезис, то кого волнует, что ты первым что-то сказал. При этом, хм, всё же ощущается, например. Э-э, мы прошли через множество разных способов упаковки интеграций с, э-э, агентами.
И ощущается, что мы пришли к skills, которые являются, типа, минимально жизнеспособным форматом. Да. Это просто markdown-файл, э-э, с прикреплёнными к нему скриптами, и я не вижу, как это можно сделать проще. И поэтому есть некоторое оправдание для. Стабильности вокруг харнессов. Я чувствую, что может быть больше адаптации в отношении, скажем, элементов реального времени, или субагентов, или памяти, или любой из этих, скажем, агентских дисциплин — в агентской инженерии.
Э-э, но если, если тезис в том, что окей, ты просто хочешь, чтобы агенты были LLM с инструментами в цикле, с файловой системой, чтобы они могли делать. Retrieval, с skills и всем этим стандартным тулингом, который теперь кажется относительным консенсусом, то, наверное. В этом есть смысл. Хм, я просто думаю, что нет смысла пытаться ставить свою репутацию на тезис, что мы «уже там», потому что, если оно снова изменится, просто меняйся вместе с ним.
Это нормально.
[00:04:33] Jacob Effron: Да. Знаешь, меня всегда поражало, насколько это сложнее для инфраструктурных компаний, чем для прикладных. Типа, очевидно, я думаю, да. Знаешь, на стороне приложений видно, ну, знаешь, Brett Taylor из Sierra, Max из Lara. Типа, они такие: смотри, мы строим, знаешь, то, что находится впереди моделей, и мы готовы выбрасывать всё каждые три месяца, знаешь, по мере того как модели становятся всё лучше и лучше.
Именно. Да. Но то, что у тебя там по крайней мере есть, — это. У тебя есть. Э-э, у тебя есть конечный клиент, верно? Который, типа, прилично «липкий». Хм, знаешь, они в основном останутся, знаешь, они хотя бы дадут тебе шанс построить эти штуки. Что я всегда находил более сложным, э-э, на уровне, типа, знаешь, переизобретай-себя-каждые-три-месяца инфраструктурного слоя, — это, типа, знаешь, разработчики определённо более придирчивая аудитория, может быть, чем бухгалтерская фирма или, э-э, знаешь, банк.
Да. И поэтому это определённо более сложная позиция — постоянно переизобретать себя.
[00:05:17] swyx: Да. Да. Да. И, и, типа, когда они уходят, это, типа. Очень полностью. Типа, они уйдут к, типа, новой горячей штуке, э-э, потому что там, типа, нет защищённости, наверное. Типа, даже, даже если ты база данных, типа, э-э, люди могут мигрировать нагрузки с баз данных.
Типа, это, это известная штука. Э-э, так что я думаю, что по сути то, о чём мы говорим, — это спор о вертикальном vs. горизонтальном, э-э, в AI-стартапах. И, э-э, я думаю об этом ещё и так: когда ты. Хм, Lara, когда ты bridge, типа, ты — аутсорсная AI-команда, верно? Ты, твоя работа — применять любые передовые AI-методы.
[00:05:55] Jacob Effron: Да. Типа, этот слой-переводчик между возможностями модели и твоими
[00:05:57] swyx: собственными клиентами. Да. К конечным клиентам, и, типа, ну, если бы у них не было тебя, им пришлось бы нанимать своих, а нанимать своих они не будут, так что у них есть ты. И, типа, я думаю, это, типа, разумно, типа, очень устойчиво к любым там трендам и открытиям, которые люди делают на инженерном слое.
Я всё же думаю, что есть, хм. Типа, строятся вроде как полезные горизонтальные компании, но все они. Очень похожи, типа, на переизобретения классического облака в эпоху AI, и главное из них — это песочницы (sandboxes). Да. Хм, что, типа, это ещё одна форма compute, ребят, типа, давайте не будем слишком возбуждаться по этому поводу. Но я имею в виду, типа, нагрузки огромны.
[00:06:38] Jacob Effron: Верно.
[00:06:38] swyx: Да.
[00:06:39] Jacob Effron: Интересно, и мне кажется, что в рамках этого, знаешь, вопросы, которые люди задают про инфраструктуру, во многом крутятся вокруг того, в какой степени компаниям стоит иметь собственные AI-команды и что им стоит делать своими силами.
И, знаешь, э-э, я думаю, есть вопросы вроде: стоит ли людям обучать собственные модели? Стоит ли людям делать, знаешь, RL своими силами на основе данных, которые у них есть? Мне кажется, знаешь, приходится эволюционировать свои взгляды на это каждые три месяца в таком темпе. Но где, где ты в этом сегодня?
[00:07:00] swyx: Я думаю, ну, на самом деле все модели пошли вверх. Хм, и, очевидно, я вовлечён в Cognition, а также Cursor делает много собственного обучения моделей. И я думаю, что это часть того, что я называю плейбуком агентской лаборатории, где ты начинаешь с передовых моделей от, э-э, больших лабораторий и, э-э, специализируешься под свой домен.
Но как только у тебя достаточно нагрузки и достаточно качественных данных от пользователей, то ты, очевидно, можешь обучать собственные модели и, типа, сильно экономить на стоимости и задержке и всём этом хорошем. Хм, ты также получаешь, типа, маркетинговый бонус — назвать это каким-нибудь модным именем и выпустить какой-нибудь research.
[00:07:38] Jacob Effron: со своего места.
Я не могу понять, насколько это, знаешь, реальная ценность, которую дают конечному пользователю. И насколько это тот самый маркетинговый бонус, верно? Кажется, какая-то комбинация
[00:07:45] swyx: Я думаю, и то и другое.
[00:07:46] Jacob Effron: Да.
[00:07:46] swyx: Хм, нет, нет. Там, там действительно есть реальная ценность. Хм, и ты, ты знаешь это по ряду причин. Типа, во-первых, даже когда это не субсидируется, люди выбирают это как одну из топ-четырёх-пяти.
Это и Composer 2, и, э-э, Sweet 1.6 — одна из топ-пяти моделей. Типа, на, на честном рынке? На свободном рынке, да. При, при, при переключении модели. Люди всё-таки её выбирают, и, типа, это не субсидируется. Типа, так что это настолько хорошо, насколько может быть. Э-э, но помимо этого, типа, доменно-специфичные модели, например. Для поиска, который, который есть у обеих компаний, абсолютно имеет, имеет огромный смысл.
Все говорят, типа, да, нам всегда, всегда стоит так делать. И честно, типа, я думаю, инфраструктура для этого становится проще с, хм, типа, штукой Tinker от Thinking Machines, а также первичными, типа, э-э, лабораторными штуками. Да, типа, это один из тех, типа, разворотов горького урока (bitter lesson), где ты сначала бутстрапишься на крупных моделях и моделях общего назначения, чтобы вырасти.
А по мере того как ты получаешь очень чётко определённые нагрузки, которые просто большого объёма, но не большой вариативности, хм, то ты просто дистиллируешь до меньшей модели и запускаешь её сам. Верно. Что, типа, абсолютно имеет смысл.
[00:08:50] Jacob Effron: В чём мне менее ясно — это, типа, кейс DIY RL, который, я думаю, в основном про, знаешь, улучшенное, э-э, качество для, для разных вещей.
Очевидно, наверное, есть, типа, более эффективные способы, знаешь, получить меньшую модель, которая быстрее и дешевле. И будет интересно посмотреть, действительно ли. Знаешь, очевидно, у тебя было, знаешь, э-э, два-три года назад, вся эта история с компаниями, которые, знаешь, делали предобучение и заявляли о лучших результатах в своих доменах, чем, и оказывались как бы «сваренными» по мере того, как каждая итерация модели улучшалась.
Знаешь, я задаюсь вопросом, не разыграется ли похожая история в, э-э, в, в, в RL-пространстве. Да, для фокуса на, на чистых результатах и качестве, а не на стороне стоимости, где явно собственные модели ради стоимости на масштабе имеют огромный смысл.
[00:09:28] swyx: Я думаю, что это две стороны одной медали.
Типа, ты по сути всегда хочешь держать, э-э, качество постоянным или жертвовать чуть-чуть качества ради резкого снижения стоимости. И это верно для всех. Э-э, один элемент, который я хотел вытащить наружу, который очень в пользу открытых моделей, — это кастомные чипы. Так что это были бы Cerebras, а также Groq. А ещё есть огромный диапазон всего между ними.
Это была огромная история в этом прошедшем году — что просто всё не-NVIDIA взвинчивается в цене, включая, типа, чёртов MatX, который работает на, что очень, что очень приятно для меня, но я думаю, один из тех случаев, когда, типа, о, типа, внезапно, потому что число альтернативного. Жел-, э-э, железа растёт, и инференс, который можно получить, безумно высок.
Типа, хм, мы говорим о тысячах токенов в секунду вместо менее ста. Так что компромисс по качеству больше так не держится, потому что скорость такая высокая.
[00:10:24] Jacob Effron: Ты видел, чтобы много компаний всё поставили на альтернативный чип?
[00:10:26] swyx: Так вот, Cognition — да. На Cerebras, э-э, и так же OpenAI.
Хм, э-э, и так что нет, не думаю, что помимо этого, э-э, и это, ты думаешь, это, типа, в основном, это предвестие, это, да. Раньше я был как бы скептиком в плане, типа, окей, и что с того, что я получу свой инференс на ста токенах в секунду, ускоренный до 200 токенов в секунду. Это всего лишь в два раза быстрее.
Это не такое уж большое дело. Хм, но когда ты, э-э, я думаю, каждое 10x действительно разблокирует другой паттерн использования. Хм, и у нас есть доказательства в Groq и некоторых других. Что ты действительно можешь, хм, резко улучшить скорость инференса, и что из этого выйдет? Я даже толком не знаю, типа, так сложно предсказать, когда целые приложения просто появляются разом.
Да. Э-э, и это к тому же не так уж дорого, верно? Так что, типа, хм, это одна из тех вещей, где, типа, я, я думаю, что инвестиционный цикл будет многолетним. Хм, и я. Предостерёг бы людей не списывать это слишком, слишком быстро.
[00:11:25] Jacob Effron: Да. Я имею в виду, ещё один, типа, инфраструктурный вопрос, по которому мне было любопытно услышать твои мысли: очевидно, кажется, что всё чаще многие из передовых инфраструктурных компаний строят для агентов как покупателей их продукта или пользователей их продукта, верно?
[00:11:35] swyx: О-о,
[00:11:36] Jacob Effron: и
[00:11:37] swyx: ещё одна огромная тема. Да. Да.
[00:11:38] Jacob Effron: И я пытаюсь понять, типа, что. Что, что нужно делать иначе при продаже агентам? Хм, они просто идеальные рациональные разработчики? Э-э, или есть, знаешь,
[00:11:46] swyx: нет, абсолютно нет. Хм, я думаю, что они легко поддаются prompt injection и, э-э, очень настроены на, типа, по сути, наращивание существующих победителей.
[00:11:57] Jacob Effron: Да,
[00:11:57] swyx: так что, типа, если, типа, поздравляю, если ты выиграл лотерею и попал в обучающие данные прямо перед 2023-м, потому что теперь ты, типа, установлен там в обозримом будущем. Но да. Э-э, знаешь, одна статистика, которую CTO Vercel, э-э, Malte обронил на моей конференции, была в том, что теперь, э-э, 60% трафика к, хм, типа, app-архитектуре, типа, админ-приложению для, типа, настройки приложений Vercel, э-э, это боты.
Это не, это не человек. Э-э, так что, типа, твой основной клиент теперь — агенты. Хм, и это в основном, типа, в основном кодинг-агенты, в основном люди, использующие CLI на CP или что там. Но да, я думаю. Больше. Я, я думаю, шаг первый: если что-то не существует как API, которым агенты могут пользоваться, то этого не существует. Верно, верно. Что, я думаю, это, типа, э-э, в любом случае хорошая гигиена — делать всё доступным через API, но не как, типа, дополнительный, хм.
Подталкивай, типа, продуктовых людей работать не только над UI, хм, тебе, наверное, стоит работать над CLI-штуками. Помимо этого, я думаю, честно, есть, типа, так что я, я исхожу из ощущения, что, я думаю, всё, что ты пытаешься делать сейчас для опыта агентов (agent experience) — это термин, который Matt Bowman из Nullify пытается ввести — это то же самое, что ты должен был делать для опыта разработчиков (developer experience).
Что у тебя должна была быть хорошая документация, у тебя должен был быть консистентный API, э-э, который. В основном без состояния (stateless). Хм, у тебя должно было быть, наверное, что-то обнаруживаемое, или прогрессивное раскрытие, или, типа, поиск, или, типа, что угодно. И вот теперь, когда у людей есть энергия на, типа, поиск этих клиентов, чтобы это делать, это здорово. Хм, верю ли я в.
Расширение за пределы этого во что-то вроде AEO, хм, для игр в чатботы? Не обязательно, но очевидно, будут огромные преимущества, когда люди, кто разберётся в краткосрочных выигрышах. Да. И краткосрочные выигрыши могут накапливаться.
[00:13:43] Jacob Effron: Ты думаешь, эти накапливающиеся преимущества у компаний, попавших в данные предобучения до определённого момента, типа, очевидно, через какой-то период времени, я полагаю, это не сохраняется.
И поэтому, когда ты думаешь, типа. Не знаю, через три-четыре года, каковы, знаешь, окажутся критерии отбора. Думаешь, это всё ещё в точности зеркалит то, что ты говорил раньше? Типа, это в точности то, что ты должен был делать всё это время, чтобы продать хороший продукт разработчикам?
[00:14:01] swyx: Может быть, за исключением того, что я думаю, через три-четыре года у нас, наверное, будет гораздо лучшая память и персонализация.
Так что тогда общий AEO или GEO будет не так уж важен. Так что я думаю, какая бы система памяти или персонализации у нас в итоге ни появилась, она, наверное, будет определять, что ты в итоге выбираешь, гораздо больше. Чем то, как обстоит дело сейчас, что — это просто частота упоминаний, назовём это так. Да,
[00:14:26] Jacob Effron: да.
[00:14:26] swyx: Э-э, так что ты просто спамишь количеством, и я думаю, это, я имею в виду, это то, чего я с нетерпением жду.
Я всё же думаю, типа, типа, знаешь, я, я думаю, что фундаментальное упражнение, которое надо проработать для себя, — это: если ты начинаешь новую, хм, типа. Э-э, компанию-дизраптор. Сейчас есть, есть большой инкумбент, которого все знают, типа, типа Supabase. Supabase — это, типа, как Postgres, типа, инкумбент в базах данных, э-э.
Если хочешь начать, типа, новый Supabase, как бы ты с ними конкурировал? И у меня необязательно есть ответ, но я, я, я всё же думаю, типа, люди, типа Resend, типа относительно новый. Думаю, они начали, типа, в 20, 23-м, и всё равно был, был недавний опрос, где, типа, люди. Проверили, что Claude рекомендует по умолчанию.
Если ты просто ничем его не промптишь, просто говоришь: дай мне почтового провайдера, и он говорит: Resend, типа, в 70, 70% каждых случаев. Типа, сам факт, что ты можешь туда попасть при таком относительно коротком существовании, я думаю, это, это обнадёживает.
[00:15:14] Jacob Effron: Да.
[00:15:14] swyx: Я всё же думаю, типа. Хм, ты действительно хочешь сделать что бы то ни было, чтобы, типа, попасть в этот очень короткий набор упоминаний, потому что, хм, их будет не 20, их будет, типа, три.
[00:15:26] Jacob Effron: Нет, определённо. Ощущается, типа, э-э, знаешь, наверное, больше консолидации, чем когда-либо. Э-э, или, или вроде как, знаешь, э-э, рынок «победитель забирает большую часть», чем, может быть, физика выхода на рынок (go-to-market) в прошлом. Да. Могла, э-э, позволять.
[00:15:38] swyx: Ещё одна штука — это, типа, семантическая ассоциация будет очень важна, э-э, в том смысле, что, типа, ты хочешь делать, типа, комбо-статьи, где ты, типа, используй мою штуку вместе с Vercel, с тем-то и тем-то.
И, типа, это всё попадает в, в корпус. И вот это. Наверное, одна штука, которую ты, ты хочешь делать? Ну, не знаю, что ещё. Э-э, это, это, это, это одна из тех штук, где, типа, я думаю, я чувствую, я чувствую, что я отстаю, э-э, не знаю, как ты к этому относишься, но, типа,
[00:16:04] Jacob Effron: Я думаю, AI — это просто все постоянно чувствуют, что отстают, э-э,
[00:16:08] swyx: да.
С,
[00:16:09] Jacob Effron: Я хочу встретить человека, который не чувствует, что отстаёт,
[00:16:11] swyx: но, типа, с, с AX, верно? Типа, так что, типа, моя, моя позиция была в точности в том, что я сказал раньше, типа, всё, что ты, что ты должен делать для агентов, — это то, что ты должен был делать для людей в любом случае. Да. И поэтому. В той мере, в какой ты просто получаешь больше энергии, чтобы, чтобы делать вещи для агентов, отлично.
Но, типа, э-э, трудно сформулировать, что нового, помимо просто, типа, большего спама, хм, ты должен делать. В любом случае, это была бы моя позиция прямо сейчас. Хм, я, я всё же думаю, типа, будет, будет больше витков в этом. Я думаю, виток персонализации, который грядёт, хм, будет большим. И я не знаю, как это выглядит, потому что, типа, по сути мы как бы, мы чувствуем, что как бы выдохлись на стороне памяти.
[00:16:49] Jacob Effron: Да. Я, наверное, с тех пор как мы в последний раз болтали, знаешь, ты, ты взял эту роль в Cognition, хм, и у тебя, очевидно, есть, есть место в первом ряду в пространстве AI-кодинга сегодня. Знаешь, мне кажется, кодинг во многих смыслах. Знаешь, люди смотрят на него как на это, типа, я имею в виду, помимо того, что это, типа, мать всех рынков и эта огромная возможность, я думаю, это вроде как превью того, что грядёт для многих других пространств.
И то и другое. Да. Знаешь, мне кажется, агенты наиболее продвинуты в кодинге. Я также чувствую, что, знаешь, конкуренция между фундаментальными моделями и прикладными компаниями, знаешь, и, э-э, зеркалит то, что мы можем увидеть в других пространствах. И поэтому, может, для наших слушателей, можешь просто изложить, типа, каково сегодня состояние войн AI-кодинга?
[00:17:25] swyx: Хм, оно огромно, верно? Типа, э-э, и я не думаю, что обязательно, в прошлый раз, когда мы об этом говорили, мы оценили размер того, что
[00:17:32] Jacob Effron: Нет, жаль, что не оценили.
[00:17:33] swyx: Состояние войн AI-кодинга сегодня, хм, и OpenAI, и Anthropic сделали приоритетом конкуренцию в кодинге. Хм, и. Anthropic — это, типа, 2,5 миллиарда ARR только от Claude Code.
То, как они учитывают ARR, открыто для дебатов, э-э, OpenAI. Я не думаю, что публичная цифра известна, но назовём её тоже 2 миллиарда. А затем Cursor, типа, по слухам, 2 миллиарда, знаешь? И, и это, это, типа, публичные цифры, которые известны? Да. Хм, так что, типа, огромные рынки, которые просто были созданы за последний один год.
Типа, типа Anthropic, типа Claude Code только недавно отпраздновал свою первую годовщину, что, да, довольно приятно. Хм, так что, и затем я думаю, типа, другая штука, которую я вижу, — это, есть, есть некоторые другие люди, которые, типа, о, вот, типа, относительное проникновение, э-э, кейсов использования Claude, верно?
Типа, и это, типа, кодинг 50%, а затем юриспруденция, что угодно. Здоровье, э-э, это, типа, оставшиеся. И был очень популярный твит, который был, типа, окей, я посмотрю на пустое пространство и все эти другие кейсы использования. Если ты сегодня новый фаундер, тебе стоит делать ставку на другие штуки, потому что, по, по своего рода теории догоняния. Да.
И мой. Считай, моё, моё возражение — то же возражение, что, э-э, у меня было насчёт «приложения против Google», которое, типа, ну, ну почему на этот раз иначе? Типа, почему, если оно выросло, скажем, с 10 до 50% за прошлый год, почему я не могу продолжать расти? Э-э, и, типа, ошибиться в этом — это на самом деле очень болезненно, потому что ты мог бы просто сделать, сделать ставку на импульс.
Вместо ставки на возврат к среднему. Так что я, я, я думаю, что это и есть, это состояние дел сейчас — что люди очень, очень сильно в психозе. Хм, их вознаграждают за то, что они тратят больше, а не меньше. И я думаю, мы не в той фазе эффективности. Мы в фазе вроде как исследования возможностей.
Так что я думаю, людей, которые более безумны, кто более. Э-э, креативен, хм, вознаграждают сравнительно больше. Да.
[00:19:27] Jacob Effron: Что ж, это интересно. Я имею в виду, ощущается, что за этими, типа, токен-максинг-лидербордами и прочим стоит это, это вроде как первая фаза этого перехода с точки зрения рабочей силы — ты просто должен показать своему работодателю, типа, эй, я, я использую эти инструменты.
[00:19:37] swyx: Вот моё число токенов, в которое я обхожусь, и всё. Им неважно качество. Верно. Это, э-э, может, неприятно тому, кто заботится о мастерстве, и, и всё такое. Хм, но в целом все просто хотят, чтобы ты шёл вверх, независимо ни от чего. И поэтому, хм, это не очень разборчиво. И это, наверное, очень неаккуратно (sloppy), но я думаю, в чистом виде это нормально, потому что мы, наверное, всё ещё недоиспользуем AI в целом.
Да. Хм, и поэтому я думаю, это, типа, очень интересно. Типа, у нас был в подкасте, э-э, Ryan La Poplar из OBI, который тратит миллиард токенов в день. Да. Хм, и это для тех, кто считает дома, это, типа, что-то вроде 10 000 стоит, 10 000 долларов в день API-токенов. Если бы они, они шли по рыночным ставкам, хм, и, типа, большинство из нас не может себе этого позволить.
Да. Но, типа. И, и, и, наверное, многое из того, что он делает, — это slop (мусор).
[00:20:25] Jacob Effron: Верно.
[00:20:25] swyx: Но, типа, он собирается обна-, он, типа, если бы появилась новая возможность, он бы обнаружил её первым, раньше тебя, потому что он, он пробовал, а ты не пробовал. Верно. И, типа, ты делаешь только то, что работает, типа, ну, молодец.
Но, типа, люди, которые собираются обнаружить следующую горячую штуку, живут на грани.
[00:20:42] Jacob Effron: Верно, и всё больше живут на грани просто наличия бюджета на compute, чтобы, типа, прогонять эти эксперименты. Я имею в виду, вроде как похоже на то, как жизнь на грани на исследовательской стороне всегда была. Знаешь, она была ограничена во многих смыслах объёмом compute, который у тебя был, чтобы прогонять эти эксперименты.
Ощущается похоже на, почти на стороне билдера или, типа, актуализации этих инструментов теперь.
[00:20:56] swyx: Да. Другая штука, которая, я имею в виду, очень очевидна — Anthropic вроде как игрок с высокой премиальной ценой. Хм, где, знаешь. Ограничение лимитов или даже ограничение релизов моделей — это, типа, название игры.
Тогда как Codex такой: заходите, ребят, используйте наш SDK, используйте наш логин, и нам всё равно. Мы сбросим лимиты. Что бы ты ни делал, ты хочешь попробовать эксплуатировать субсидии там, где можешь их получить. И определённо Codex прямо сейчас супер-субсидируется. Gemini тоже очень субсидируется. Хм, и. Сравнительно, типа, я думаю, тебе стоит сделать, эй, наверное, пока это происходит, не так уж плохо быть исследователем возможностей просто на плане за $200 в месяц от Claude Code или от OpenAI.
Хм, и, э-э, я, я, моё ощущение, что люди даже ещё не там.
[00:21:41] Jacob Effron: Как ты думаешь, как этот, типа, рынок в итоге сыграет? Я имею в виду, это очевидно настолько большой рынок, что, знаешь, любой кусок этого рынка интересен для, для любого, кто за ним идёт. Но я думаю, что, что делает людей такими заинтересованными в рынке кодинга в частности, — это ощущение, что это вроде как это.
Предвестие того, что произойдёт на любом другом, знаешь, любом другом виде прикладного рынка, к которому фундаментальные модели в итоге обращаются, против которого направляют свои модели и вокруг которого собирают данные. И поэтому как ты думаешь, знаешь, типа, окажется ли в итоге место для множества разных видов игроков, или, типа, каким, по-твоему, будет конечное состояние этого рынка, и применимо ли это, по-твоему, к другим рынкам?
[00:22:10] swyx: Я чувствую, что будет, я имею в виду. Статус-кво — наверное, самый вероятный исход, который заключается в том, что есть два больших игрока и есть небольшой диапазон людей из длинного хвоста, которые, хм, подходят под другие кейсы использования, под которые два больших игрока не подходят. Это мне кажется правильным. Я думаю, что, хм, чтобы это, чтобы структура рынка существенно изменилась, понадобилось бы, нужно существенное изменение в, типа, экономике, или, типа, в построении бренда, или, типа, в, в, в, в ценностных предложениях, в, в вовлечённых компаниях, и я.
Не видел ничего за последние шесть месяцев, что, что по-настоящему материально изменило бы истории. Так что я чувствую, что они просто будут продолжать, пока что-то, что-то не произойдёт. Что-то произойдёт — имеется в виду, типа, Microsoft просыпается и, типа, говорит, типа. Ребят, у нас есть GitHub, у нас есть, э-э, знаешь, мы, мы, мы сделаем что-то гораздо большее здесь, чем, чем просто Copilot.
Хм, и, э-э, это было бы большим изменением. Хм, Mistral теперь выпустил модель, и я был на завтраке с, э-э, Alex Wang, где они были, типа, да, типа, мы очень, очень хотим зайти в кейс использования кодинга. Мы пока ничего не сделали, но, типа, не недооценивайте их. Верно. Хм, и, и аналогично для китайских лабораторий.
Хм, я думаю, они пытаются зайти в это. Типа, Z.ai что-то делает. GLM, э-э, Z.ai и GLM — это одно и то же. Хм, э-э, и, и поэтому это, так что, типа, все пытаются ухватить кусок этого пирога. Я, я чувствую, что, что статус-кво был довольно стабилен последние, типа, почти год, я бы сказал.
[00:23:39] Jacob Effron: Да. А пространство для, не типа, знаешь, для, для прикладных компаний больше на, типа, стороне enterprise, или, типа, где, где, типа, какую площадь поверхности модельные компании оставляют для прикладных компаний?
[00:23:50] swyx: Да, это хороший вопрос. Хм. Это очень сильно эволюционирует. Хм, я, я, я скажу, потому что у OpenAI не было такого, такого уровня внимания к кодингу. Да. Э-э, год назад. У нас просто не так много истории. Верно. Хм, и кажется, типа, например, так что большой толчок в OpenAI сейчас — это супер-приложение (super app). Хм, это потребительская штука?
Это, типа, продуктовая, типа. Рационализация портфеля, насколько это отнимет внимание от кодинга в то время, когда они на самом деле хотят вложить больше в кодинг? Я думаю, это, это очень неясно. Так что я всё же думаю, типа, есть, есть все эти, типа, в обеих больших лабораториях есть. Э-э, прости. Обе из, и, и Anthropic, и, и DeepMind, и xAI — это отдельные случаи.
Хм, они пытаются увидеть другие области временного расширения. Так что Claude Code для финансов. Да. Хм, э-э, Claude Cowork, все эти, все эти штуки. Тогда как я думаю, Cursor и Cognition вроде как сравнительно просто сфокусированы на кодинге, и поэтому я, я всё же думаю, они оставляют пространство, и я всё же думаю, для других вертикалей это тоже означает то же самое.
Верно. Что, э-э, что они не будут так. Хм, интенсивно сфокусированы на, на, на этом домене. За исключением, я, я думаю, я бы выделил финансы и здравоохранение как, типа, следующие, хм, за которыми они явно идут. Э-э, я, я бы сказал, сравнительно, здравоохранение кажется более тернистым. Там, там, там были некоторые анонсы об этом, но, типа, я бы гораздо больше уважал работу в финансах просто потому, что, типа, путь к деньгам гораздо яснее.
[00:25:12] Jacob Effron: Да, нет, я имею в виду, очевидно, типа, я, я думаю, знаешь, может, похоже на, на пространство, которое оставляется в этих других доменах, знаешь, есть очевидно. Э-э, многое, что требуется, чтобы реально внедрить эти инструменты в предприятиях, э-э, по сравнению с, знаешь, может, просто давая им, э-э, давая доступ к модели людям из коробки.
[00:25:27] swyx: Да, да. Да. Так что, эта, штука с агентской лабораторией — это, типа, мы сделаем последнюю милю за тебя. Тогда как я думаю, модельные лаборатории склонны просто доверять модели и, и быть минималистами в этом. Оба работают.
[00:25:38] Jacob Effron: Да.
[00:25:38] swyx: Я, я не, я не обязательно думаю, что один, э-э, бьёт другого, э-э, для каждого, для каждого кейса использования. Хм, всё, что я, всё, что я знаю, это что кажется, типа.
Э-э, крупные предприятия действительно хотят выделенного партнёра, который не просто модельные лаборатории, что вроде как интересно.
[00:25:55] Jacob Effron: Мы, мы были в этой фазе, чистого исследования возможностей. И поэтому я думаю, ничего не было, знаешь, лучше для крупных лабораторий, верно? Я имею в виду, они всегда будут, э-э, э-э, на фронтире, на, на фронтире исследования возможностей.
И поэтому я думаю, у них очень хорошие отношения с кучей этих предприятий. Но в конечном счёте со временем, типа. Структура стимулов этих лабораторий всегда будет максимальной, знаешь, потреблением токенов для, э-э, для конечных клиентов, с которыми они работают. И есть просто, я думаю, так мало компаний, которые на самом деле дошли до огромного масштаба.
Может, кодинг снова самый интересный. Так что это первое пространство, которое реально просто полностью ушло, знаешь? Да. Ты, наверное, обожаешь это каждый день. Типа, абсолютно безумно. И. Я думаю, это
[00:26:32] swyx: становится даже. Окей. Я имею в виду, типа, я думаю, мы, мы говорим хорошие вещи о Cursor и Cognition, но сам по себе взлёт, типа, и Anthropic, и OpenAI.
Потому что они, они, у них независимые оценки. Я имею в виду, давай добавим сюда и xAI, потому что она теперь пингуется на 1,2 триллиона. Эта цифра просто не укладывается в голове. Типа, я, я чувствую, что в обычном инвестировании или обычных стартапах есть вроде как потолок рыночной капитализации или оценки. Точно. Который, который, типа, ты, ты достигаешь, и говоришь, типа, ладно, давайте, дальше будет поспокойнее.
А эти ребята не замедляются. Нет.
[00:27:02] Jacob Effron: Что ж, я также думаю, что динамика захватывающая в отношении некоторых из этих компаний на более поздних стадиях, это, это, знаешь, в прошлом, мне кажется, в, в венчурном мире, если ты дошёл до определённого уровня масштаба, вопрос вокруг тебя был на самом деле больше вопросом оценки. И это, типа, почему были разные фазы, типа, знаешь, типы венчурных людей, и, типа, люди поздней стадии роста просто были невероятны в, типа, знаешь, немного того, какова конечная рыночная возможность этой компании, но также как правильно её, её оценить.
Типа, мы знаем, что это, это в каких-то полосах исхода, который, типа. Конечно, есть некоторая вариативность, но это, типа, относительно понятно, какова эта полоса, и потом, может, со временем тебя приятно удивят в сторону повышения. Тогда как любая, типа, более поздняя, даже сами лаборатории, любая компания поздней стадии, полосы, в которых эта компания может стоить прямо сейчас, даже через год или два года, настолько огромны из-за того, как быстро меняется экосистема, что это, типа.
Даже для компаний поздней стадии, каждые три месяца могут быть событием экзистенциального уровня — в сторону повышения, в сторону понижения. Да. Хм, и я думаю, что, типа, ты, очевидно, видишь это в, в позитиве с кодом, который, знаешь, если подумать о компании вроде Anthropic, знаешь, что. Какое-то время было, типа, неясно, получат ли они доступ к достаточному капиталу, хм, чтобы реально остаться в, в гонке, верно?
И затем кодинг ударил в точно правильное время. У них была идеальная модель для него. Они блестяще исполнили. Хм, и знаешь, теперь, теперь, знаешь, э-э, знаешь, одна из самых ценных компаний в мире.
[00:28:13] swyx: Э-э, в то же время, я, я не нахожу, я, у меня ноль сочувствия к OpenAI, потому что они рвут всех и они все богаты.
Знаешь, это, типа, проблема первого класса с шампанским — быть номером два в кодинге или что там. Типа, кого волнует? Типа, у тебя, у тебя всё отлично.
[00:28:27] Jacob Effron: Да. Забавно, правда. Я даже не могу, я имею в виду, ты был бы ближе к этому, э-э, знаешь, даже раз ты в пространстве AI-кодинга, но, типа, многие люди, с которыми я говорю, считают, что Codex просто так же хорош, если не лучше, чем Claude Code.
Верно. Я думаю, одна штука, которой я был по-настоящему удивлён, и может, может, Claude Code в каком-то смысле лучший продукт, мне любопытны твои мысли — это просто в потребительском AI с ChatGPT. Ты видел это большое преимущество первого хода, верно? Где, по общему признанию, сегодня, типа, я не знаю, Claude, Gemini. Отличные продукты.
Не уверен, не абсолютно ясно, что ChatGPT хоть чем-то лучше, но, типа. Люди держатся за ChatGPT, это первое, что их познакомило.
[00:28:56] swyx: Они остаются, но они больше не растут. Не знаю, видел ли ты
[00:28:59] Jacob Effron: Верно. Но это для меня скорее, типа, проблема продукта, чем это. Они не, типа, это не то что они, типа, потеряли долю кому-то ещё.
Насколько я понимаю, общая проблема с потребительским AI сегодня — это гораздо больше про то, как взять этот инструмент и, знаешь, для, для людей вроде нас, типа, работников умственного труда, это, типа, этот невероятный магический инструмент, но это не обязательно инструмент ежедневного активного использования для многих людей по всему миру сегодня. И каковы, типа, продукты?
Это, это вроде как проблема всей категории. Типа, в кодинге, например, типа. Всё пространство ушло в параболу. Может быть некоторый относительный рост в, э-э, в других игроках потребительского AI, но это не то что потребительский AI как категория, типа, уходит в параболу, и они не захватывают большую часть этого. Я думаю, на самом деле бо́льшая проблема гораздо больше в том, эй, категория вроде как достигла некоторого плато — люди не разобрались, как привлечь, знаешь, намного больше пользователей на борт.
Да, да. Или увеличить частоту использования этих пользователей. И поэтому это кажется скорее проблемой всей категории, чем, знаешь, массовым изменением рыночной доли. Я собирался провести сравнение с, с пространством кодинга, где Claude Code — это первый продукт, очевидно, который познакомил людей с этим магическим опытом.
Знаешь, по всем оценкам, Codex, типа, чертовски близок к тому, чтобы быть таким же хорошим, если не лучше. Хм, но, типа, всё равно этот первый продукт, ты, ты бы подумал, что это не будет супер-«липкой», э-э, знаешь, площадью поверхности продукта. А на самом деле оказывается, я, ощущается, что первая лаборатория, которая знакомит тебя с опытом, действительно, э-э, удерживает много, э-э, много фокуса.
[00:30:12] swyx: Я, я думаю. М-может, это, типа, всё ещё, всё ещё ранние дни. Знаешь, ChatGPT, типа, ему три с лишним года и да. Claude Code только один. Только что исполнился год. Да. Так что дай ему время, знаешь? Да. Я имею в виду, определённо иногда много людей переключились на Codex. Может, это будет продолжаться. Я, это, типа, реально трудно сказать.
Э-э, да. Я, я, я всё же думаю, что. Потому что мы в этой, типа, фазе высокой волатильности, высокой температуры. Хм, лояльность и «липкость» к первым ходокам и создателям категории, я не думаю, что она так высока, как могла бы быть в некоторых других, э-э, областях нашей карьеры, на которые мы смотрели.
[00:30:47] Jacob Effron: Да. Хотя, я имею в виду, я был удивлён этой штукой с Claude Code.
Я, я бы подумал, что, типа, во многих смыслах я всегда беспокоился о
[00:30:52] swyx: enterprise. Ты думаешь, тебя бы уже не было?
[00:30:53] Jacob Effron: Не «не было». Но я бы, я я всегда беспокоился о том, что, что потребительский бизнес этих компаний будет довольно «липким». А затем enterprise-API-бизнес. Э-э, был на самом деле, типа, знаешь, в каком-то смысле, типа, твои наименее лояльные покупатели, типа, они бы, они бы перешли к,
[00:31:05] swyx: верно, верно.
Но, но они разобрались, что это не enterprise-API, это enterprise-продукт.
[00:31:09] Jacob Effron: Полностью. И может, в этом был, в этом был секрет, что, типа, но объём lock-in или просто поведения по умолчанию, который случился в этом пространстве, э-э, больше, чем я мог бы вообразить, с двумя продуктами, которые по всем оценкам чертовски похожи.
Да.
[00:31:22] swyx: Тут спорить не буду. Э-э, я скажу, я всё же думаю, что Codex всё ещё, типа, в режиме догоняния. Типа, с точки зрения личного опыта. Хм, единственное, что мне нравится из, из Codex, — это, это, типа, Spark и, типа, да. Э-э, я, я чувствую, что интеграция skills чуть лучше. Я чувствую, что, э-э, скорость чуть лучше.
Может, потому что он написан на Rust или что там. Хм, очень мелкие штуки, которые ты, типа. Почти типа уговариваешь себя, а не, типа, объективно оцениваешь между двумя, двумя из них. Я, я, я всё же думаю, типа, по вайбам, я думаю, что это происходит. Хм, э-э, знаешь, я, я чувствую, что, что недостающий вопрос, э-э, во всём этом дебате — это, типа, почему это так сконцентрировано всего на двух именах, верно?
Да. Типа, хм, как, где, типа, где Gemini? Знаешь, присутствие, где присутствие xAI? Хм, и, типа, они пытаются, просто они пока не сильно продвинулись.
[00:32:12] Jacob Effron: Но то, что момент с Claude Code действительно показывает, и это на самом деле в каком-то смысле делает тебя чуть более оптимистичным насчёт потенциала кого-то другого догнать, потому что ощущается, что если ты первый человек, который знакомит с каким-то магическим совершенно новым опытом продукта, то это на самом деле может быть «липче», чем можно было бы вообразить.
[00:32:27] swyx: Верно, верно, верно. Окей. Да.
[00:32:28] Jacob Effron: И поэтому это, каждый может верить, что у него есть шанс
[00:32:29] swyx: на это. Как ты думаешь, каким мог бы быть этот новый опыт продукта? Я, это, типа, и это провал воображения с моей стороны. Типа, я всегда задаюсь вопросом, типа, люди всегда говорят это, типа, ну, штука, которая нас спасёт, — это, типа, быть первым к следующей новой штуке.
Типа, что это?
[00:32:41] Jacob Effron: Да.
[00:32:42] swyx: Это, типа,
[00:32:45] Jacob Effron: Не знаю, что-то вроде, э-э, потребительский агент, computer use, типа, гибрид. Я думаю, очевидно, я думаю, мы вроде как царапаем поверхность на потребительской стороне.
[00:32:53] swyx: Так что моя, моя текущая теория, типа. Open Claw — это, типа, видение того, что грядёт.
[00:32:58] Jacob Effron: Полностью.
[00:32:58] swyx: Хм, и, э-э, хорошо, что у OpenAI есть, типа, ассоциация с Open Claw, но они ни в коем случае не имеют прав на победу в этом.
Общий тезис, который я сейчас продвигаю, — что год, так же, как 2025-й был годом кодинг-агентов, 2026-й — это кодинг-агенты, вырывающиеся за пределы, чтобы делать всё остальное. Хм, и поэтому кодинг-агенты продолжают побеждать, но потому что они генерируют софт, а софт пожирает мир, так что, типа, это вроде как транс-.
Ассоциативное свойство, типа, софт пожирает мир, кодинг-агенты пожирают софт, следовательно кодинг-агенты пожирают мир. Хм, что, типа, интересно,
[00:33:30] Jacob Effron: да, и «вырывание за пределы» всегда более лёгкая фаза, фраза в потребительском контексте, чем в enterprise-контексте. Ты видел, как люди прогоняют эти реально классные, э-э, эксперименты в своей собственной личной жизни.
Я думаю, типа,
[00:33:37] swyx: да.
[00:33:38] Jacob Effron: Разбираясь, знаешь, как ты, очевидно, все сфокусированы, знаешь, на enterprise-стороне сейчас вокруг того, как создать эти опыты. Мне кажется, вайбы, знаешь, люди любят иметь эти нарративы вроде, типа, всё полностью сдвинулось. Это, типа, я на самом деле, знаешь, OpenAI.
Организационно, э-э, знаешь, волатильность в сторону, это, знаешь, отличные продукты, отличная команда, отличные модели, типа, все остальные в мире заинтересованы в том, чтобы там было. Две, три ещё. Все бы хотели больше, типа, отличных модельных компаний. И поэтому мне кажется, что, что естественные силы мира восстают, когда какая-то одна компания, знаешь, слишком сильно звезда шоу, верно?
Есть так много людей в экосистеме, которые заинтересованы в том, чтобы этого не случилось. И поэтому я думаю, я был бы шокирован, если бы у нас не случилось. Э-э, э-э, возврата вайбов, может, не совсем в другую сторону, но хотя бы немного более равного в какой-то момент в течение следующих шести, 12 месяцев.
[00:34:24] swyx: Я, я думаю, есть просто вроде как разные стадии, когда, когда ты говоришь о мире, который хочет больше модельных компаний, я думаю о, типа, нео-лабораториях (neo labs).
[00:34:30] Jacob Effron: Да.
[00:34:31] swyx: И я имею в виду, не знаю, справедливо ли сказать, что ни одна из них на самом деле не прорвалась за прошлый год?
[00:34:35] Jacob Effron: Я думаю, это полностью справедливо,
[00:34:37] swyx: что грубовато. Хм, и ну, как мы собираемся, как мы собираемся вырастить это разнообразие в, в, в выборе, типа. Хм, вот в чём дело.
[00:34:46] Jacob Effron: Да. Будет реально интересно посмотреть, что, что, что в итоге случится с этим.
И ты видел, знаешь, ребят вроде NVIDIA, знаешь, очень заинтересованных в том, чтобы убедиться, что есть, есть более широкая платформа, э-э, других провайдеров моделей.
[00:34:57] swyx: Я думаю, э-э, не знаю, люди говорят это, но я, я, я не думаю, что они стараются изо всех сил. NVIDIA старается сильнее строить нео-облака (neo clouds)
[00:35:05] Jacob Effron: Да.
[00:35:06] swyx: чем нео-лаборатории.
[00:35:07] Jacob Effron: Ну, они стараются чертовски сильно строить нео-облака, так что
[00:35:09] swyx: это,
[00:35:09] Jacob Effron: да.
[00:35:10] swyx: Но, типа, знаешь, назовём это, типа, CoreWeave этого мира — гораздо более счастливое место, чем, знаешь, любая нео-лаборатория, построенная поверх них.
[00:35:18] Jacob Effron: Да. Можно было бы поспорить, что, это, проще, э-э, дать нео-облаку стать успешным, чем. Э-э, нельзя «волевым усилием» вызвать нео-лабораторию к существованию так же, как ты, так что
NVIDIA
[00:35:25] swyx: имеет более прямой контроль над этим.
Э-э, точно.
[00:35:27] Jacob Effron: Что ещё вроде как ловит твой взгляд сегодня на стартап-стороне? Я имею в виду, ты переживаешь, есть, очевидно, весь этот нарратив вроде, знаешь, фундаментальные модели, знаешь, они анонсируют продукт, и каждая акция падает на 15%. Типа
[00:35:36] swyx: Да.
[00:35:37] Jacob Effron: Ты, ты переживаешь о том, что фундаментальные модели просто вроде как вгрызаются в кучу этих стартап-категорий?
[00:35:43] swyx: Не особо. Я, я думаю, на самом деле, типа. Как, э-э, есть, есть, окей, есть, есть, есть, есть точка зрения, типа, быть инвестором в стартапы, и есть точка зрения, типа, хочешь ли ты что-то начать? И я думаю, честно, типа, минус для всего этого настолько. Минимален в, в смысле, типа, худшее, что ты делаешь, — это просто тебя нанимают в одну из этих лабораторий в любом случае.
Так что я, я думаю, рынок для людей, которые просто делают вещи, и пробуют вещи, и пытаются исполнить, типа, компетентным образом, даже если, типа, это не сработало коммерчески, даже если оно просто не было таким уж классным в любом случае. Типа, но, типа, это твоё собеседование, чтобы зайти в, в одну из этих штук в любом случае, так что, хм, я этого не чувствую.
С, с точки зрения очень-очень маленького стартапа. Стартапы среднего размера. Да. Э-э, я скажу, было много мёртвой, хм, LLM-инфраструктуры, много консолидации LLM-инфраструктуры, типа, э-э, Langfuse этого мира, поглощаемые в, в ClickHouse. И я, я думаю. Типа, люди, может, разобрались в доменно-специфичном плейбуке, э-э, и, типа, я думаю, это нормально.
Хм, и, и да, я не так уж, не так уж переживаю о, э-э, окей. Так что, хм, я, я бы сказал, я бы больше переживал о традиционном SaaS, типа, низкий NPS. Это весь этот дебат AI vs. SaaS, который, который идёт. Э-э, и, и, типа, буквально я прохожу через ровно эту же штуку в своей компании, где, так что я, типа как бы.
Продумываю это на очень висцеральном, висцеральном уровне, верно? С одной стороны, у тебя есть люди, которые говорят: вы, вайб-кодеры, не цените объём работы, который уходит в CRM, и, типа, да, ты думаешь, что можешь выдрать Salesforce? Так же думали и 30 предпринимателей до тебя, верно? Типа, типа, знаешь, ты классически недооцениваешь вещи, которых ты не.
Глубоко знаешь. И, и, и целевая аудитория — не ты. Э-э, в то же время, типа, мы никогда не были способны строить софт так легко и кастомизировать софт так легко, и, типа, да, ты не будешь использовать 90% штук в Salesforce. Так что, типа, да. Что типично, так что что у тебя, что
[00:37:33] Jacob Effron: ты сделал внутри компании?
[00:37:34] swyx: Так что у нас есть основной SaaS, который мы используем для управления событиями и управления спонсорами. Это, и мы платили 200 тысяч в год за это. Не, не огромно, но, типа, ощутимо для, для моего, моего масштаба. Хм, и, типа, да, я мог бы, наверное, потратить 2000 и, и построить, типа, кастомную версию этого. Хм, фокус был в том, чтобы иметь дело с моей, остальной моей командой и привлечь их на свою сторону.
Да. Потому что я самый, э-э, человек на своей команде, но, типа, я не могу принять это решение сам. И я думаю, так же я говорил и с другими CEO, лидерами команд: типа, ну, ты можешь быть супер-«cloud-pilled», ты можешь быть в супер-LLM-психозе и думать, что это окей, но ты, типа, тебе нужно привести свою команду с собой.
И я думаю, что там, своего рода растущая диспропорция в LLM-психозе в компаниях вызывает реальные с, реальные разломы, потому что. С одной стороны, с одной стороны, люди, которые менее AI-нативны, не въезжают в картину. Они не, они на самом деле, типа, отстают, они на самом деле не просыпаются к тому факту, что, типа, ты, всё, что ты считаешь необходимым, на самом деле не такое уж необходимое.
И на самом деле, тебе было бы лучше, если бы ты просто, типа, зажал нос и зашёл, и вышел с другой стороны. Да, разговаривая только с агентами на естественном языке и, типа, твоя жизнь на самом деле стала бы лучше, и ты просто, ты просто, типа, узколобый. Есть эта перспектива. Другая перспектива: о, ты вайб-кодер.
Ты, ты сделал это за выходные и получил 80%-решение, и теперь остальные твои сотрудники. Должны подобрать остальное твоё дерьмо, верно, которое ты, которое ты думал, что ты такой крутой, потрясающий, э-э, э-э, в, но, типа, на самом деле ты не разобрался. И, типа, на самом деле LLM всё ещё бесполезны в этом, и бла-бла-бла.
Так что, типа, я думаю, есть этот огромный дебат, идущий в каждой компании прямо сейчас. Хм, и, типа, хм, знаешь, у меня есть маленький микрокосм этого, но, типа, да, это, это заставляет меня колебаться, чтобы, чтобы нажать на курок. Но, типа, я в какой-то момент это сделаю, типа, может, я отложил это на один год, но не, типа, на пять. Да, но, типа, так что, так что, типа, SaaS определённо сжимают.
Хм, это заставляет меня задуматься, типа, я, я всё же думаю, что есть возможность для более AI-нативной, хм, штуки типа системы записи (system of record), которая не просто Postgres. Хм, или не просто MongoDB, хотя обе очень хороши. Может, это, типа, Convex, или, типа, люди. Да. Часто вспоминают Convex. Не знаю, типа, типа, я, я просто чувствую, что вроде как, так сказать, Firebase для, для AI-приложений ещё толком не существует.
Хм, помимо того, что у нас есть. Э-э, что, что нормально. Это, это, это просто. Мы могли бы, наверное, начать в более вроде как цикле быстрых итераций сначала, прежде чем масштабироваться до, типа, Postgres или MongoDB, которые более вроде как старая технология. Я был на ужине с, э-э, Mike Krieger, CPO в Anthropic, и, и он, мы вроде как обходили комнату по кругу, спрашивая, типа, о чём люди больше всего переживают?
Да. И, э-э, для меня, э-э, я, вместо безопасности, я поднял биобезопасность. Да,
[00:40:21] Jacob Effron: классика.
[00:40:22] swyx: Хм, на самом деле, как я сказал, это было. Клише и классика, и остальные за столом были, были, типа, что ты имеешь в виду? Кто-то, сидя дома, может изготовить вирус, который сотрёт половину человечества,
[00:40:32] Jacob Effron: почти как изначальный Geoffrey Hinton.
Типа, вот почему ты должен бояться.
[00:40:35] swyx: Я такой: да, типа, прочитай, знаешь, отчёты о рисках. Типа, это, типа, та самая штука. Хм, я думаю, и Mike просто сидел там, зная, что он сидит на Mythos, и говорил, типа, на самом деле это безопасность. Хм, и я думаю, типа, хм, я думаю, есть, есть, часть этого — это.
Очень хороший маркетинг. Типа, слишком хороший. Да, типа, я бы на самом деле посоветовал Anthropic приглушить маркетинг, потому что к тому же это, это просто очень хорошая модель, и тебе не нужно делать так много маркетинговых заявлений вокруг неё. В то же время, это на самом деле не приватная модель. Если ты отдаёшь её 40 компаниям.
У каждой из которых, типа, 10 000 сотрудников или что там. Верно. Это не, это не приватно, это, типа, там есть плохие акторы.
[00:41:18] Jacob Effron: Да. Будем надеяться, будем надеяться, не так, э-э, плохо, как выпуск её широко, но, э-э, нет, я имею в виду, это интересный. Знаешь, это интересный кейс-стади того, как все, я имею в виду, многие релизы моделей могут, я имею в виду, знаешь, это может быть первый релиз модели, который выглядит как все остальные с, с этого момента, верно?
[00:41:31] swyx: Это, это, так что это, есть общая продуктовая стратегия, э-э, у Anthropic, типа, бандл, э-э, знаешь, ограничь доступ, забандль, э-э, продукт с моделью, может быть.
Тогда как, э-э, OpenAI определённо был гораздо более вроде как. Философски выровнен на, типа, мы просто дадим доступ везде и не знаем, что ты, что из этого выйдет. Верно.
[00:41:51] Jacob Effron: Верно. Хотя, я имею в виду, этот текущий момент, э-э, очевидно, циничная трактовка тоже просто завязана на объём compute, который у обеих компаний
[00:41:56] swyx: Да.
Верно, верно, верно. Да, я думаю, я думаю, это правда. Я всё же думаю, типа, это, это, наступление, типа, рассвет моделей крупнее 10 триллионов параметров — очень интересно. Я не думаю, что это, я думаю, это временное явление, потому что у нас гораздо более крупные compute-кластеры выходят онлайн для всех в течение следующих, типа, трёх, пяти лет.
Это, и это, типа, уже прописано в, в картах.
[00:42:18] Jacob Effron: Да.
[00:42:19] swyx: Так что в той мере, в какой, знаешь, будет ли у нас нормирование моделей, э-э, выше 10 триллионов, э-э, через, типа, два года? Я так не думаю. Я думаю, у всех будет, нет, у нас просто
[00:42:29] Jacob Effron: будет нормирование следующей фазы.
[00:42:30] swyx: Верно. Верно. Но, типа, это так, как и должно быть, почти, типа, хм.
Мой, мой классический пример, который я, это просто я теоретизирую, не что-то подтверждённое Google. Когда Google анонсировал Gemini, они на самом деле анонсировали три размера, которыми были Flash, Pro, Ultra. Они так и не выпустили Ultra. У них есть только Pro и Flash. Хм, так что моя теория в том, что у них Ultra сидит в подвале, и они просто могли бы дистиллировать из него для, для Flash и Pro.
Хм, что, типа, да, я имею в виду, я, я на самом деле думаю, что это. Как и должно быть для любой лаборатории, чтобы они, чтобы они так делали.
[00:43:02] Jacob Effron: Да. Просто потому что это те модели, которые люди на самом деле хотят в итоге использовать. И это просто, типа, запретительно по стоимости.
[00:43:06] swyx: Это больше, да, это стоимость. Да. Это, это не желание, это просто, просто, просто стоимость.
Хм, я всё же думаю, типа, э-э, это интересно, что, э-э, какое-то время я, я рассматривал теорию, что модели упёрлись в потолок на двух, 2 триллионах, и я думаю, это оказывается неверным. И ну, тогда, если я неправ, насколько неправ? Насколько неправ я? Делаем ли мы 200 триллионов? Делаем ли мы четверть триллиона, что там? Хм, и я не думаю, что у нас есть прямой ответ на это, но, типа, э-э, интересно, что мы продолжаем масштабировать число параметров, когда все вроде как предполагают, типа, видят, что мы не получим следующую тысячу или миллион x из этой парадигмы.
Так что, типа, другие, типа, лаборатории этого мира работают над другими. Хм, улучшениями архитектуры моделей. Нам нужен другой закон масштабирования, я полагаю, потому что, типа, мы, я, я чувствую, что люди уже уже чувствуют, что мы выдохлись на этом. Типа, конец, конечное состояние этого — мы превращаем большую часть мира в дата-центры, и, типа, не знаю.
Не знаю, хотим ли мы этого.
[00:44:08] Jacob Effron: Да, я имею в виду, э-э, если, если, если, если отдача от интеллекта там есть, может, э-э, может, не так уж плохо.
[00:44:13] swyx: Я, я, я думаю, есть просто чистый объём, типа, типа, нем-масштабируемости, которая, типа, ломает чувствительность людей прямо сейчас. Хм, особенно в плане, типа, длин контекста.
Хм, моя классическая цитата в том, что длина контекста — это, типа, самый медленный фактор масштабирования в LLM.
[00:44:30] Jacob Effron: Да.
[00:44:30] swyx: Хм, мы, типа, мы заняли, может. Три года, чтобы пройти от, типа, 4000 длины контекста до миллиона, и на этом всё. Да. Типа, у Gemini была длина контекста в миллион токенов уже два года, хм, и никто ею не пользуется.
Типа, так что, типа, да, это память. Память, наверное, будет, типа, самым большим ограничивающим ограничением на всех этих штуках.
[00:44:50] Jacob Effron: Да. Определённо кажется, что так. Мне, наверное, любопытно, за последний год с тех пор как ты записывался в последний раз, типа, в чём одна вещь, насчёт которой ты изменил своё мнение?
[00:44:57] swyx: Я чувствую, что я был вроде как настроен по-медвежьи на открытые модели в прошлом году.
Хм, в смысле, типа, я, я только что сделал подкаст с Ankur
[00:45:07] Jacob Effron: Да.
[00:45:08] swyx: из Braintrust, где он, и он, я имею в виду, знаешь, у него хороший срез всех топовых AI-компаний, и он говорит, рыночная доля open source — 5% и снижается. Хм, я думаю, это изменилось. Я думаю, оно растёт. Хм, и даже если,
[00:45:22] Jacob Effron: даже хотя разрыв в возможностях, кажется, увеличивается.
Тратя на
[00:45:26] swyx: время. Трудно сказать. Да, это, это реально трудно сказать. Потому что, типа, окей, для, для слушателей, увеличивающийся разрыв в возможностях — это, типа, на публичных бенчмарках. И, скажем, ты сравниваешь Mythos с, типа, не знаю, gpt-oss или, типа, GLM 5.1. И, хм, это, это реально трудно сказать. Потому что даже если бы они сближались, ты также не поверил бы, что они сближаются настолько сильно, потому что очень легко гейминговать бенчмарки.
Да. Так что ты просто реально, реально не знаешь. Хм, всё, что ты знаешь, это, типа. Э-э, есть как бы объективная статистика OpenRouter насчёт, типа, что люди выбирают на свободном рынке. И люди действительно выбирают некоторые из этих открытых моделей в значительном объёме, за исключением того, что многие из них сильно дисконтированы. Так что тебе нужно вроде как скорректировать по цене, э-э, эти штуки.
Так что даже если, даже если бы это было правдой, в чём я, я не уверен, типа, я, я, я чувствую, что числа просто вверх теперь, а не вниз. Э-э, я думаю, что. Разделение между тем, что делают топовые агентские лаборатории, и средним стартапом в AI, или средней GPT-обёрткой (GPT wrapper) значительно настолько, что тебе не стоит переживать о, о, о, своего рода среднем по индустрии числе.
И тебе стоит, тебе стоит когортировать вещи на, типа, вот медиана здесь, здесь, типа, нижние 80% и здесь топ-20%. И топ-20% ведут себя очень иначе, чем нижний процент. И поэтому топ-20% — это, что всё, что меня волнует, хм, это. Определённо движется к более открытым моделям. Хм, Fireworks и Together рвут всех.
Хм, и, э-э, и так будут и все файнтюнеры, верно? Так что, типа, хм, я думаю, может, в прошлый раз мы даже говорили вещи вроде, файнтюнинг как сервис не работает. Ну, теперь это будет работать. Это, это производная от открытого рынка, э-э, рынка открытых моделей.
[00:47:01] Jacob Effron: Ну, и к тому же при масштабировании нагрузки до точки, где люди заботятся о стоимости и скорости, знаешь, всё больше и больше.
[00:47:06] swyx: Да.
[00:47:06] Jacob Effron: И что, типа, знаешь, переход от просто чистого обнаружения кейсов использования вроде, что могут делать эти модели, к, окей, мы знаем, что они будут делать на масштабе, теперь давай делать их дешевле и быстрее.
[00:47:14] swyx: Да. Да. Хм, так что, так что, типа, э-э, это изменение, я, я думаю, наверное, самое значительное в, в моём сознании. И, типа, я, я всегда люблю делать мысленную математику, типа, э-э, это что.
Подумай о, э-э, планировании learning rate, типа, когда ты ошибся однажды. Да. В чём ещё ты был неправ? Хм, и я, я вроде как прорабатываю это. Я, для меня, та, та, другая штука была про кодинг, хм, насчёт которого я очевидно теперь развернулся на полные 360, но я думаю, типа. Люди недостаточно ценят тёмные фабрики (dark factories), которые, не знаю, обсуждал ли ты в подкасте ещё.
[00:47:44] Jacob Effron: Нет.
[00:47:45] swyx: Хм, э-э, и так что это вроде как сильный термин DM / Simon Willison. Э-э, общая идея в том, окей, есть разные уровни психоза AI-кодинга, который ты можешь иметь, хм, самый первый уровень, который я, кстати, впервые встретил в Cognition пять месяцев назад, был ноль. Э-э, кода, написанного человеком. Да.
Верно. Что, типа, кажется разумной штукой теперь, было менее разумно пять месяцев назад. Следующий фронтир, который звучит так же безумно сегодня, как, как ноль кода в, в прошлом, — это ноль человеческого ревью.
[00:48:17] Jacob Effron: Да.
[00:48:18] swyx: Типа, просто, просто закоммитить это без даже. Ревью, и очень мало людей это делают, но OpenAI это исследует, и я чувствую, что это, это определённо единственный масштабируемый способ это делать.
Э-э, что это просто означает, типа, тебе приходится просто вроде как перевернуть SSDLC или поменять большие объёмы того, что, что ты обычно делаешь. Хм. Что, наверное, вещи, которые тебе стоило делать в любом случае. Больше тестирования, больше, знаешь, больше автоматизированной верификации или что там. Но, типа, это фронтир, на котором, типа, когда ты разблокировал это в своих компаниях, хм, ты просто будешь производить гораздо больший объём софта, чем, чем у тебя когда-либо был.
Э-э, и это будет, типа, настолько много, настолько одноразово, настолько дёшево, что ты, наверное, сможешь много инновировать в качестве тоже. Типа, что, что количество помогает тебе дойти до качества.
[00:49:00] Jacob Effron: Да.
[00:49:01] swyx: С чем, я думаю, людям очень некомфортно. Потому что, типа, люди ассоциируют большее количество со slop.
[00:49:07] Jacob Effron: Верно. Нет, это назад к ровно тому обсуждению, что у нас было про, типа, реакцию на эти токен-максинг-табло и, и идею, что, типа, сегодня, может, это не самый, э-э, самый, самый, самый лучший признак, э-э, продуктивности и эффективности, но в будущем
[00:49:18] swyx: да, ты, но тебя всё равно за это вознаграждают.
Так что они, типа, да пофиг, что там. Но, типа, э-э, я, я, я думаю, типа, те, те люди, которые, кто, кто справляются лучше всего, кто справляется лучше всего, кто справляется наиболее хорошо в 2026-м, — это не циники, которые говорят, типа, о, это просто slop, я не буду в этом участвовать. Они такие: окей, типа, это происходит, со, со мной или без меня. Направь это в правильную сторону.
[00:49:36] Jacob Effron: Да, нет, мне это нравится. Хм, я имею в виду, я думаю, для, для меня, типа, любая вроде как связанная штука на, на стороне open source моделей — это, что так долго я реально не думал, что имеет какой-либо смысл делать какой-либо RL, пост-тренировку, предобучение, что угодно, что можно сделать, чтобы, типа, улучшить вроде как общее качество. Точно для, типа, задержки и стоимости это всегда имело смысл для меня.
Но для общего качества, типа, боже, ты просто получаешь это бесплатно в моделях, типа, три, шесть месяцев спустя. Я, я думаю, насчёт чего я начинаю менять свою песню немного — это. Знаешь, слыша, как все эти прикладные компании говорят, типа, знаешь, мы строим штуки и потом выбрасываем их три месяца спустя, по, по мере того как модели улучшаются.
Ты такой: окей, ну тогда то, что ты делаешь для улучшения возможностей, — это просто другая версия того же, верно? Типа, я всё ещё не думаю, что, типа, твой RL или, типа, пост-трейн сделает так, что у тебя будет лучшая модель на, типа. Годы и годы вперёд. Но может, я, я думаю, тебе всё ещё нужно быть довольно строгим в, типа, это ли единственная лучшая штука, которую ты можешь сделать, чтобы решить проблему клиента?
И, типа, знаешь, зачастую, типа, это буквально просто, типа, теперь, типа, добавь больше данных и, типа, скорми больше данных, даже через коннекторы, этим моделям, или, типа, не знаю, сделай какой-то умный инжиниринг на бэкенде или что там. Но если единственная лучшая штука, которую ты можешь сделать за этот трёхмесячный период, чтобы улучшить исходы твоего клиента, — это, знаешь, пост-тренировка каким-то образом, который, типа, реально улучшает вывод модели, даже если ты выбросишь её три месяца спустя, потому что общие модели подтянутся туда.
Это всё равно могло стоить того, чтобы сделать. И поэтому я думаю, я, типа, более открыт к
[00:50:45] swyx: ты, ты выбрасываешь результаты, но ты не выбрасываешь сырые данные.
[00:50:47] Jacob Effron: Полностью.
[00:50:48] swyx: И, типа, так что, типа
[00:50:48] Jacob Effron: Верно. Потом ты просто прогоняешь это снова. И поэтому по сути есть некоторый, очевидно, на уровне стоимости в, типа, $10 миллионов, может, это слишком много, но есть некоторый уровень стоимости, где
[00:50:55] swyx: Нет,
[00:50:55] Jacob Effron: это, это
[00:50:56] swyx: даже не 10 миллионов,
[00:50:56] Jacob Effron: верно?
Нет, конечно нет. Э-э, знаешь,
[00:50:58] swyx: да.
[00:50:58] Jacob Effron: Есть очевидно некоторый уровень инвестиций, э-э, на котором это эквивалент просто, типа, посадить четырёх инженеров строить что-то на три месяца.
[00:51:04] swyx: Да. Э-э, так что другая штука, которую я реально, э-э, для, для слушателей, я просто оставлю некоторые, некоторые капли инфы. Э-э, посмотри на, типа, на длинную траекторию, работа по синтетическим рубрикам (synthetic rubrics), которую люди делают, очень важна, э-э, включая, э-э, что-то, что называется Doctor GRPO.
Я просто, я просто оставлю эти ключевые поисковые термины здесь. Хм, я, я думаю, это, то, что это значит, — что RL уходит гораздо более многошаговым (multi-turn), чем. Люди думают, и это значит, что ты можешь кастомизировать модели в гораздо более конкретных измерениях, чем традиционный, назовём это SFT, или, э-э, э-э, знаешь, типа, вроде как поверхностный RL, хм, который делали год назад.
Хм, так что, типа, сотни шагов.
[00:51:44] Jacob Effron: Да.
[00:51:45] swyx: Э-э, и, и, и я думаю, что это ведёт тебя по пути, типа, полной доменной специфичности.
[00:51:50] Jacob Effron: Что ещё? Типа, ты, знаешь, э-э, из этих, типа, нерешённых вопросов в AI сегодня, ты, типа, ищешь, знаешь, в следующем году? Ты, ты, э-э, знаешь, пристально следишь за,
[00:51:58] swyx: Я, у меня есть несколько тезисов насчёт, типа, что?
Является своего рода следующим фронтиром. Э-э, один — это память, которую, память и персонализацию мы обсуждали. Другой — это реально, э-э, world models, по которым мы сделали маленькую небольшую серию, от Fei-Fei Li. Да, конечно. До, э-э, даже Moon Lake. Хм, и, э-э, общая интуиция, и есть много дебатов насчёт, типа. Относительной важности этого.
Я думаю, многое из этого, это проявляется как, типа, 3D статичные миры, которые ты вроде как населяешь на какое-то время, и ты ходишь вокруг, и они, типа, круто, но, типа, как это помогает мне с моим B2B SaaS? Верно. И
[00:52:29] Jacob Effron: это, типа, весь хайп сейчас — это робототехника, верно?
[00:52:31] swyx: Да. Хм, и есть, очевидно, корреляция между, э-э, world models и воплощённым (embodied).
Э-э, зрением и опытом, что ведёт к робототехнике. Э-э, но я думаю, world models очень интересны просто в улучшении самого интеллекта. Хм, от следующей, от парадигмы предсказания следующего токена. Хм, и поэтому я думаю, люди вроде как тестируют свои края вокруг этого. Одна из наших топовых статей в этом году пока что была об adversarial reward models.
Хм. Я, я всё же думаю, типа, э-э, если ты ничего другого не делаешь, просто прочти эссе Fei-Fei о пространственном интеллекте (spatial intelligence), о том, почему, хм, LLM не нужно, не имеют его. И она, она может, она может пока не иметь решения, но у неё есть правильная постановка проблемы. Да. И поэтому все остальные пытаются решить эту постановку проблемы своим собственным способом.
Хм. И посмотрим, кто победит. Но, типа, я, я не думаю, что тебе сослужит хорошую службу приравнивать world models к робототехнике, или world models к играм, или какому-то, типа, э-э, или, типа, текущим проявлениям, потому что на кону гораздо более важная. Концепция интеллекта, чем просто ответы на вопросы.
Это, понимает ли, понимает ли, понимает ли, понимает ли AI, что такое стол? Типа, что, что такое материя, что такое физика? Это почти как, для, для тех, кто фанаты кино, это как «Умница Уилл Хантинг», где, хм, Matt Damon, типа, знает всё, потому что он прочитал это в книге, но он никогда не жил. Отличная,
[00:53:54] Jacob Effron: отличная сцена с
[00:53:55] swyx: Robin Williams.
С Robin Williams, и я, я смотрю на эту сцену и думаю, типа, это в точности, разница между, типа, очень интеллектуальной LLM, которая знает всё, но ничего не пережила.
[00:54:04] Jacob Effron: Вау. Это потрясающая нота, на которой закончить. Э-э, это, ты использовал это раньше? Это здорово.
[00:54:08] swyx: Да. Так что, так что одна штука, которую я сделал с Latent Space, — это я перешёл к, типа, э-э, добавлению ежедневных заметок.
Да. И поэтому однажды, в один из разов, когда я делал эту ежедневную заметку, я написал это.
[00:54:16] Jacob Effron: Это отличная
[00:54:17] swyx: штука. Мне нравится
[00:54:17] Jacob Effron: это. Хм, что ж, это было очень весело. Огромное спасибо
[00:54:19] swyx: за, за то, что пришёл, мужик.
[00:54:21] Jacob Effron: Я Jacob Effron, и это был Unsupervised Learning. Подкаст, где я получаю возможность говорить с самыми умными людьми в AI и задавать им кучу вопросов о том, что происходит с моделями и что это значит для бизнеса в мире.
Как я надеюсь, понятно, я получаю кучу удовольствия, делая это. Это проект по вечерам и выходным в дополнение к моей основной работе инвестором в RedPoint, но наша способность залучать этих невероятных гостей по-настоящему исходит от таких людей, как вы, подписывающихся на подкаст, делящихся им с друзьями. Это по-настоящему то, что в конечном счёте заставляет всю эту штуку работать.
И поэтому, пожалуйста, подумайте о том, чтобы это сделать. И огромное спасибо за вашу поддержку и за то, что слушаете. Увидимся в следующем эпизоде.
Обсуждение этого эпизода
