Frontier Systems for the Physical World | Andreessen Horowitz
Эссе a16z от Oliver Hsu описывает зарождение «фронтирных систем для физического мира» — следующего этапа развития ИИ за пределами парадигмы языка и кода. Автор выделяет пять технических примитивов: выученные представления физической динамики (VLA, WAM, нативные модели воплощённого ИИ), архитектуры воплощённого действия (двухсистемная иерархия, flow matching, RL-постобучение вроде RECAP от Physical Intelligence для π*₀.₆), симуляция и синтетические данные, расширение сенсорного многообразия (AR, EMG, silent speech, BCI, тактильные и обонятельные датчики) и замкнутые агентные системы. На этих примитивах строятся три ключевые области: робототехника (π₀, Gemini Robotics, GR00T N1, Figure Helix), автономная наука и самоуправляемые лаборатории (Periodic Labs, Medra), а также новые интерфейсы (Neuralink, Synchron, Echo Neurotechnologies, Sesame, Wispr Flow). Хсю утверждает, что эти домены взаимно усиливают друг друга, формируя структурный маховик, который выводит ИИ в физическую реальность и открывает новые оси масштабирования, дополняющие цифровой фронтир.
Фронтирные системы для физического мира
Содержание: Фронтирные системы для физического мира
Доминирующая парадигма ИИ сегодня, в той мере, в какой он применяется в продакшен-средах, строится вокруг языка и кода. Законы масштабирования больших языковых моделей хорошо изучены, коммерческий маховик данных, вычислений и алгоритмических улучшений раскручен, а отдача от инкрементального роста возможностей остаётся значительной и в основном считываемой. Эта парадигма заслужила то внимание и капитал, которые ей достались.
Однако ряд смежных и связанных областей в своей подготовительной фазе уже добился ощутимых сдвигов. К таким направлениям относятся VLA, WAM и другие подходы к универсальным моделям робототехники, физическое и научное рассуждение в рамках поиска ИИ-учёных, а также новые интерфейсы взаимодействия человека и компьютера (включая BCI и нейротехнологии), которые используют достижения ИИ, чтобы переосмыслить наше взаимодействие с машинами. Помимо технического прогресса, в каждой из этих областей виден приток талантов, капитала и активности основателей. Технические примитивы для распространения фронтирного ИИ в физический мир созревают одновременно, и темп прогресса за последние восемнадцать месяцев говорит о том, что эти области вскоре могут войти в собственный режим масштабирования.
В любой технологической парадигме наибольший разрыв между текущим воспринимаемым уровнем возможностей и среднесрочным потенциалом обычно наблюдается в тех областях, которые выигрывают от тех же эффектов масштабирования, что движут текущий фронтир, но находятся на шаг в стороне от господствующей парадигмы — достаточно близко, чтобы наследовать её инфраструктуру и исследовательский импульс, но достаточно далеко, чтобы требовать нетривиальной дополнительной работы. Эта дистанция выполняет двойную функцию: она создаёт естественный ров против быстрых последователей и задаёт пространство задач, которое богаче, менее изучено и с большей вероятностью порождает эмерджентные способности — именно потому, что лёгкие пути ещё не пройдены.
Три области сегодня соответствуют этому описанию: обучение роботов, автономная наука (в частности, в материаловедении и науках о жизни) и новые человеко-машинные интерфейсы (включая интерфейсы мозг–компьютер, беззвучную речь, нейронные носимые устройства и новые сенсорные модальности — например, оцифрованное обоняние). Это не полностью обособленные направления; тематически они являются частью группы зарождающихся фронтирных систем для физического мира. Они имеют общий субстрат технических примитивов — выученные представления физической динамики, архитектуры воплощённого действия, инфраструктуру симуляции и синтетических данных, расширяющееся сенсорное многообразие и замкнутую агентную оркестрацию. Они взаимно усиливают друг друга так, что создаются составные эффекты между доменами. И именно в этих областях с наибольшей вероятностью возникнут качественно новые способности ИИ — из взаимодействия масштаба моделей, физической заземлённости и новых модальностей данных.
Это эссе обозревает технические примитивы, лежащие в основе этих систем, анализирует, почему именно эти три домена представляют собой фронтирные возможности, и утверждает, что их взаимное усиление образует структурный маховик для распространения ИИ в физический мир.
Примитивы
Прежде чем рассматривать конкретные прикладные домены, стоит понять общие технические основы, делающие эти фронтирные системы возможными. В основе продвижения фронтирного ИИ в физический мир лежат пять ключевых примитивов. Эти технологии не обязательно специфичны для какой-то одной прикладной области; скорее, это строительные блоки, позволяющие создавать системы, которые расширяют ИИ в физический мир. Их одновременное созревание и делает нынешний момент особенным.
Выученные представления физической динамики
Самый фундаментальный примитив — способность выучивать сжатые, универсальные представления о том, как ведёт себя физический мир: как объекты движутся, деформируются, сталкиваются и реагируют на силу. Без этого каждая система ИИ для физического мира вынуждена изучать физику своей области с нуля, что непомерно дорого.
К этой способности сходятся сразу несколько архитектурных семейств — с разных сторон. Vision-Language-Action модели (VLA) подходят сверху: они берут предобученные vision-language модели — уже богатые семантическим пониманием объектов, пространственных отношений и языка — и расширяют их декодерами действий, выдающими моторные команды. Ключевая идея в том, что огромная стоимость обучения видеть и понимать мир может быть амортизирована за счёт предобучения на интернет-масштабных парах изображение–текст. Модели вроде π₀ от Physical Intelligence, Gemini Robotics от Google DeepMind или GR00T N1 от NVIDIA продемонстрировали такую архитектуру на всё большем масштабе.
World Action Models (WAM) подходят к той же способности снизу: они строятся на основе видео-диффузионных трансформеров, предобученных на интернет-масштабных видео, наследуя богатые априорные представления о физической динамике — как объекты падают, перекрывают друг друга и взаимодействуют под действием силы, — и связывают эти приоры с генерацией действий. DreamZero от NVIDIA демонстрирует zero-shot обобщение на совершенно новые задачи и среды, добиваясь ощутимого улучшения в реальной обобщающей способности и обеспечивая перенос между разными воплощениями с человеческих видеодемонстраций при минимальном объёме адаптационных данных.
Третий путь, который, возможно, наиболее показателен для понимания, куда движется поле, полностью отказывается и от предобученных VLM, и от видео-диффузионных бэкбонов. GEN-1 от Generalist — это нативная воплощённая foundation-модель, обученная с нуля на более чем полумиллионе часов реальных данных физического взаимодействия, собранных в основном через недорогие носимые устройства на людях, выполняющих повседневные задачи манипуляции. Это не VLA в стандартном смысле (поскольку нет vision-language бэкбона, который дообучают), и не WAM. Это полноценная foundation-модель для физического взаимодействия, изначально спроектированная учиться представлениям динамики из статистики контакта человека с объектами, а не из интернет-изображений, текста или видео.
Пространственный интеллект, который строят компании вроде World Labs, ценен для этого примитива потому, что закрывает разрыв в представлениях, общий для VLA, WAM и нативных воплощённых моделей: ни одна из них явно не моделирует трёхмерную структуру сцен, в которых работает. VLA наследуют 2D-признаки из предобучения на парах изображение–текст. WAM обучаются динамике на видео — 2D-проекции 3D-реальности. Модели, обучающиеся на данных с носимых сенсоров, фиксируют силы и кинематику, но не геометрию сцены. Модели пространственного интеллекта могут заполнить этот пробел, учась реконструировать, генерировать и рассуждать о полной трёхмерной структуре физических сред — геометрии, освещении, окклюзиях, отношениях между объектами и пространственной компоновке.
Схождение этих подходов и есть суть. Унаследованы ли представления от VLM, выучены ли через сообучение на видео или построены нативно из данных физического взаимодействия — нижележащий примитив один: сжатые, переносимые модели того, как ведёт себя физический мир. Маховик данных для таких представлений огромен и в основном не задействован — он охватывает не только интернет-видео и траектории роботов, но и колоссальный массив человеческого физического опыта, который носимые устройства теперь начинают фиксировать в масштабе. Те же представления служат и роботу, учащемуся складывать полотенца, и самоуправляемой лаборатории, предсказывающей исход реакций, и нейродекодеру, интерпретирующему план моторной коры по схватыванию предмета.
Архитектуры воплощённого действия
Представления о физике необходимы, но недостаточны. Превращение понимания в надёжное физическое действие требует архитектур, решающих сразу несколько взаимосвязанных задач: отображение высокоуровневого намерения в непрерывные моторные команды, поддержание связности на длинных горизонтах действия, работа в условиях ограничений по латентности в реальном времени и улучшение с опытом.
Двухсистемная иерархическая архитектура — отделяющая медленную и мощную vision-language модель для понимания сцены и рассуждения о задаче (System 2) от быстрой и лёгкой визуомоторной политики для управления в реальном времени (System 1) — стала стандартным шаблоном для сложных воплощений. GR00T N1, Gemini Robotics и Helix от Figure используют варианты этого подхода, разрешая фундаментальное противоречие между богатым рассуждением, которое дают большие модели, и миллисекундными частотами управления, требуемыми для физических задач. Альтернативно, Generalist использует подход гармонического рассуждения для одновременного мышления и действия.
Сам механизм генерации действий стремительно эволюционирует. Flow matching и диффузионные «головы» действия, пионером которых стала π₀, выдвинулись как доминирующий подход для производства плавных непрерывных действий с высокой частотой, вытесняя методы дискретной токенизации, заимствованные из языкового моделирования. Эти методы трактуют генерацию действий как процесс denoising, аналогичный синтезу изображений, давая траектории, физически более плавные и устойчивые к накапливающимся ошибкам, чем авторегрессионное предсказание токенов.
Но самым важным архитектурным сдвигом, пожалуй, является распространение reinforcement learning на предобученные VLA — идея, что foundation-модель, обученная на демонстрациях, может затем улучшаться через собственную автономную практику, подобно тому как человек оттачивает навык повторением и самокоррекцией. Работа Physical Intelligence над π*₀.₆ — самая яркая демонстрация этого принципа в масштабе. Их метод RECAP (RL with Experience and Corrections via Advantage-conditioned Policies) решает задачу, которую чистое имитационное обучение решить не может: присвоение «заслуг» на длинных горизонтах задачи. Если робот захватывает портафильтр эспрессо-машины под чуть неправильным углом, провал может проявиться лишь несколько шагов спустя, при попытке вставки. У имитационного обучения нет механизма приписать неудачу более раннему хвату; у RL — есть. RECAP обучает value function, оценивающую вероятность успеха из любого промежуточного состояния, а затем настраивает VLA выбирать действия с высоким advantage. Что критически важно, он объединяет в едином пайплайне обучения разнородные данные (демонстрации, on-policy автономный опыт, экспертные коррекции через телеоперацию во время исполнения и т. д.).
Результаты такого подхода обнадёживают для будущего RL применительно к действиям. π*₀.₆ складывает бельё 50 новых типов одежды в реальных домах, надёжно собирает коробки и готовит эспрессо на профессиональной машине, работая непрерывно часами без вмешательства человека. На самых трудных задачах RECAP более чем удваивает throughput и снижает частоту отказов вдвое или более по сравнению с baseline на чистой имитации. Система также показывает, что RL-постобучение даёт качественно иное поведение, чем имитация: более плавные восстановления, более эффективные стратегии хвата и адаптивная коррекция ошибок, которых не было в демонстрационных данных.
Эти достижения говорят о том, что та же динамика масштабирования вычислений, что вывела LLM от GPT-2 до GPT-4, начинает действовать и в воплощённой области — просто ещё на более ранней точке кривой и в пространстве действий, которое непрерывно, многомерно и подчинено неумолимым ограничениям реальной физики.
Симуляция и синтетические данные как инфраструктура масштабирования
В языке проблему данных решил интернет: триллионы токенов естественно возникающего текста, доступных свободно. В физическом мире проблема данных на порядки сложнее — это сейчас очень хорошо понимают, что видно по стремительному росту стартапов, нацеленных на создание поставщиков данных для физического мира. Реальные траектории роботов дорого собирать, опасно масштабировать и они ограничены в разнообразии. Языковая модель может учиться на миллиарде разговоров; робот пока не может пережить миллиард физических взаимодействий.
Симуляция и генерация синтетических данных — инфраструктурный слой, разрешающий это ограничение, и их созревание — одна из ключевых причин, почему физический ИИ ускоряется именно сейчас, а не пять лет назад.
Современный стек симуляции сочетает физические движки, фотореалистичный рендеринг через ray tracing, процедурную генерацию сред и world foundation models, преодолевающие разрыв sim-to-real, генерируя фотореалистичные видео из входов симуляции. Пайплайн идёт от нейронной реконструкции реальных сред (используя лишь смартфон) через наполнение их физически корректными 3D-ассетами к масштабной генерации синтетических данных с автоматической разметкой.
Значимость улучшений в стеке симуляции состоит, интуитивно, в изменении экономических допущений, лежащих в основе физического ИИ. Если узкое место в физическом ИИ сместится от сбора реальных данных к проектированию разнообразных виртуальных сред, кривая затрат рухнет. Симуляция масштабируется с вычислениями, а не с человеческим трудом или физическим железом. Это преобразует экономику обучения систем физического ИИ так же, как интернет-масштабные текстовые данные преобразили экономику обучения языковых моделей, и означает, что инвестиции в инфраструктуру симуляции имеют непропорционально большое плечо для всей экосистемы.
Однако симуляция — не только примитив робототехники. Та же инфраструктура обслуживает автономную науку (цифровые двойники лабораторного оборудования, симулированные среды реакций для предварительного отсева гипотез), новые интерфейсы (симулированные нейронные среды для обучения BCI-декодеров, синтетические сенсорные данные для калибровки новых датчиков) и другие домены, где ИИ взаимодействует с физическим миром. Симуляция — это универсальный движок данных для ИИ физического мира.
Расширение сенсорного многообразия
Физический мир общается куда более богатым набором сигналов, чем зрение и язык. Тактильные ощущения несут информацию о свойствах материалов, стабильности захвата и геометрии контакта, невидимую для камер. Нейронные сигналы кодируют моторное намерение, когнитивное состояние и перцептивный опыт на скоростях, далеко превосходящих любой нынешний человеко-машинный интерфейс. Субвокальная мышечная активность кодирует речевое намерение ещё до того, как издан звук. Четвёртый примитив — стремительное расширение сенсорного доступа ИИ к этим прежде недоступным модальностям, движимое не только исследованиями, но и экосистемой, строящей устройства, программное обеспечение и инфраструктуру для захвата и обработки таких сигналов в потребительском масштабе.
Наиболее заметный индикатор этого расширения — появление новых категорий устройств. К ним относятся AR-устройства, у которых в последние годы радикально улучшились пользовательский опыт и форм-фактор (компании создают на этой платформе приложения как для потребительских, так и для индустриальных сценариев); voice-first ИИ-носимые устройства, дающие более полный контекст для языкового ИИ, сопровождая пользователя в физическом мире. В долгосрочной перспективе нейронные интерфейсы могут открыть ещё более полные модальности взаимодействия. ИИ привнёс сдвиг в вычислениях, создавший возможность кардинально продвинуть способы взаимодействия человека с компьютером, и компании вроде Sesame строят новые модальности и устройства, чтобы это сделать.
Более доминирующие модальности вроде голоса создают попутный ветер для зарождающихся способов взаимодействия с компьютерами. По мере того как продукты вроде Wispr Flow выводят голос в роль скорее первичной модальности ввода (преимущество за счёт высокой плотности информации), рыночная динамика вокруг интерфейсов беззвучной речи также становится более благоприятной. Устройства silent speech, использующие различные датчики для фиксации движений языка и голосовых связок, чтобы распознавать речь без звука, представляют собой ещё более информационно плотную модальность взаимодействия с компьютерами и ИИ.
Интерфейсы мозг–компьютер, как инвазивные, так и неинвазивные, представляют собой более глубокий фронтир, и коммерческая экосистема вокруг них продолжает развиваться. Сигналом здесь будет движение к схождению клинической валидации, регуляторных разрешений, платформенной интеграции и институционального капитала вокруг технологической категории, которая ещё несколько лет назад была сугубо академической.
Тактильное восприятие входит в архитектуры воплощённого ИИ, поскольку некоторые модели в обучении роботов начинают явно включать осязание как полноценную часть подхода. Обонятельные интерфейсы превращаются в реальные инженерные артефакты: продемонстрированы носимые дисплеи на миниатюрных генераторах запахов с откликом в миллисекунды для приложений смешанной реальности, а модели запаха разрабатываются для сопряжения с визуальными системами ИИ для мониторинга химических процессов.
Общий узор всех этих разработок в том, что в пределе они сходятся друг с другом. AR-очки порождают непрерывные визуальные и пространственные данные о том, как пользователи взаимодействуют с физическими средами. EMG-браслеты фиксируют статистику человеческого моторного намерения. Интерфейсы silent speech фиксируют отображение между субвокальной артикуляцией и лингвистическим выводом. BCI фиксируют нейронную активность с наивысшим доступным разрешением. Тактильные датчики фиксируют контактную динамику физической манипуляции. Каждая новая категория устройств — это также платформа генерации данных, питающая модели, лежащие в основе множества прикладных областей. Робот, обученный на данных о моторных намерениях, полученных из EMG, осваивает иные стратегии хвата, чем тот, что обучен только на телеоперации. Лабораторный интерфейс, отвечающий на субвокальные команды, обеспечивает иной тип взаимодействия учёного с машиной, чем клавиатура. Нейродекодер, обученный на высокоплотных данных BCI, даёт представления о моторном планировании, недоступные через любой другой канал.
Распространение этих устройств расширяет эффективную размерность многообразия данных, доступного для обучения фронтирных систем ИИ физического мира — и тот факт, что значительная часть этого расширения движима хорошо капитализированными потребительскими продуктовыми компаниями, а не только академическими лабораториями, означает, что маховик данных может масштабироваться вместе с рыночным проникновением.
Замкнутые агентные системы
Последний примитив более архитектурный. Это способность оркестрировать восприятие, рассуждение и действие в устойчивые, автономные, замкнутые системы, работающие на длинных временных горизонтах без вмешательства человека.
В языковых моделях аналогом было появление агентных систем — многошаговых цепочек рассуждений, использования инструментов и самокорректирующихся рабочих процессов, превративших модели из односессионных ответчиков в автономных решателей задач. В физическом мире происходит тот же переход, но требования куда строже. Языковой агент, совершивший ошибку, может бесплатно откатиться назад, тогда как физический агент, уронивший колбу с реагентом, — не может.
Три свойства отличают агентные системы физического мира от их цифровых аналогов. Во-первых, им требуется воплощённость в экспериментальном или операционном контуре: прямые интерфейсы к сырым потокам инструментов, датчикам физического состояния и примитивам исполнения, заземляющим рассуждение в физической реальности, а не в её текстовых описаниях. Во-вторых, им требуется устойчивость на длинных горизонтах: память, отслеживание происхождения, мониторинг безопасности и восстановительное поведение, поддерживающие непрерывность между операционными циклами, а не трактующие каждую задачу как отдельный эпизод. В-третьих, им требуется адаптация в замкнутом контуре: способность пересматривать стратегии на основе физических исходов, а не только текстовой обратной связи.
Именно этот примитив превращает отдельные способности (хорошую world model, надёжную архитектуру действия, богатый набор сенсоров) в функционирующие системы, способные действовать автономно в физическом мире. Это интеграционный слой, и его созревание — то, что делает три прикладных домена, описанных ниже, реальными развёртываниями, а не изолированными исследовательскими демо.
Три домена
Описанные выше примитивы — это слои общего назначения. Они сами по себе не определяют, где возникнут самые важные приложения. Многие домены связаны с физическим действием, физическим измерением или физическим восприятием. Фронтирная система отличается от просто улучшенной существующей тем, насколько растущие возможности моделей и масштабирующаяся инфраструктура накладываются внутри этого домена, создавая не только лучшую производительность, но и качественно новые способности, которые ранее были невозможны.
Робототехника, ИИ-наука и новые человеко-машинные интерфейсы — те три домена, где это наложение наиболее выражено. Каждый из них собирает примитивы в своей уникальной конфигурации. Каждый ограничен теми барьерами, которые рассматриваемые примитивы как раз снимают. И каждый порождает в качестве побочного продукта своей работы именно тот вид структурированных физических данных, который делает сами примитивы лучше, замыкая обратную связь, ускоряющую всю систему. Это не единственные домены физического ИИ, за которыми стоит следить, но именно в них взаимодействие между фронтирными возможностями ИИ и физической реальностью наиболее плотное, а расстояние до текущей парадигмы языка/кода создаёт больше всего пространства для эмерджентности, оставаясь при этом сильно комплементарным и выигрывая от этих возможностей.
Робототехника
Робототехника — самое буквальное воплощение тезиса: домен, требующий, чтобы система ИИ в реальном времени воспринимала, рассуждала о материальном мире и физически действовала в нём. Это также домен, наиболее непосредственно стресс-тестирующий каждый примитив одновременно.
Рассмотрим, что должен сделать универсальный робот, чтобы сложить полотенце. Ему нужно выученное представление о том, как ведут себя деформируемые материалы под действием силы — физический приор, который не даст никакое количество языкового предобучения. Ему нужна архитектура действия, способная преобразовать высокоуровневую инструкцию в последовательность непрерывных моторных команд с частотой управления 20 Гц и выше. Ему нужны обучающие данные, сгенерированные симуляцией, потому что никто не собрал миллионов реальных демонстраций складывания полотенец. Ему нужна тактильная обратная связь, чтобы обнаруживать проскальзывание и регулировать силу хвата, ведь одним зрением не отличить надёжный захват от того, что вот-вот провалится. И ему нужен контроллер с замкнутой обратной связью, способный обнаружить, что складка пошла не так, и восстановиться, а не слепо исполнять заученную траекторию.
Именно поэтому робототехника — фронтирная система, а не зрелая инженерная дисциплина с лучшими инструментами. Примитивы не просто улучшают существующие возможности роботов; они открывают категории манипуляции, локомоции и взаимодействия, которые прежде были невозможны вне узко контролируемых индустриальных условий.
Фронтир ощутимо продвинулся за последние годы, как мы писали ранее. Первое поколение VLA показало, что foundation-модели могут управлять роботами в самых разных задачах. Архитектурные продвижения сократили разрыв между высокоуровневым рассуждением и низкоуровневым управлением в робототехнических системах. On-device инференс становится осуществимым, а перенос между разными воплощениями означает, что модель может адаптироваться к совершенно новой роботизированной платформе при ограниченном объёме данных. Главным остающимся вызовом является надёжность в масштабе, которая остаётся узким местом для развёртываний. Даже 95% успеха на шаг даёт лишь 60% на 10-шаговой задаче, а продакшен-среды требуют куда большего. Именно здесь RL-постобучение обладает высоким потенциалом и может приблизить нас к тем возможностям и устойчивости, которые означали бы вступление домена в режим масштабирования.
Эти достижения имеют последствия для структуры рынка. Десятилетиями ценность в робототехнике концентрировалась в самой механической системе, и хотя она остаётся ключевой частью стека, по мере того как выученные политики становятся стандартом, ценность мигрирует к моделям, инфраструктуре обучения и маховикам данных. Но робототехника также подпитывает упомянутые ранее примитивы: каждая реальная траектория — это обучающие данные для лучших world models, каждая неудача развёртывания вскрывает пробелы в покрытии симуляции, и каждое новое испытанное воплощение расширяет разнообразие физического опыта, доступного для предобучения. Робототехника — одновременно самый требовательный потребитель примитивов и один из важнейших источников сигнала для их улучшения.
Автономная наука
Если робототехника испытывает примитивы на прочность требованиями физического действия в реальном времени, то автономная наука тестирует их немного иначе — устойчивым многошаговым рассуждением о причинно сложных физических системах на горизонтах в часы или дни, когда экспериментальные исходы нужно интерпретировать, контекстуализировать и использовать для пересмотра стратегии.
ИИ-наука — это домен, где примитивы соединяются наиболее полно. Самоуправляемой лаборатории нужны выученные представления физической и химической динамики, чтобы предсказывать, что произведёт эксперимент. Ей нужно воплощённое действие, чтобы пипетировать реагенты, позиционировать образцы и управлять аналитическими приборами. Ей нужна симуляция для предварительного отсева кандидатных экспериментов и распределения дефицитного приборного времени. Ей нужны расширенные сенсорные средства — спектроскопия, хроматография, масс-спектрометрия и всё более новые химические и биологические датчики — чтобы характеризовать исходы. И ей, как никакому другому домену, нужен примитив замкнутой агентной оркестрации — способность поддерживать многоцикловые рабочие процессы «гипотеза–эксперимент–анализ–пересмотр» без участия человека, сохраняя происхождение, отслеживая безопасность и адаптируя стратегию на основе того, что выявляет каждый цикл.
Ни один другой домен не задействует эти примитивы так глубоко. Именно это делает автономную науку фронтирной системой, а не просто лабораторной автоматизацией с лучшим софтом. Компании вроде Periodic Labs и Medra объединяют способности научного рассуждения с физическими возможностями его проверки — в материаловедении и науках о жизни соответственно, обеспечивая научную итерацию и попутно генерируя экспериментальные обучающие данные.
Ценность таких систем достаточно интуитивна. Традиционное открытие материалов занимает несколько лет от концепции до коммерциализации, и ИИ-ускоренные процессы потенциально способны сжать его до куда меньших сроков. Связывающее ограничение смещается с генерации гипотез, в которой foundation-модели охотно помогают, к изготовлению и валидации, требующим физического инструментария, роботизированного исполнения и оптимизации в замкнутом контуре. Самоуправляемые лаборатории (SDL) нацелены именно на это узкое место.
Ещё одно важное свойство автономной науки — на фоне всей экосистемы таких систем для физического мира — это её роль как движка данных. Каждый эксперимент, выполненный SDL, даёт не только научный результат, но и физически заземлённый, экспериментально валидированный обучающий сигнал. Измерение того, как полимер кристаллизуется при определённых условиях, обогащает понимание world model о динамике материалов. Валидированный маршрут синтеза становится обучающими данными для физического рассуждения. Охарактеризованный отказ учит агентную систему, где её предсказания дают сбой. Данные, произведённые ИИ-учёным, проводящим реальный эксперимент, качественно отличаются от текста, выскоблённого из интернета, или выхода симуляции: они структурированы, причинны и эмпирически верифицированы. Это именно тот тип данных, которого больше всего не хватает моделям физического рассуждения и который они не могут получить ни из какого другого источника. Автономная наука — это домен, напрямую конвертирующий физическую реальность в структурированное знание, улучшающее всю экосистему ИИ физического мира.
Новые интерфейсы
Робототехника распространяет ИИ в физическое действие, автономная наука — в физическое исследование. Новые интерфейсы распространяют его в прямое сопряжение искусственного интеллекта с человеческим восприятием, сенсорным опытом и собственными сигналами тела — через устройства, варьирующиеся от AR-очков и EMG-браслетов до имплантируемых интерфейсов мозг–компьютер. Эту категорию объединяет не одна технология, а общая функция расширения пропускной способности и модальности канала между человеческим интеллектом и системами ИИ, а попутно — генерации данных о взаимодействии человека с миром, которые напрямую полезны для построения ИИ физического мира.
Дистанция от господствующей парадигмы — источник одновременно и трудности, и потенциала в этом домене. Языковые модели знают концептуально об этих модальностях, но не являются нативными для двигательных паттернов silent speech, геометрии связывания обонятельных рецепторов или временной динамики EMG-сигналов. Представления, декодирующие эти сигналы, должны быть выучены из расширяющегося сенсорного многообразия. Для многих из этих модальностей нет интернет-масштабного корпуса предобучения, и данные часто должны приходить от самих интерфейсов, что означает, что системы и их обучающие данные коэволюционируют способом, у которого нет аналога в языковом ИИ.
Ближнесрочное выражение этого домена — стремительное появление ИИ-носимых устройств как категории потребительских товаров. AR-очки, пожалуй, самый видимый представитель этой категории, наряду с другими носимыми потребительскими устройствами, у которых первичной модальностью ввода является голос или зрение.
Эта экосистема потребительских устройств одновременно создаёт новые аппаратные платформы для распространения ИИ в физический мир и инфраструктуру для данных о физическом мире. Человек в ИИ-очках может производить непрерывный поток видео от первого лица о том, как люди ориентируются в физических средах, манипулируют объектами и взаимодействуют с миром. Другие носимые устройства фиксируют непрерывные биометрические и двигательные данные. Вместе установленная база ИИ-носимых устройств превращается в распределённую сеть сбора данных для ИИ физического мира, инструментируя человеческий физический опыт в масштабе, который ранее был невозможен. Подумайте о масштабе смартфона как потребительского устройства — распространение нового типа потребительских устройств, открывающих новые модальности восприятия мира компьютерами в таком масштабе, создаёт также огромный новый канал взаимодействия ИИ с физическим миром.
Интерфейсы мозг–компьютер представляют собой более глубокий фронтир. Neuralink имплантировал устройство нескольким пациентам и итерирует свою хирургическую робототехнику и софт декодера. Эндоваскулярный Stentrode от Synchron использовался, чтобы дать парализованным пользователям контроль над цифровыми и физическими средами. Echo Neurotechnologies разрабатывает BCI-систему для восстановления речи, опирающуюся на их работу по высокоразрешающему кортикальному декодированию речи. Кроме того, появились новые компании вроде Nudge, агрегирующие таланты и капитал для создания новых нейроинтерфейсов и платформ взаимодействия с мозгом. Технические вехи в исследовательской сфере тоже примечательны. Чип BISC продемонстрировал беспроводную нейронную запись с плотностью 65 536 электродов на одном чипе, а команда BrainGate декодировала внутреннюю речь напрямую из моторной коры.
Сквозная линия, связывающая всё — от AR-очков, ИИ-носимых устройств, устройств silent speech до имплантируемых BCI, — не просто в том, что все они являются интерфейсами. Она в том, что вместе они образуют спектр всё более высокоскоростных каналов между человеческим физическим опытом и системами ИИ, и каждая точка на этом спектре поддерживает примитивы, лежащие в основе всех трёх доменов этого эссе, для дальнейшего прогресса. Робот, обученный на качественном эгоцентрическом видео миллионов носителей ИИ-очков, усваивает иные манипуляционные приоры, чем тот, что обучен на курируемых датасетах телеоперации; лабораторный ИИ, отвечающий на субвокальные команды, работает с иной задержкой и плавностью, чем управляемый клавиатурой; нейродекодер, обученный на высокоплотных данных BCI, даёт представления моторного планирования, недоступные ни через какой другой канал.
Новые интерфейсы — механизм, посредством которого само сенсорное многообразие растёт, открывая ранее не существовавшие каналы данных между физическим миром и ИИ. И тот факт, что это расширение движимо производителями потребительских устройств, стремящимися развёртывать продукты в масштабе, означает, что маховик данных будет ускоряться вместе с потребительским проникновением.
Системы для физического мира
Причина рассматривать робототехнику, автономную науку и новые интерфейсы как разные экземпляры фронтирных систем, сочетающих одни и те же примитивы, в том, что они взаимно усиливают друг друга так, что эффекты складываются.
Робототехника делает возможной автономную науку. Самоуправляемые лаборатории — это по своей сути робототехнические системы. Манипуляционные способности, разработанные для универсальной робототехники, — точный хват, работа с жидкостями, точное позиционирование, исполнение многошаговых задач — напрямую переносятся в лабораторную автоматизацию. По мере того как модели робототехники растут в общности и устойчивости, расширяется и спектр экспериментальных протоколов, которые SDL могут выполнять автономно. Каждое продвижение в обучении роботов снижает стоимость и повышает throughput автономного эксперимента.
Автономная наука делает возможной робототехнику. Научные данные, произведённые самоуправляемыми лабораториями — валидированные физические измерения, причинные экспериментальные результаты, базы данных свойств материалов — могут дать структурированные, заземлённые обучающие данные, в которых нуждаются для улучшения world models и движки физического рассуждения. Более того, материалы и устройства, которые требуются роботам следующего поколения (например, лучшие приводы, более чувствительные тактильные датчики, аккумуляторы более высокой плотности и т. д.), сами являются продуктами материаловедения. Платформы автономного открытия, ускоряющие материальные инновации, могут напрямую улучшать аппаратный субстрат, на котором работает обучение роботов.
Новые интерфейсы делают возможной робототехнику. AR-устройства — масштабируемый способ собирать данные о восприятии физической среды и взаимодействии с ней. Нейронные интерфейсы генерируют данные о моторных намерениях человека, когнитивном планировании и сенсорной обработке. Эти данные бесценны для обучения систем робототехники, особенно для задач, связанных с человеко-роботным сотрудничеством или телеоперацией.
Здесь есть более глубокая мысль о природе самого прогресса фронтирного ИИ. Парадигма языка/кода добилась впечатляющих результатов и продолжает показывать сильные улучшения в эпоху масштабирования. Физический мир предлагает почти неограниченный запас новых задач, типов данных, сигналов обратной связи и критериев оценки. Заземляя системы ИИ в физической реальности (через роботов, манипулирующих объектами, лаборатории, синтезирующие материалы, и интерфейсы, соединяющие с биологическим и физическим миром), мы открываем новые оси масштабирования, комплементарные существующему цифровому фронтиру — и, вероятно, взаимно улучшающие.
Эмерджентные поведения, которых стоит ожидать от этих систем, точно предсказать трудно, ведь эмерджентность по определению возникает из взаимодействия способностей, по отдельности хорошо понятых, но коллективно новых. Однако исторический паттерн обнадёживает. Когда системы ИИ получают доступ к новым модальностям взаимодействия с миром — когда они начинают видеть (computer vision), говорить (распознавание речи), читать и писать (языковые модели) — итоговые способности качественно больше суммы составляющих улучшений. Переход к системам физического мира — это следующий такой фазовый переход. В этом смысле обсуждаемые здесь примитивы строятся сейчас и могут позволить фронтирным системам ИИ воспринимать, рассуждать о физическом мире и взаимодействовать с ним, раскрывая значительные объёмы ценности и прогресса в физическом измерении.
Oliver Hsu
— партнёр инвестиционной команды American Dynamism в a16z, где он сфокусирован на зарождающихся вычислительных платформах и приложениях для физического мира.
A Primer on Factory Economics for Startups Oliver Hsu Big Ideas 2026: New Infrastructure Primitives Guy Wuollet, James da Costa, and Oliver Hsu Rebuilding America’s Industrial Backbone Chris Power, Oliver Hsu, Jordan Black, and Bryon Hargis Toward a Horizontal Robotics Platform Oliver Hsu Full-Stack Startups in American Dynamism Oliver Hsu
Свежий обзор идей, компаний и людей, строящих более динамичное будущее.
Хотите больше American Dynamism?
Свежий обзор идей, компаний и людей, строящих более динамичное будущее.
Хотите больше American Dynamism?
Свежий обзор идей, компаний и людей, строящих более динамичное будущее.
Мнения, высказанные в «постах» (включая подкасты, видео и социальные сети), принадлежат отдельным сотрудникам a16z, цитируемым в них, и не являются мнениями a16z Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. a16z Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам. Регистрация в качестве инвестиционного консультанта не подразумевает наличия какого-либо особого мастерства или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не представляют собой предложение продать — или приглашение сделать предложение купить — какие-либо ценные бумаги, и не могут использоваться или применяться при оценке достоинств какой-либо инвестиции.
Содержащееся здесь — и доступное на любых связанных платформах распространения и любых публичных онлайн-аккаунтах a16z в социальных сетях, на платформах и сайтах (вместе — «каналы распространения контента»), — не должно толковаться или приниматься в каком-либо виде как инвестиционная, юридическая, налоговая или иная консультация. Вы должны проконсультироваться с собственными советниками по юридическим, деловым, налоговым и иным связанным вопросам, касающимся любой инвестиции. Любые прогнозы, оценки, целевые показатели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться от мнений, выражаемых другими, или противоречить им. Любые графики, представленные здесь или в каналах распространения контента a16z, носят информационный характер и не должны использоваться при принятии каких-либо инвестиционных решений. Часть информации получена из сторонних источников, включая портфельные компании фондов, управляемых a16z. Хотя источники считаются надёжными, a16z не проводила независимую проверку такой информации и не делает заявлений о её устойчивой точности или пригодности в той или иной ситуации. Кроме того, посты могут содержать рекламу третьих сторон; a16z не просматривала такую рекламу и не одобряет содержащийся в ней рекламный контент. Весь контент актуален лишь на указанную дату.
Ни при каких обстоятельствах посты или иная информация, представленные на этом сайте — или в связанных каналах распространения контента, — не должны истолковываться как предложение, приглашающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо пуле инвестиционных средств, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Это также не должно истолковываться как предложение оказания инвестиционно-консультационных услуг; предложение об инвестировании в управляемый a16z пул инвестиционных средств будет сделано отдельно и только посредством конфиденциальных предложенческих документов конкретных пулов инвестиционных средств, которые должны быть прочитаны целиком и предложены только тем, кто, среди прочих требований, соответствует определённым квалификациям согласно федеральным законам о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, в общем случае считаются способными оценивать достоинства и риски потенциальных инвестиций и финансовых вопросов.
Не может быть никаких гарантий того, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в средство, управляемое a16z, сопряжена с высокой степенью риска, включая риск потери всей инвестированной суммы. Любые упомянутые, приведённые в ссылках или описанные инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в средства, управляемые a16z, и не может быть гарантий того, что инвестиции окажутся прибыльными или что иные будущие инвестиции будут иметь сходные характеристики или результаты. Список инвестиций, совершённых фондами, управляемыми a16z, доступен здесь: https://a16z.com/investments/. Прошлые результаты инвестиций, пулов инвестиционных средств или инвестиционных стратегий a16z не обязательно показательны для будущих результатов. Из этого списка исключены инвестиции (и определённые публично торгуемые криптовалюты/цифровые активы), в отношении которых эмитент не дал a16z разрешения на публичное раскрытие. В отношении своих инвестиций в любой криптовалютный или токен-проект a16z действует в собственных финансовых интересах, не обязательно в интересах других держателей токенов. У a16z нет особой роли в этих проектах или власти над их управлением. a16z не берёт на себя обязательство продолжать какое-либо участие в этих проектах, кроме как в качестве инвестора и держателя токенов, и другие держатели токенов не должны ожидать или полагаться на то, что у неё будет какое-либо особое участие.
В отношении фондов, управляемых a16z и зарегистрированных в Японии, a16z предоставит любому представителю японской общественности копии документов, которые должны быть публично доступны согласно статье 63 Закона Японии о финансовых инструментах и биржах. Свяжитесь с compliance@a16z.com, чтобы запросить такие документы.
Иные условия использования сайта смотрите здесь. Дополнительную важную информацию о a16z, включая нашу брошюру Form ADV Part 2A, можно найти на сайте SEC: http://www.adviserinfo.sec.gov.