Frontier Systems for the Physical World | Andreessen Horowitz

Frontier Systems for the Physical World

Фронтирные системы для физического мира

Frontier Systems for the Physical World Table of Contents

Содержание: Фронтирные системы для физического мира

The dominant paradigm in AI today, insofar as it is used in production-ready settings, is organized around language and code. The scaling laws governing large language models are well-characterized, the commercial flywheel of data, compute, and algorithmic improvement is spinning, and the returns to incremental capability gains remain large and mostly legible. This paradigm has earned the capital and attention it commands.

Доминирующая парадигма ИИ сегодня, в той мере, в какой он применяется в продакшен-средах, строится вокруг языка и кода. Законы масштабирования больших языковых моделей хорошо изучены, коммерческий маховик данных, вычислений и алгоритмических улучшений раскручен, а отдача от инкрементального роста возможностей остаётся значительной и в основном считываемой. Эта парадигма заслужила то внимание и капитал, которые ей достались.

But a set of adjacent and related fields has been making meaningful strides in its gestation phase. These areas of activity include VLAs, WAMs, and other approaches to generalist robotics models, physical and scientific reasoning in the pursuit of AI scientists, and novel interfaces for human-computer interaction (including BCIs and neurotech) that take advantage of advances in AI to rethink how we interact with machines. Beyond technical progress, each of these areas has seen the beginnings of an influx in talent, capital, and founder activity. The technical primitives for extending frontier AI into the physical world are maturing concurrently, and the pace of progress over the past eighteen months suggests that these fields could soon enter a scaling regime of their own.

Однако ряд смежных и связанных областей в своей подготовительной фазе уже добился ощутимых сдвигов. К таким направлениям относятся VLA, WAM и другие подходы к универсальным моделям робототехники, физическое и научное рассуждение в рамках поиска ИИ-учёных, а также новые интерфейсы взаимодействия человека и компьютера (включая BCI и нейротехнологии), которые используют достижения ИИ, чтобы переосмыслить наше взаимодействие с машинами. Помимо технического прогресса, в каждой из этих областей виден приток талантов, капитала и активности основателей. Технические примитивы для распространения фронтирного ИИ в физический мир созревают одновременно, и темп прогресса за последние восемнадцать месяцев говорит о том, что эти области вскоре могут войти в собственный режим масштабирования.

In a given technology paradigm, the areas with the greatest delta between their current perceived capabilities and medium-term upside potential tend to be those that benefit from the same scaling dynamics driving the current frontier, but sit one step removed from the incumbent paradigm — close enough to inherit its infrastructure and research momentum, but distant enough to require non-trivial additional work. This distance serves a dual function: it creates a natural moat against fast-following, and it defines a problem space that is richer, less explored, and more likely to produce emergent capabilities precisely because the easy paths have not already been taken.

В любой технологической парадигме наибольший разрыв между текущим воспринимаемым уровнем возможностей и среднесрочным потенциалом обычно наблюдается в тех областях, которые выигрывают от тех же эффектов масштабирования, что движут текущий фронтир, но находятся на шаг в стороне от господствующей парадигмы — достаточно близко, чтобы наследовать её инфраструктуру и исследовательский импульс, но достаточно далеко, чтобы требовать нетривиальной дополнительной работы. Эта дистанция выполняет двойную функцию: она создаёт естественный ров против быстрых последователей и задаёт пространство задач, которое богаче, менее изучено и с большей вероятностью порождает эмерджентные способности — именно потому, что лёгкие пути ещё не пройдены.

Three domains fit this description today: robot learning, autonomous science (particularly in materials and life sciences), and new human-machine interfaces (including brain-computer interfaces, silent speech, neural wearables, and novel sensory modalities like digitized olfaction). These are not entirely separate efforts, and thematically are part of a group of emerging frontier systems for the physical world. They share a common substrate of technical primitives, like learned representations of physical dynamics, architectures for embodied action, simulation and synthetic data infrastructure, an expanding sensory manifold, and closed-loop agentic orchestration. They are mutually reinforcing in ways that create compounding dynamics across domains. And they are the areas where qualitatively new AI capabilities are most likely to emerge from the interaction of model scale, physical grounding, and novel data modalities.

Три области сегодня соответствуют этому описанию: обучение роботов, автономная наука (в частности, в материаловедении и науках о жизни) и новые человеко-машинные интерфейсы (включая интерфейсы мозг–компьютер, беззвучную речь, нейронные носимые устройства и новые сенсорные модальности — например, оцифрованное обоняние). Это не полностью обособленные направления; тематически они являются частью группы зарождающихся фронтирных систем для физического мира. Они имеют общий субстрат технических примитивов — выученные представления физической динамики, архитектуры воплощённого действия, инфраструктуру симуляции и синтетических данных, расширяющееся сенсорное многообразие и замкнутую агентную оркестрацию. Они взаимно усиливают друг друга так, что создаются составные эффекты между доменами. И именно в этих областях с наибольшей вероятностью возникнут качественно новые способности ИИ — из взаимодействия масштаба моделей, физической заземлённости и новых модальностей данных.

This essay surveys the technical primitives underlying these systems, examines why these three domains specifically represent frontier opportunities, and proposes that their mutual reinforcement constitutes a structural flywheel for extending AI into the physical world.

Это эссе обозревает технические примитивы, лежащие в основе этих систем, анализирует, почему именно эти три домена представляют собой фронтирные возможности, и утверждает, что их взаимное усиление образует структурный маховик для распространения ИИ в физический мир.

Primitives

Примитивы

Before examining specific application domains, it’s worth understanding the shared technical foundations that make these frontier systems possible. Five main primitives underpin the advance of frontier AI into the physical world. These technologies aren’t necessarily specific to any particular application area; rather, they are the building blocks that enable the creation of systems that extend AI to the physical world. Their concurrent maturation is what makes the emerging moment distinctive.

Прежде чем рассматривать конкретные прикладные домены, стоит понять общие технические основы, делающие эти фронтирные системы возможными. В основе продвижения фронтирного ИИ в физический мир лежат пять ключевых примитивов. Эти технологии не обязательно специфичны для какой-то одной прикладной области; скорее, это строительные блоки, позволяющие создавать системы, которые расширяют ИИ в физический мир. Их одновременное созревание и делает нынешний момент особенным.

Learned Representations of Physical Dynamics

Выученные представления физической динамики

The most fundamental primitive is the ability to learn compressed, general-purpose representations of how the physical world behaves — how objects move, deform, collide, and respond to force. Without this, every physical world AI system must learn the physics of its domain from scratch, a prohibitively expensive proposition.

Самый фундаментальный примитив — способность выучивать сжатые, универсальные представления о том, как ведёт себя физический мир: как объекты движутся, деформируются, сталкиваются и реагируют на силу. Без этого каждая система ИИ для физического мира вынуждена изучать физику своей области с нуля, что непомерно дорого.

Multiple architectural families are converging on this capability from different directions. Vision-Language-Action models (VLAs) approach it from above: they take pretrained vision-language models—already rich with semantic understanding of objects, spatial relations, and language—and extend them with action decoders that output motor commands. The key insight is that the enormous cost of learning to see and understand the world can be amortized across internet-scale image-text pretraining. Models like π₀ from Physical Intelligence, Google DeepMind’s Gemini Robotics, or NVIDIA’s GR00T N1 have demonstrated this architecture at increasing scale.

К этой способности сходятся сразу несколько архитектурных семейств — с разных сторон. Vision-Language-Action модели (VLA) подходят сверху: они берут предобученные vision-language модели — уже богатые семантическим пониманием объектов, пространственных отношений и языка — и расширяют их декодерами действий, выдающими моторные команды. Ключевая идея в том, что огромная стоимость обучения видеть и понимать мир может быть амортизирована за счёт предобучения на интернет-масштабных парах изображение–текст. Модели вроде π₀ от Physical Intelligence, Gemini Robotics от Google DeepMind или GR00T N1 от NVIDIA продемонстрировали такую архитектуру на всё большем масштабе.

World Action Models (WAMs) approach the same capability from below: they build on video diffusion transformers pretrained on internet-scale video, inheriting rich priors about physical dynamics—how objects fall, occlude, and interact under force—and coupling these priors with action generation. NVIDIA’s DreamZero demonstrates zero-shot generalization to entirely new tasks and environments, achieving a meaningful improvement in real-world generalization while enabling cross-embodiment transfer from human video demonstrations with only small amounts of adaptation data.

World Action Models (WAM) подходят к той же способности снизу: они строятся на основе видео-диффузионных трансформеров, предобученных на интернет-масштабных видео, наследуя богатые априорные представления о физической динамике — как объекты падают, перекрывают друг друга и взаимодействуют под действием силы, — и связывают эти приоры с генерацией действий. DreamZero от NVIDIA демонстрирует zero-shot обобщение на совершенно новые задачи и среды, добиваясь ощутимого улучшения в реальной обобщающей способности и обеспечивая перенос между разными воплощениями с человеческих видеодемонстраций при минимальном объёме адаптационных данных.

A third path, and one that may be the most instructive for understanding where this field is heading, dispenses with both pretrained VLMs and video diffusion backbones entirely. Generalist’s GEN-1 is a native embodied foundation model trained from scratch on over half a million hours of real-world physical interaction data, collected primarily through low-cost wearable devices on humans performing everyday manipulation tasks. It is not a VLA in the standard sense (as there is no vision-language backbone being fine-tuned), nor is it a WAM. It is instead a first-class foundation model for physical interaction, designed from the ground up to learn representations of dynamics from the statistics of human-object contact rather than from internet images, text, or video.

Третий путь, который, возможно, наиболее показателен для понимания, куда движется поле, полностью отказывается и от предобученных VLM, и от видео-диффузионных бэкбонов. GEN-1 от Generalist — это нативная воплощённая foundation-модель, обученная с нуля на более чем полумиллионе часов реальных данных физического взаимодействия, собранных в основном через недорогие носимые устройства на людях, выполняющих повседневные задачи манипуляции. Это не VLA в стандартном смысле (поскольку нет vision-language бэкбона, который дообучают), и не WAM. Это полноценная foundation-модель для физического взаимодействия, изначально спроектированная учиться представлениям динамики из статистики контакта человека с объектами, а не из интернет-изображений, текста или видео.

Spatial intelligence, like that being built by companies like World Labs, is valuable for this primitive because it addresses a representation gap that VLAs, WAMs, and native embodied models all share: none of them explicitly model the three-dimensional structure of the scenes they operate in. VLAs inherit 2D visual features from image-text pretraining. WAMs learn dynamics from video, which is a 2D projection of 3D reality. Models that learn from wearable sensor data capture forces and kinematics, but not scene geometry. Spatial intelligence models can help fill this gap by learning to reconstruct, generate, and reason about the full 3D structure of physical environments — geometry, lighting, occlusion, object relationships, and spatial layout.

Пространственный интеллект, который строят компании вроде World Labs, ценен для этого примитива потому, что закрывает разрыв в представлениях, общий для VLA, WAM и нативных воплощённых моделей: ни одна из них явно не моделирует трёхмерную структуру сцен, в которых работает. VLA наследуют 2D-признаки из предобучения на парах изображение–текст. WAM обучаются динамике на видео — 2D-проекции 3D-реальности. Модели, обучающиеся на данных с носимых сенсоров, фиксируют силы и кинематику, но не геометрию сцены. Модели пространственного интеллекта могут заполнить этот пробел, учась реконструировать, генерировать и рассуждать о полной трёхмерной структуре физических сред — геометрии, освещении, окклюзиях, отношениях между объектами и пространственной компоновке.

Convergence between approaches here is the point. Whether the representations are inherited from VLMs, learned through video co-training, or built natively from physical interaction data, the underlying primitive is the same: compressed, transferable models of how the physical world behaves. The data flywheel for these representations is enormous and largely untapped — encompassing not just internet video and robot trajectories, but the vast corpus of human physical experience that wearable devices are now beginning to capture at scale. The same representations serve a robot learning to fold towels, a self-driving laboratory predicting reaction outcomes, and a neural decoder interpreting the motor cortex’s plan for grasping.

Схождение этих подходов и есть суть. Унаследованы ли представления от VLM, выучены ли через сообучение на видео или построены нативно из данных физического взаимодействия — нижележащий примитив один: сжатые, переносимые модели того, как ведёт себя физический мир. Маховик данных для таких представлений огромен и в основном не задействован — он охватывает не только интернет-видео и траектории роботов, но и колоссальный массив человеческого физического опыта, который носимые устройства теперь начинают фиксировать в масштабе. Те же представления служат и роботу, учащемуся складывать полотенца, и самоуправляемой лаборатории, предсказывающей исход реакций, и нейродекодеру, интерпретирующему план моторной коры по схватыванию предмета.

Architectures for Embodied Action

Архитектуры воплощённого действия

Representations of physics are necessary but insufficient. Translating understanding into reliable physical action requires architectures that solve several interrelated problems: mapping high-level intent to continuous motor commands, maintaining coherence over long action horizons, operating within real-time latency constraints, and improving with experience.

Представления о физике необходимы, но недостаточны. Превращение понимания в надёжное физическое действие требует архитектур, решающих сразу несколько взаимосвязанных задач: отображение высокоуровневого намерения в непрерывные моторные команды, поддержание связности на длинных горизонтах действия, работа в условиях ограничений по латентности в реальном времени и улучшение с опытом.

The dual-system hierarchical architecture — separating a slow, powerful vision-language model for scene understanding and task reasoning (System 2) from a fast, lightweight visuomotor policy for real-time control (System 1)—has converged as the standard design pattern for complex embodiments. GR00T N1, Gemini Robotics, and Figure’s Helix all adopt variants of this approach, resolving the fundamental tension between the rich reasoning that large models provide and the millisecond-scale control frequencies that physical tasks demand. Alternatively, Generalist takes an approach of harmonic reasoning for simultaneous thinking and action.

Двухсистемная иерархическая архитектура — отделяющая медленную и мощную vision-language модель для понимания сцены и рассуждения о задаче (System 2) от быстрой и лёгкой визуомоторной политики для управления в реальном времени (System 1) — стала стандартным шаблоном для сложных воплощений. GR00T N1, Gemini Robotics и Helix от Figure используют варианты этого подхода, разрешая фундаментальное противоречие между богатым рассуждением, которое дают большие модели, и миллисекундными частотами управления, требуемыми для физических задач. Альтернативно, Generalist использует подход гармонического рассуждения для одновременного мышления и действия.

The action generation mechanism itself is evolving rapidly. Flow matching and diffusion-based action heads, pioneered by π₀, have emerged as the dominant approach for producing smooth, high-frequency continuous actions, displacing the discrete tokenization methods borrowed from language modeling. These methods treat action generation as a denoising process analogous to image synthesis, yielding trajectories that are physically smoother and more robust to compounding errors than autoregressive token prediction.

Сам механизм генерации действий стремительно эволюционирует. Flow matching и диффузионные «головы» действия, пионером которых стала π₀, выдвинулись как доминирующий подход для производства плавных непрерывных действий с высокой частотой, вытесняя методы дискретной токенизации, заимствованные из языкового моделирования. Эти методы трактуют генерацию действий как процесс denoising, аналогичный синтезу изображений, давая траектории, физически более плавные и устойчивые к накапливающимся ошибкам, чем авторегрессионное предсказание токенов.

But the most consequential architectural development may be the extension of reinforcement learning to pretrained VLAs — the idea that a foundation model trained on demonstrations can then improve through its own autonomous practice, much as a person refines a skill through repetition and self-correction. Physical Intelligence’s work on π*₀.₆ represents the clearest demonstration of this principle at scale. Their method, RECAP (RL with Experience and Corrections via Advantage-conditioned Policies), addresses a problem that pure imitation learning cannot solve: credit assignment over long task horizons. If a robot grasps an espresso machine’s portafilter at a slightly wrong angle, the failure may not manifest until several steps later when insertion fails. Imitation learning has no mechanism to attribute the failure to the earlier grasp; RL does. RECAP trains a value function that estimates the probability of success from any intermediate state, then conditions the VLA to select high-advantage actions. Critically, it incorporates heterogeneous data (demonstrations, on-policy autonomous experience, expert teleoperated corrections provided during execution, etc.) into a unified training pipeline.

Но самым важным архитектурным сдвигом, пожалуй, является распространение reinforcement learning на предобученные VLA — идея, что foundation-модель, обученная на демонстрациях, может затем улучшаться через собственную автономную практику, подобно тому как человек оттачивает навык повторением и самокоррекцией. Работа Physical Intelligence над π*₀.₆ — самая яркая демонстрация этого принципа в масштабе. Их метод RECAP (RL with Experience and Corrections via Advantage-conditioned Policies) решает задачу, которую чистое имитационное обучение решить не может: присвоение «заслуг» на длинных горизонтах задачи. Если робот захватывает портафильтр эспрессо-машины под чуть неправильным углом, провал может проявиться лишь несколько шагов спустя, при попытке вставки. У имитационного обучения нет механизма приписать неудачу более раннему хвату; у RL — есть. RECAP обучает value function, оценивающую вероятность успеха из любого промежуточного состояния, а затем настраивает VLA выбирать действия с высоким advantage. Что критически важно, он объединяет в едином пайплайне обучения разнородные данные (демонстрации, on-policy автономный опыт, экспертные коррекции через телеоперацию во время исполнения и т. д.).

The results of this approach are encouraging for the future of RL for actions. π*₀.₆ folds laundry across 50 novel garment types in real homes, reliably assembles boxes, and prepares espresso drinks on a professional machine, running continuously for hours without human intervention. On the most difficult tasks, RECAP more than doubles throughput and cuts failure rates by half or more compared to the imitation-only baseline. The system also demonstrates that RL post-training yields qualitatively different behaviors from imitation, like smoother recoveries, more efficient grasp strategies, and adaptive error correction that were not present in the demonstration data.

Результаты такого подхода обнадёживают для будущего RL применительно к действиям. π*₀.₆ складывает бельё 50 новых типов одежды в реальных домах, надёжно собирает коробки и готовит эспрессо на профессиональной машине, работая непрерывно часами без вмешательства человека. На самых трудных задачах RECAP более чем удваивает throughput и снижает частоту отказов вдвое или более по сравнению с baseline на чистой имитации. Система также показывает, что RL-постобучение даёт качественно иное поведение, чем имитация: более плавные восстановления, более эффективные стратегии хвата и адаптивная коррекция ошибок, которых не было в демонстрационных данных.

These gains suggest that the same compute-scaling dynamics that drove LLMs from GPT-2 to GPT-4 are beginning to operate in the embodied domain — just earlier on the curve, and with an action space that is continuous, high-dimensional, and subject to the unforgiving constraints of real-world physics.

Эти достижения говорят о том, что та же динамика масштабирования вычислений, что вывела LLM от GPT-2 до GPT-4, начинает действовать и в воплощённой области — просто ещё на более ранней точке кривой и в пространстве действий, которое непрерывно, многомерно и подчинено неумолимым ограничениям реальной физики.

Simulation and Synthetic Data as Scaling Infrastructure

Симуляция и синтетические данные как инфраструктура масштабирования

In language, the data problem was solved by the internet: trillions of tokens of naturally occurring text, freely available. In the physical world, the data problem is orders of magnitude harder – as is now very well understood, indicated by a rapid increase in startups aiming to build data vendors for the physical world. Real-world robot trajectories are expensive to collect, dangerous to scale, and limited in diversity. A language model can learn from a billion conversations; a robot cannot have a billion physical interactions (yet).

В языке проблему данных решил интернет: триллионы токенов естественно возникающего текста, доступных свободно. В физическом мире проблема данных на порядки сложнее — это сейчас очень хорошо понимают, что видно по стремительному росту стартапов, нацеленных на создание поставщиков данных для физического мира. Реальные траектории роботов дорого собирать, опасно масштабировать и они ограничены в разнообразии. Языковая модель может учиться на миллиарде разговоров; робот пока не может пережить миллиард физических взаимодействий.

Simulation and synthetic data generation are the infrastructure layer that resolves this constraint, and their maturation is one of the key reasons physical world AI is accelerating now rather than five years ago.

Симуляция и генерация синтетических данных — инфраструктурный слой, разрешающий это ограничение, и их созревание — одна из ключевых причин, почему физический ИИ ускоряется именно сейчас, а не пять лет назад.

The modern simulation stack combines physics-based simulation engines, photorealistic rendering via ray tracing, procedural environment generation, and world foundation models that bridge the sim-to-real gap by generating photorealistic video from simulation inputs. The pipeline runs from neural reconstruction of real environments (using only a smartphone), through population with physically accurate 3D assets, to large-scale synthetic data generation with automatic annotation.

Современный стек симуляции сочетает физические движки, фотореалистичный рендеринг через ray tracing, процедурную генерацию сред и world foundation models, преодолевающие разрыв sim-to-real, генерируя фотореалистичные видео из входов симуляции. Пайплайн идёт от нейронной реконструкции реальных сред (используя лишь смартфон) через наполнение их физически корректными 3D-ассетами к масштабной генерации синтетических данных с автоматической разметкой.

The significance of improvements in the simulation stack is, intuitively, changing the economic assumptions that underpin physical world AI. If the bottleneck in physical AI shifts from collecting real data to designing diverse virtual environments, the cost curve collapses. Simulation scales with compute, not with human labor or physical hardware. This transforms the economics of training physical world AI systems in the same way that internet-scale text data transformed the economics of training language models, and it means that investment in simulation infrastructure has outsized leverage on the entire ecosystem.

Значимость улучшений в стеке симуляции состоит, интуитивно, в изменении экономических допущений, лежащих в основе физического ИИ. Если узкое место в физическом ИИ сместится от сбора реальных данных к проектированию разнообразных виртуальных сред, кривая затрат рухнет. Симуляция масштабируется с вычислениями, а не с человеческим трудом или физическим железом. Это преобразует экономику обучения систем физического ИИ так же, как интернет-масштабные текстовые данные преобразили экономику обучения языковых моделей, и означает, что инвестиции в инфраструктуру симуляции имеют непропорционально большое плечо для всей экосистемы.

Simulation, however, is not only a robotics primitive. The same infrastructure serves autonomous science (digital twins of laboratory equipment, simulated reaction environments for hypothesis pre-screening), new interfaces (simulated neural environments for training BCI decoders, synthetic sensory data for calibrating novel sensors), and other domains where AI interacts with the physical world. Simulation is the universal data engine for physical world AI.

Однако симуляция — не только примитив робототехники. Та же инфраструктура обслуживает автономную науку (цифровые двойники лабораторного оборудования, симулированные среды реакций для предварительного отсева гипотез), новые интерфейсы (симулированные нейронные среды для обучения BCI-декодеров, синтетические сенсорные данные для калибровки новых датчиков) и другие домены, где ИИ взаимодействует с физическим миром. Симуляция — это универсальный движок данных для ИИ физического мира.

Expanding the Sensory Manifold

Расширение сенсорного многообразия

The physical world communicates through a far richer set of signals than vision and language. Touch conveys information about material properties, grip stability, and contact geometry that is invisible to cameras. Neural signals encode motor intent, cognitive state, and perceptual experience at bandwidths that dwarf any current human-computer interface. Subvocal muscle activity encodes speech intention before any sound is produced. The fourth primitive is the rapid expansion of AI’s sensory access to these previously inaccessible modalities, driven not only by research, but by an ecosystem building the devices, software, and infrastructure to capture and process these signals at consumer scale.

Физический мир общается куда более богатым набором сигналов, чем зрение и язык. Тактильные ощущения несут информацию о свойствах материалов, стабильности захвата и геометрии контакта, невидимую для камер. Нейронные сигналы кодируют моторное намерение, когнитивное состояние и перцептивный опыт на скоростях, далеко превосходящих любой нынешний человеко-машинный интерфейс. Субвокальная мышечная активность кодирует речевое намерение ещё до того, как издан звук. Четвёртый примитив — стремительное расширение сенсорного доступа ИИ к этим прежде недоступным модальностям, движимое не только исследованиями, но и экосистемой, строящей устройства, программное обеспечение и инфраструктуру для захвата и обработки таких сигналов в потребительском масштабе.

The most visible indicator of this expansion is the emergence of new device categories. These include AR devices, which have massively improved in user experience and form factor in recent years (with companies building applications on this platform for both consumer and industrial use cases); voice-first AI wearables, provide more comprehensive context for language-based AI by accompanying users into the physical world. Longer term, neural interfaces may open even more comprehensive modalities of interaction. AI has presented a shift in computing that has created an opportunity to dramatically advance the way humans interact with computers, and companies like Sesame are building new modalities and devices to do that.

Наиболее заметный индикатор этого расширения — появление новых категорий устройств. К ним относятся AR-устройства, у которых в последние годы радикально улучшились пользовательский опыт и форм-фактор (компании создают на этой платформе приложения как для потребительских, так и для индустриальных сценариев); voice-first ИИ-носимые устройства, дающие более полный контекст для языкового ИИ, сопровождая пользователя в физическом мире. В долгосрочной перспективе нейронные интерфейсы могут открыть ещё более полные модальности взаимодействия. ИИ привнёс сдвиг в вычислениях, создавший возможность кардинально продвинуть способы взаимодействия человека с компьютером, и компании вроде Sesame строят новые модальности и устройства, чтобы это сделать.

More dominant modalities like voice create tailwinds for emerging means of interacting with computers. As products like Wispr Flow push voice into more of a primary input modality (an advantage given its high information density), the market dynamics around silent speech interfaces also become more favorable. Silent speech devices, which use various sensors to detect tongue and vocal cord movements to decipher speech without sound, represent an even higher information density modality for interacting with computers and AI.

Более доминирующие модальности вроде голоса создают попутный ветер для зарождающихся способов взаимодействия с компьютерами. По мере того как продукты вроде Wispr Flow выводят голос в роль скорее первичной модальности ввода (преимущество за счёт высокой плотности информации), рыночная динамика вокруг интерфейсов беззвучной речи также становится более благоприятной. Устройства silent speech, использующие различные датчики для фиксации движений языка и голосовых связок, чтобы распознавать речь без звука, представляют собой ещё более информационно плотную модальность взаимодействия с компьютерами и ИИ.

Brain-computer interfaces, both invasive and non-invasive, represent the deeper frontier, and the commercial ecosystem around them continues to progress. The signal there would be progress towards the convergence of clinical validation, regulatory clearance, platform integration, and institutional capital around a technology category that was purely academic a few years ago.

Интерфейсы мозг–компьютер, как инвазивные, так и неинвазивные, представляют собой более глубокий фронтир, и коммерческая экосистема вокруг них продолжает развиваться. Сигналом здесь будет движение к схождению клинической валидации, регуляторных разрешений, платформенной интеграции и институционального капитала вокруг технологической категории, которая ещё несколько лет назад была сугубо академической.

Tactile sensing is entering embodied AI architectures, as some models in robot learning begin to explicitly include touch as a first class part of their approach. Olfactory interfaces are becoming real engineering artifacts: wearable displays using miniaturized odor generators with millisecond response times have been demonstrated for mixed-reality applications, while smell models are being built to pair with visual AI systems for chemical process monitoring.

Тактильное восприятие входит в архитектуры воплощённого ИИ, поскольку некоторые модели в обучении роботов начинают явно включать осязание как полноценную часть подхода. Обонятельные интерфейсы превращаются в реальные инженерные артефакты: продемонстрированы носимые дисплеи на миниатюрных генераторах запахов с откликом в миллисекунды для приложений смешанной реальности, а модели запаха разрабатываются для сопряжения с визуальными системами ИИ для мониторинга химических процессов.

The pattern across all of these developments is that they converge on each other in the limit. AR glasses generate continuous visual and spatial data about how users interact with physical environments. EMG wristbands capture the statistics of human motor intent. Silent speech interfaces capture the mapping between subvocal articulation and linguistic output. BCIs capture neural activity at the highest resolution available. Tactile sensors capture the contact dynamics of physical manipulation. Each new device category is also a data-generation platform that feeds the models underlying multiple application domains. A robot trained on EMG-derived motor intent data learns different grasping strategies than one trained only on teleoperation. A laboratory interface that responds to subvocal commands enables a different kind of scientist-machine interaction than a keyboard. A neural decoder trained on high-density BCI data produces representations of motor planning that are inaccessible through any other channel.

Общий узор всех этих разработок в том, что в пределе они сходятся друг с другом. AR-очки порождают непрерывные визуальные и пространственные данные о том, как пользователи взаимодействуют с физическими средами. EMG-браслеты фиксируют статистику человеческого моторного намерения. Интерфейсы silent speech фиксируют отображение между субвокальной артикуляцией и лингвистическим выводом. BCI фиксируют нейронную активность с наивысшим доступным разрешением. Тактильные датчики фиксируют контактную динамику физической манипуляции. Каждая новая категория устройств — это также платформа генерации данных, питающая модели, лежащие в основе множества прикладных областей. Робот, обученный на данных о моторных намерениях, полученных из EMG, осваивает иные стратегии хвата, чем тот, что обучен только на телеоперации. Лабораторный интерфейс, отвечающий на субвокальные команды, обеспечивает иной тип взаимодействия учёного с машиной, чем клавиатура. Нейродекодер, обученный на высокоплотных данных BCI, даёт представления о моторном планировании, недоступные через любой другой канал.

The proliferation of these devices is expanding the effective dimensionality of the data manifold available for training frontier physical world AI systems — and the fact that much of this expansion is being driven by well-capitalized consumer product companies, not just academic labs, means that the data flywheel can scale with market adoption.

Распространение этих устройств расширяет эффективную размерность многообразия данных, доступного для обучения фронтирных систем ИИ физического мира — и тот факт, что значительная часть этого расширения движима хорошо капитализированными потребительскими продуктовыми компаниями, а не только академическими лабораториями, означает, что маховик данных может масштабироваться вместе с рыночным проникновением.

Closed-Loop Agentic Systems

Замкнутые агентные системы

The final primitive is more architectural. It is the ability to orchestrate perception, reasoning, and action into sustained, autonomous, closed-loop systems that operate over long time horizons without human intervention.

Последний примитив более архитектурный. Это способность оркестрировать восприятие, рассуждение и действие в устойчивые, автономные, замкнутые системы, работающие на длинных временных горизонтах без вмешательства человека.

In language models, the analogous development was the emergence of agentic systems — multi-step reasoning chains, tool use, and self-correcting workflows that advanced models from single-turn question-answerers into autonomous problem-solvers. In the physical world, the same transition is underway, but the requirements are far more demanding. A language agent that makes an error can backtrack costlessly, whereas a physical agent that drops a beaker of reagent cannot.

В языковых моделях аналогом было появление агентных систем — многошаговых цепочек рассуждений, использования инструментов и самокорректирующихся рабочих процессов, превративших модели из односессионных ответчиков в автономных решателей задач. В физическом мире происходит тот же переход, но требования куда строже. Языковой агент, совершивший ошибку, может бесплатно откатиться назад, тогда как физический агент, уронивший колбу с реагентом, — не может.

Three properties distinguish physical world agentic systems from their digital counterparts. First, they require embodiment in the experimental or operational loop: direct interfaces to raw instrument streams, physical state sensors, and actuation primitives that ground reasoning in physical reality rather than text descriptions of it. Second, they require long-horizon persistence: memory, provenance tracking, safety monitoring, and recovery behaviors that maintain continuity across operational cycles rather than treating each task as a standalone episode. Third, they require closed-loop adaptation: the ability to revise strategies based on physical outcomes, not just textual feedback.

Три свойства отличают агентные системы физического мира от их цифровых аналогов. Во-первых, им требуется воплощённость в экспериментальном или операционном контуре: прямые интерфейсы к сырым потокам инструментов, датчикам физического состояния и примитивам исполнения, заземляющим рассуждение в физической реальности, а не в её текстовых описаниях. Во-вторых, им требуется устойчивость на длинных горизонтах: память, отслеживание происхождения, мониторинг безопасности и восстановительное поведение, поддерживающие непрерывность между операционными циклами, а не трактующие каждую задачу как отдельный эпизод. В-третьих, им требуется адаптация в замкнутом контуре: способность пересматривать стратегии на основе физических исходов, а не только текстовой обратной связи.

This primitive is what transforms individual capabilities (a good world model, a reliable action architecture, a rich sensor suite) into functioning systems that can operate autonomously in the physical world. It is the integration layer, and its maturation is what makes the three application domains described below possible as real-world deployments rather than isolated research demonstrations.

Именно этот примитив превращает отдельные способности (хорошую world model, надёжную архитектуру действия, богатый набор сенсоров) в функционирующие системы, способные действовать автономно в физическом мире. Это интеграционный слой, и его созревание — то, что делает три прикладных домена, описанных ниже, реальными развёртываниями, а не изолированными исследовательскими демо.

Three Domains

Три домена

The primitives described above are general-purpose enabling layers. They do not, by themselves, specify where the most important applications will emerge. Many domains involve physical action, physical measurement, or physical sensing. What distinguishes a frontier system from a merely improved existing system is the degree to which increasing model capabilities and scaling infrastructure compound within the domain — creating not just better performance, but qualitatively new capabilities that were previously impossible.

Описанные выше примитивы — это слои общего назначения. Они сами по себе не определяют, где возникнут самые важные приложения. Многие домены связаны с физическим действием, физическим измерением или физическим восприятием. Фронтирная система отличается от просто улучшенной существующей тем, насколько растущие возможности моделей и масштабирующаяся инфраструктура накладываются внутри этого домена, создавая не только лучшую производительность, но и качественно новые способности, которые ранее были невозможны.

Robotics, AI-driven science, and new human-machine interfaces are the three domains where this compounding is strongest. Each one assembles the primitives in a distinct configuration. Each one is bottlenecked by limitations that the primitives discussed are lifting. And each one generates, as a byproduct of its operation, exactly the kind of structured physical data that makes the primitives themselves better, closing a feedback loop that accelerates the entire system. They are not the only physical AI domains worth watching, but they are the ones where the interaction between frontier AI capabilities and physical reality is densest, and where the distance from the current language/code paradigm creates the most space for emergence while remaining highly complementary and benefitting from these capabilities.

Робототехника, ИИ-наука и новые человеко-машинные интерфейсы — те три домена, где это наложение наиболее выражено. Каждый из них собирает примитивы в своей уникальной конфигурации. Каждый ограничен теми барьерами, которые рассматриваемые примитивы как раз снимают. И каждый порождает в качестве побочного продукта своей работы именно тот вид структурированных физических данных, который делает сами примитивы лучше, замыкая обратную связь, ускоряющую всю систему. Это не единственные домены физического ИИ, за которыми стоит следить, но именно в них взаимодействие между фронтирными возможностями ИИ и физической реальностью наиболее плотное, а расстояние до текущей парадигмы языка/кода создаёт больше всего пространства для эмерджентности, оставаясь при этом сильно комплементарным и выигрывая от этих возможностей.

Robotics

Робототехника

Robotics is the most literal embodiment of the thesis: a domain that requires an AI system to perceive, reason about, and physically act upon the material world in real time. It is also the domain that most directly stress-tests every primitive simultaneously.

Робототехника — самое буквальное воплощение тезиса: домен, требующий, чтобы система ИИ в реальном времени воспринимала, рассуждала о материальном мире и физически действовала в нём. Это также домен, наиболее непосредственно стресс-тестирующий каждый примитив одновременно.

Consider what a general-purpose robot must do to fold a towel. It needs a learned representation of how deformable materials behave under force—a physics prior that no amount of language pretraining provides. It needs an action architecture that can translate a high-level instruction into a sequence of continuous motor commands at control frequencies of 20Hz or more. It needs simulation-generated training data, because no one has collected millions of real-world towel-folding demonstrations. It needs tactile feedback to detect slip and adjust grip force, because vision alone cannot distinguish a firm grasp from one about to fail. And it needs a closed-loop controller that can detect when the fold has gone wrong and recover, rather than blindly executing a memorized trajectory.

Рассмотрим, что должен сделать универсальный робот, чтобы сложить полотенце. Ему нужно выученное представление о том, как ведут себя деформируемые материалы под действием силы — физический приор, который не даст никакое количество языкового предобучения. Ему нужна архитектура действия, способная преобразовать высокоуровневую инструкцию в последовательность непрерывных моторных команд с частотой управления 20 Гц и выше. Ему нужны обучающие данные, сгенерированные симуляцией, потому что никто не собрал миллионов реальных демонстраций складывания полотенец. Ему нужна тактильная обратная связь, чтобы обнаруживать проскальзывание и регулировать силу хвата, ведь одним зрением не отличить надёжный захват от того, что вот-вот провалится. И ему нужен контроллер с замкнутой обратной связью, способный обнаружить, что складка пошла не так, и восстановиться, а не слепо исполнять заученную траекторию.

This is why robotics is a frontier system rather than a mature engineering discipline with better tools. The primitives do not merely improve existing robotic capabilities; they unlock categories of manipulation, locomotion, and interaction that were previously impossible outside of narrowly controlled industrial settings.

Именно поэтому робототехника — фронтирная система, а не зрелая инженерная дисциплина с лучшими инструментами. Примитивы не просто улучшают существующие возможности роботов; они открывают категории манипуляции, локомоции и взаимодействия, которые прежде были невозможны вне узко контролируемых индустриальных условий.

The frontier has advanced meaningfully in recent years, as we’ve previously written. The first generation of VLAs demonstrated that foundation models can control robots across diverse tasks. Architectural advancements have made progress on bridging the high level reasoning and low level controls in robotic systems. On-device inference is becoming feasible, and cross-embodiment transfer means a model can adapt to an entirely new robot platform with limited amounts of data. The central remaining challenge is reliability at scale, which remains the bottleneck to deployments. Even 95% per-step success yields only 60% on a 10-step task chain, and production environments demand far better. This is where the RL post-training holds high potential, and can help us move towards the capabilities and robustness that would indicate a domain entering its scaling regime.

Фронтир ощутимо продвинулся за последние годы, как мы писали ранее. Первое поколение VLA показало, что foundation-модели могут управлять роботами в самых разных задачах. Архитектурные продвижения сократили разрыв между высокоуровневым рассуждением и низкоуровневым управлением в робототехнических системах. On-device инференс становится осуществимым, а перенос между разными воплощениями означает, что модель может адаптироваться к совершенно новой роботизированной платформе при ограниченном объёме данных. Главным остающимся вызовом является надёжность в масштабе, которая остаётся узким местом для развёртываний. Даже 95% успеха на шаг даёт лишь 60% на 10-шаговой задаче, а продакшен-среды требуют куда большего. Именно здесь RL-постобучение обладает высоким потенциалом и может приблизить нас к тем возможностям и устойчивости, которые означали бы вступление домена в режим масштабирования.

These advances have implications for market structure. For decades, value in robotics accrued to the mechanical system itself, and while that remains a key part of the stack, as learned policies become more standard, value migrates to models, training infrastructure, and data flywheels. But robotics also feeds back into the primitives previously discussed: every real-world trajectory is training data for better world models, every deployment failure reveals gaps in simulation coverage, and every new embodiment tested expands the diversity of physical experience available for pretraining. Robotics is both the most demanding consumer of the primitives and one of their most important sources of improvement signal.

Эти достижения имеют последствия для структуры рынка. Десятилетиями ценность в робототехнике концентрировалась в самой механической системе, и хотя она остаётся ключевой частью стека, по мере того как выученные политики становятся стандартом, ценность мигрирует к моделям, инфраструктуре обучения и маховикам данных. Но робототехника также подпитывает упомянутые ранее примитивы: каждая реальная траектория — это обучающие данные для лучших world models, каждая неудача развёртывания вскрывает пробелы в покрытии симуляции, и каждое новое испытанное воплощение расширяет разнообразие физического опыта, доступного для предобучения. Робототехника — одновременно самый требовательный потребитель примитивов и один из важнейших источников сигнала для их улучшения.

Autonomous Science

Автономная наука

If robotics tests the primitives against the demands of real-time physical action, autonomous science tests them against something slightly different – sustained, multi-step reasoning about causally complex physical systems, over time horizons measured in hours or days, with experimental outcomes that must be interpreted, contextualized, and used to revise strategy.

Если робототехника испытывает примитивы на прочность требованиями физического действия в реальном времени, то автономная наука тестирует их немного иначе — устойчивым многошаговым рассуждением о причинно сложных физических системах на горизонтах в часы или дни, когда экспериментальные исходы нужно интерпретировать, контекстуализировать и использовать для пересмотра стратегии.

AI-driven science is the domain where the primitives combine most completely. A self-driving laboratory requires learned representations of physical and chemical dynamics to predict what an experiment will produce. It requires embodied action to pipette reagents, position samples, and operate analytical instruments. It requires simulation to pre-screen candidate experiments and allocate scarce instrument time. It requires expanded sensing, such as spectroscopy, chromatography, mass spectrometry, and increasingly novel chemical and biological sensors, to characterize outcomes. And it requires the closed-loop agentic orchestration primitive more than any other domain – the ability to sustain multi-cycle hypothesis-experiment-analysis-revision workflows without human intervention, maintaining provenance, monitoring safety, and adapting strategy based on what each cycle reveals.

ИИ-наука — это домен, где примитивы соединяются наиболее полно. Самоуправляемой лаборатории нужны выученные представления физической и химической динамики, чтобы предсказывать, что произведёт эксперимент. Ей нужно воплощённое действие, чтобы пипетировать реагенты, позиционировать образцы и управлять аналитическими приборами. Ей нужна симуляция для предварительного отсева кандидатных экспериментов и распределения дефицитного приборного времени. Ей нужны расширенные сенсорные средства — спектроскопия, хроматография, масс-спектрометрия и всё более новые химические и биологические датчики — чтобы характеризовать исходы. И ей, как никакому другому домену, нужен примитив замкнутой агентной оркестрации — способность поддерживать многоцикловые рабочие процессы «гипотеза–эксперимент–анализ–пересмотр» без участия человека, сохраняя происхождение, отслеживая безопасность и адаптируя стратегию на основе того, что выявляет каждый цикл.

No other domain draws on these primitives this deeply. This is what makes autonomous science a frontier system rather than simply laboratory automation with better software. Companies like Periodic Labs and Medra unify scientific reasoning capabilities with the physical capabilities of testing that reasoning in materials science and life sciences respectively, enabling scientific iteration and generating experimental training data along the way.

Ни один другой домен не задействует эти примитивы так глубоко. Именно это делает автономную науку фронтирной системой, а не просто лабораторной автоматизацией с лучшим софтом. Компании вроде Periodic Labs и Medra объединяют способности научного рассуждения с физическими возможностями его проверки — в материаловедении и науках о жизни соответственно, обеспечивая научную итерацию и попутно генерируя экспериментальные обучающие данные.

The value to such systems is fairly intuitive. Traditional materials discovery takes several years from concept to commercialization, and AI-accelerated workflows can potentially compress this process to far less. The binding constraint is shifting from hypothesis generation, which foundation models can assist with readily, to fabrication and validation, which requires physical instrumentation, robotic execution, and closed-loop optimization. SDLs aim to address exactly this bottleneck.

Ценность таких систем достаточно интуитивна. Традиционное открытие материалов занимает несколько лет от концепции до коммерциализации, и ИИ-ускоренные процессы потенциально способны сжать его до куда меньших сроков. Связывающее ограничение смещается с генерации гипотез, в которой foundation-модели охотно помогают, к изготовлению и валидации, требующим физического инструментария, роботизированного исполнения и оптимизации в замкнутом контуре. Самоуправляемые лаборатории (SDL) нацелены именно на это узкое место.

An additional important property of autonomous science, across the landscape of these systems for the physical world, is its role as a data engine. Every experiment an SDL runs produces not just a scientific result, but a physically grounded, experimentally validated training signal. A measurement of how a polymer crystallizes under specific conditions enriches the world model’s understanding of material dynamics. A validated synthesis route becomes training data for physical reasoning. A characterized failure teaches the agentic system where its predictions break down. This data produced by an AI scientist conducting a real experiment is qualitatively different from internet-scraped text or simulation output, in that it is structured, causal, and empirically verified. It is the kind of data that physical reasoning models need most and can get from no other source. Autonomous science is the domain that directly converts physical reality into the structured knowledge that improves the entire ecosystem of physical world AI.

Ещё одно важное свойство автономной науки — на фоне всей экосистемы таких систем для физического мира — это её роль как движка данных. Каждый эксперимент, выполненный SDL, даёт не только научный результат, но и физически заземлённый, экспериментально валидированный обучающий сигнал. Измерение того, как полимер кристаллизуется при определённых условиях, обогащает понимание world model о динамике материалов. Валидированный маршрут синтеза становится обучающими данными для физического рассуждения. Охарактеризованный отказ учит агентную систему, где её предсказания дают сбой. Данные, произведённые ИИ-учёным, проводящим реальный эксперимент, качественно отличаются от текста, выскоблённого из интернета, или выхода симуляции: они структурированы, причинны и эмпирически верифицированы. Это именно тот тип данных, которого больше всего не хватает моделям физического рассуждения и который они не могут получить ни из какого другого источника. Автономная наука — это домен, напрямую конвертирующий физическую реальность в структурированное знание, улучшающее всю экосистему ИИ физического мира.

New Interfaces

Новые интерфейсы

Robotics extends AI into physical action, and autonomous science extends it into physical investigation. New interfaces extend it into the direct coupling of artificial intelligence with human perception, sensory experience, and the body’s own signals, through devices that range from AR glasses and EMG wristbands to implantable brain-computer interfaces. What unifies this category is not a single technology but a shared function of expanding the bandwidth and modality of the channel between human intelligence and AI systems, and in the process generating data about human-world interaction that is directly useful for building physical world AI.

Робототехника распространяет ИИ в физическое действие, автономная наука — в физическое исследование. Новые интерфейсы распространяют его в прямое сопряжение искусственного интеллекта с человеческим восприятием, сенсорным опытом и собственными сигналами тела — через устройства, варьирующиеся от AR-очков и EMG-браслетов до имплантируемых интерфейсов мозг–компьютер. Эту категорию объединяет не одна технология, а общая функция расширения пропускной способности и модальности канала между человеческим интеллектом и системами ИИ, а попутно — генерации данных о взаимодействии человека с миром, которые напрямую полезны для построения ИИ физического мира.

The distance from the incumbent paradigm is the source of both the challenge and the potential in this domain. Language models know conceptually about these modalities, but are not necessarily native to the movement patterns for silent speech, the geometry of olfactory receptor binding, or the temporal dynamics of EMG signals. The representations that decode these signals must be learned from the expanding sensory manifold. There is no internet-scale pretraining corpus for many of these modalities, and the data often must come from the interfaces themselves, which means the systems and their training data co-evolve in a way that has no analogue in language AI.

Дистанция от господствующей парадигмы — источник одновременно и трудности, и потенциала в этом домене. Языковые модели знают концептуально об этих модальностях, но не являются нативными для двигательных паттернов silent speech, геометрии связывания обонятельных рецепторов или временной динамики EMG-сигналов. Представления, декодирующие эти сигналы, должны быть выучены из расширяющегося сенсорного многообразия. Для многих из этих модальностей нет интернет-масштабного корпуса предобучения, и данные часто должны приходить от самих интерфейсов, что означает, что системы и их обучающие данные коэволюционируют способом, у которого нет аналога в языковом ИИ.

The near-term expression of this domain is the rapid emergence of AI wearables as a consumer product category. AR glasses are perhaps the most visible instance of this category, along with other wearable consumer devices that take a voice or vision-first input modality.

Ближнесрочное выражение этого домена — стремительное появление ИИ-носимых устройств как категории потребительских товаров. AR-очки, пожалуй, самый видимый представитель этой категории, наряду с другими носимыми потребительскими устройствами, у которых первичной модальностью ввода является голос или зрение.

This ecosystem of consumer devices creates both new hardware platforms for AI to extend into the physical world, along with being infrastructure for physical world data. A person wearing AI glasses can produce a continuous first-person video stream of how humans navigate physical environments, manipulate objects, and interact with the world. Other wearables capture continuous biometric and movement data. Taken together, the installed base of AI wearables is becoming a distributed data-collection network for physical-world AI, instrumenting human physical experience at a scale that was previously impossible. Consider the scale of the smartphone as a consumer device – the proliferation of a new type of consumer device that enables new modalities for computers to sensing the world at that scale also creates a massive new channel for AI interacting with the physical world.

Эта экосистема потребительских устройств одновременно создаёт новые аппаратные платформы для распространения ИИ в физический мир и инфраструктуру для данных о физическом мире. Человек в ИИ-очках может производить непрерывный поток видео от первого лица о том, как люди ориентируются в физических средах, манипулируют объектами и взаимодействуют с миром. Другие носимые устройства фиксируют непрерывные биометрические и двигательные данные. Вместе установленная база ИИ-носимых устройств превращается в распределённую сеть сбора данных для ИИ физического мира, инструментируя человеческий физический опыт в масштабе, который ранее был невозможен. Подумайте о масштабе смартфона как потребительского устройства — распространение нового типа потребительских устройств, открывающих новые модальности восприятия мира компьютерами в таком масштабе, создаёт также огромный новый канал взаимодействия ИИ с физическим миром.

Brain-computer interfaces represent the deeper frontier. Neuralink has implanted multiple patients and is iterating on its surgical robotics and decoder software. Synchron’s endovascular Stentrode has been used to give paralyzed users control over digital and physical environments. Echo Neurotechnologies is developing a BCI system for speech restoration that builds on their work in high-resolution cortical speech decoding. Moreover, new companies like Nudge have been formed to aggregate talent and capital to build new neural interfaces and platforms for interacting with the brain. The technical milestones in the research sphere are also noteworthy. The BISC chip demonstrated wireless neural recording at a density of 65,536 electrodes on a single chip, and the BrainGate team decoded inner speech directly from motor cortex.

Интерфейсы мозг–компьютер представляют собой более глубокий фронтир. Neuralink имплантировал устройство нескольким пациентам и итерирует свою хирургическую робототехнику и софт декодера. Эндоваскулярный Stentrode от Synchron использовался, чтобы дать парализованным пользователям контроль над цифровыми и физическими средами. Echo Neurotechnologies разрабатывает BCI-систему для восстановления речи, опирающуюся на их работу по высокоразрешающему кортикальному декодированию речи. Кроме того, появились новые компании вроде Nudge, агрегирующие таланты и капитал для создания новых нейроинтерфейсов и платформ взаимодействия с мозгом. Технические вехи в исследовательской сфере тоже примечательны. Чип BISC продемонстрировал беспроводную нейронную запись с плотностью 65 536 электродов на одном чипе, а команда BrainGate декодировала внутреннюю речь напрямую из моторной коры.

The through-line connecting everything from AR glasses, AI wearables, silent speech devices, and implantable BCIs is not just that they are all interfaces. It is that they collectively constitute a spectrum of increasingly high-bandwidth channels between human physical experience and AI systems — and every point on that spectrum helps support the primitives underlying all three domains in this essay for continued progress. A robot trained on high quality egocentric video from millions of AI glasses wearers learns different manipulation priors than one trained on curated teleoperation datasets; a laboratory AI that responds to subvocal commands operates with a different latency and fluidity than one controlled by a keyboard; a neural decoder trained on high-density BCI data produces representations of motor planning that are inaccessible through any other channel.

Сквозная линия, связывающая всё — от AR-очков, ИИ-носимых устройств, устройств silent speech до имплантируемых BCI, — не просто в том, что все они являются интерфейсами. Она в том, что вместе они образуют спектр всё более высокоскоростных каналов между человеческим физическим опытом и системами ИИ, и каждая точка на этом спектре поддерживает примитивы, лежащие в основе всех трёх доменов этого эссе, для дальнейшего прогресса. Робот, обученный на качественном эгоцентрическом видео миллионов носителей ИИ-очков, усваивает иные манипуляционные приоры, чем тот, что обучен на курируемых датасетах телеоперации; лабораторный ИИ, отвечающий на субвокальные команды, работает с иной задержкой и плавностью, чем управляемый клавиатурой; нейродекодер, обученный на высокоплотных данных BCI, даёт представления моторного планирования, недоступные ни через какой другой канал.

New interfaces are a mechanism by which the sensory manifold itself grows by opening data channels between the physical world and AI that did not previously exist. And the fact that this expansion is being driven by consumer device companies that seek to deploy products at scale means the data flywheel will accelerate with consumer adoption.

Новые интерфейсы — механизм, посредством которого само сенсорное многообразие растёт, открывая ранее не существовавшие каналы данных между физическим миром и ИИ. И тот факт, что это расширение движимо производителями потребительских устройств, стремящимися развёртывать продукты в масштабе, означает, что маховик данных будет ускоряться вместе с потребительским проникновением.

Systems for the Physical World

Системы для физического мира

The reason to view robotics, autonomous science, and new interfaces as different instances of frontier systems combining the same primitives is that they are mutually enabling in ways that compound.

Причина рассматривать робототехнику, автономную науку и новые интерфейсы как разные экземпляры фронтирных систем, сочетающих одни и те же примитивы, в том, что они взаимно усиливают друг друга так, что эффекты складываются.

Robotics enables autonomous science. Self-driving laboratories are, at their core, robotic systems. The manipulation capabilities developed for general-purpose robotics, such as dexterous grasping, liquid handling, precise positioning, multi-step task execution, are directly transferable to laboratory automation. As robotics models improve in generality and robustness, the range of experimental protocols that SDLs can execute autonomously expands. Every advance in robot learning lowers the cost and raises the throughput of autonomous experimentation.

Робототехника делает возможной автономную науку. Самоуправляемые лаборатории — это по своей сути робототехнические системы. Манипуляционные способности, разработанные для универсальной робототехники, — точный хват, работа с жидкостями, точное позиционирование, исполнение многошаговых задач — напрямую переносятся в лабораторную автоматизацию. По мере того как модели робототехники растут в общности и устойчивости, расширяется и спектр экспериментальных протоколов, которые SDL могут выполнять автономно. Каждое продвижение в обучении роботов снижает стоимость и повышает throughput автономного эксперимента.

Autonomous science enables robotics. The scientific data generated by self-driving labs, such as validated physical measurements, causal experimental results, materials property databases, can provide structured, grounded training data that world models and physical reasoning engines need to improve. Moreover, the materials and devices that next-generation robots require (e.g. better actuators, more sensitive tactile sensors, higher-density batteries, etc.) are themselves products of materials science. Autonomous discovery platforms that accelerate materials innovation can directly improve the hardware substrate on which robot learning operates.

Автономная наука делает возможной робототехнику. Научные данные, произведённые самоуправляемыми лабораториями — валидированные физические измерения, причинные экспериментальные результаты, базы данных свойств материалов — могут дать структурированные, заземлённые обучающие данные, в которых нуждаются для улучшения world models и движки физического рассуждения. Более того, материалы и устройства, которые требуются роботам следующего поколения (например, лучшие приводы, более чувствительные тактильные датчики, аккумуляторы более высокой плотности и т. д.), сами являются продуктами материаловедения. Платформы автономного открытия, ускоряющие материальные инновации, могут напрямую улучшать аппаратный субстрат, на котором работает обучение роботов.

New interfaces enable robotics. AR devices are a scalable way of gathering data on perceiving and interacting with the physical environment. Neural interfaces generate data about human motor intent, cognitive planning, and sensory processing. These data are invaluable for training robot learning systems, particularly for tasks that involve human-robot collaboration or teleoperation.

Новые интерфейсы делают возможной робототехнику. AR-устройства — масштабируемый способ собирать данные о восприятии физической среды и взаимодействии с ней. Нейронные интерфейсы генерируют данные о моторных намерениях человека, когнитивном планировании и сенсорной обработке. Эти данные бесценны для обучения систем робототехники, особенно для задач, связанных с человеко-роботным сотрудничеством или телеоперацией.

There is a deeper point here about the nature of frontier AI progress itself. The language/code paradigm has achieved extraordinary results and continues to show strong improvement in the scaling era. The physical world offers an almost unbounded supply of novel problems, data types, feedback signals, and evaluation criteria. By grounding AI systems in physical reality (through robots that manipulate objects, laboratories that synthesize materials, and interfaces that connect to the biological and physical world) we open new scaling axes that are complementary to the existing digital frontier – and likely mutually improving.

Здесь есть более глубокая мысль о природе самого прогресса фронтирного ИИ. Парадигма языка/кода добилась впечатляющих результатов и продолжает показывать сильные улучшения в эпоху масштабирования. Физический мир предлагает почти неограниченный запас новых задач, типов данных, сигналов обратной связи и критериев оценки. Заземляя системы ИИ в физической реальности (через роботов, манипулирующих объектами, лаборатории, синтезирующие материалы, и интерфейсы, соединяющие с биологическим и физическим миром), мы открываем новые оси масштабирования, комплементарные существующему цифровому фронтиру — и, вероятно, взаимно улучшающие.

The emergent behaviors we should expect from these systems are difficult to predict precisely, because emergence by definition arises from the interaction of capabilities that are individually well-understood but collectively novel. But the historical pattern is certainly encouraging. When AI systems gain access to new modalities of interaction with the world — when they can see (computer vision), when they can speak (speech recognition), when they can read and write (language models) — the resulting capabilities are qualitatively larger than the sum of the constituent improvements. The transition to physical world systems represents the next such phase transition In this sense, the primitives discussed here are being built now, and could enable frontier AI systems to perceive, reason about, and interact with the physical world, unlocking significant amounts of value and progress in the physical realm.

Эмерджентные поведения, которых стоит ожидать от этих систем, точно предсказать трудно, ведь эмерджентность по определению возникает из взаимодействия способностей, по отдельности хорошо понятых, но коллективно новых. Однако исторический паттерн обнадёживает. Когда системы ИИ получают доступ к новым модальностям взаимодействия с миром — когда они начинают видеть (computer vision), говорить (распознавание речи), читать и писать (языковые модели) — итоговые способности качественно больше суммы составляющих улучшений. Переход к системам физического мира — это следующий такой фазовый переход. В этом смысле обсуждаемые здесь примитивы строятся сейчас и могут позволить фронтирным системам ИИ воспринимать, рассуждать о физическом мире и взаимодействовать с ним, раскрывая значительные объёмы ценности и прогресса в физическом измерении.

Oliver Hsu

Oliver Hsu

X Linkedin

is a partner on the American Dynamism investing team at a16z, where he focuses on emerging computing platforms and applications for the physical world.

— партнёр инвестиционной команды American Dynamism в a16z, где он сфокусирован на зарождающихся вычислительных платформах и приложениях для физического мира.

X Linkedin

A Primer on Factory Economics for Startups Oliver Hsu Big Ideas 2026: New Infrastructure Primitives Guy Wuollet, James da Costa, and Oliver Hsu Rebuilding America’s Industrial Backbone Chris Power, Oliver Hsu, Jordan Black, and Bryon Hargis Toward a Horizontal Robotics Platform Oliver Hsu Full-Stack Startups in American Dynamism Oliver Hsu

An update on the ideas, companies, and individuals building toward a more dynamic future.

Свежий обзор идей, компаний и людей, строящих более динамичное будущее.

new “No Man Left Behind”: American Technology Ships with Our Values

новое «No Man Left Behind»: американские технологии несут наши ценности

DoW Contracting for Startups 101

DoW Contracting для стартапов 101

American credulity, American dynamism

Американская доверчивость, американская динамичность

new “No Man Left Behind”: American Technology Ships with Our Values

новое «No Man Left Behind»: американские технологии несут наши ценности

DoW Contracting for Startups 101

DoW Contracting для стартапов 101

American credulity, American dynamism

Американская доверчивость, американская динамичность

Antarctica, and the Extreme Logistics of Human Exploration

Антарктика и экстремальная логистика человеческих исследований

We Can (and Do) Solve Crime

Мы можем (и решаем) проблему преступности

new “No Man Left Behind”: American Technology Ships with Our Values

новое «No Man Left Behind»: американские технологии несут наши ценности

DoW Contracting for Startups 101

DoW Contracting для стартапов 101

American credulity, American dynamism

Американская доверчивость, американская динамичность

Antarctica, and the Extreme Logistics of Human Exploration

Антарктика и экстремальная логистика человеческих исследований

We Can (and Do) Solve Crime

Мы можем (и решаем) проблему преступности

A Primer on Factory Economics for Startups

Введение в экономику заводов для стартапов

Can AI Help Save Lives?

Может ли ИИ помочь спасать жизни?

Technology in 1776

Технологии в 1776 году

Everything is Computer

Всё есть компьютер

Be the Navy, Not Pirates

Будьте флотом, а не пиратами

Storytelling in American Dynamism: Lessons from War Stories

Сторителлинг в American Dynamism: уроки из военных историй

How to Hire A Strong Founding Team

Как нанять сильную команду-основатель

Want More American Dynamism?

Хотите больше American Dynamism?

An update on the ideas, companies, and individuals building toward a more dynamic future.

Свежий обзор идей, компаний и людей, строящих более динамичное будущее.

Want More American Dynamism?

Хотите больше American Dynamism?

An update on the ideas, companies, and individuals building toward a more dynamic future.

Свежий обзор идей, компаний и людей, строящих более динамичное будущее.

Views expressed in “posts” (including podcasts, videos, and social media) are those of the individual a16z personnel quoted therein and are not the views of a16z Capital Management, L.L.C. (“a16z”) or its respective affiliates. a16z Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell — or a solicitation of an offer to buy — any securities, and may not be used or relied upon in evaluating the merits of any investment.

Мнения, высказанные в «постах» (включая подкасты, видео и социальные сети), принадлежат отдельным сотрудникам a16z, цитируемым в них, и не являются мнениями a16z Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. a16z Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам. Регистрация в качестве инвестиционного консультанта не подразумевает наличия какого-либо особого мастерства или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не представляют собой предложение продать — или приглашение сделать предложение купить — какие-либо ценные бумаги, и не могут использоваться или применяться при оценке достоинств какой-либо инвестиции.

The contents in here — and available on any associated distribution platforms and any public a16z online social media accounts, platforms, and sites (collectively, “content distribution outlets”) — should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here or on a16z content distribution outlets are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources, including from portfolio companies of funds managed by a16z. While taken from sources believed to be reliable, a16z has not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. In addition, posts may include third-party advertisements; a16z has not reviewed such advertisements and does not endorse any advertising content contained therein. All content speaks only as of the date indicated.

Содержащееся здесь — и доступное на любых связанных платформах распространения и любых публичных онлайн-аккаунтах a16z в социальных сетях, на платформах и сайтах (вместе — «каналы распространения контента»), — не должно толковаться или приниматься в каком-либо виде как инвестиционная, юридическая, налоговая или иная консультация. Вы должны проконсультироваться с собственными советниками по юридическим, деловым, налоговым и иным связанным вопросам, касающимся любой инвестиции. Любые прогнозы, оценки, целевые показатели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться от мнений, выражаемых другими, или противоречить им. Любые графики, представленные здесь или в каналах распространения контента a16z, носят информационный характер и не должны использоваться при принятии каких-либо инвестиционных решений. Часть информации получена из сторонних источников, включая портфельные компании фондов, управляемых a16z. Хотя источники считаются надёжными, a16z не проводила независимую проверку такой информации и не делает заявлений о её устойчивой точности или пригодности в той или иной ситуации. Кроме того, посты могут содержать рекламу третьих сторон; a16z не просматривала такую рекламу и не одобряет содержащийся в ней рекламный контент. Весь контент актуален лишь на указанную дату.

Under no circumstances should any posts or other information provided on this website — or on associated content distribution outlets — be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles — which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters.

Ни при каких обстоятельствах посты или иная информация, представленные на этом сайте — или в связанных каналах распространения контента, — не должны истолковываться как предложение, приглашающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо пуле инвестиционных средств, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Это также не должно истолковываться как предложение оказания инвестиционно-консультационных услуг; предложение об инвестировании в управляемый a16z пул инвестиционных средств будет сделано отдельно и только посредством конфиденциальных предложенческих документов конкретных пулов инвестиционных средств, которые должны быть прочитаны целиком и предложены только тем, кто, среди прочих требований, соответствует определённым квалификациям согласно федеральным законам о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, в общем случае считаются способными оценивать достоинства и риски потенциальных инвестиций и финансовых вопросов.

There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available here: https://a16z.com/investments/. Past results of a16z’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Excluded from this list are investments (and certain publicly traded cryptocurrencies/ digital assets) for which the issuer has not provided permission for a16z to disclose publicly. As for its investments in any cryptocurrency or token project, a16z is acting in its own financial interest, not necessarily in the interests of other token holders. a16z has no special role in any of these projects or power over their management. a16z does not undertake to continue to have any involvement in these projects other than as an investor and token holder, and other token holders should not expect that it will or rely on it to have any particular involvement.

Не может быть никаких гарантий того, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в средство, управляемое a16z, сопряжена с высокой степенью риска, включая риск потери всей инвестированной суммы. Любые упомянутые, приведённые в ссылках или описанные инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в средства, управляемые a16z, и не может быть гарантий того, что инвестиции окажутся прибыльными или что иные будущие инвестиции будут иметь сходные характеристики или результаты. Список инвестиций, совершённых фондами, управляемыми a16z, доступен здесь: https://a16z.com/investments/. Прошлые результаты инвестиций, пулов инвестиционных средств или инвестиционных стратегий a16z не обязательно показательны для будущих результатов. Из этого списка исключены инвестиции (и определённые публично торгуемые криптовалюты/цифровые активы), в отношении которых эмитент не дал a16z разрешения на публичное раскрытие. В отношении своих инвестиций в любой криптовалютный или токен-проект a16z действует в собственных финансовых интересах, не обязательно в интересах других держателей токенов. У a16z нет особой роли в этих проектах или власти над их управлением. a16z не берёт на себя обязательство продолжать какое-либо участие в этих проектах, кроме как в качестве инвестора и держателя токенов, и другие держатели токенов не должны ожидать или полагаться на то, что у неё будет какое-либо особое участие.

With respect to funds managed by a16z that are registered in Japan, a16z will provide to any member of the Japanese public a copy of such documents as are required to be made publicly available pursuant to Article 63 of the Financial Instruments and Exchange Act of Japan. Please contact compliance@a16z.com to request such documents.

В отношении фондов, управляемых a16z и зарегистрированных в Японии, a16z предоставит любому представителю японской общественности копии документов, которые должны быть публично доступны согласно статье 63 Закона Японии о финансовых инструментах и биржах. Свяжитесь с compliance@a16z.com, чтобы запросить такие документы.

For other site terms of use, please go here. Additional important information about a16z, including our Form ADV Part 2A Brochure, is available at the SEC’s website: http://www.adviserinfo.sec.gov.

Иные условия использования сайта смотрите здесь. Дополнительную важную информацию о a16z, включая нашу брошюру Form ADV Part 2A, можно найти на сайте SEC: http://www.adviserinfo.sec.gov.