Short Story on AI: A Cognitive Discontinuity.

The idea of writing a collection of short stories has been on my mind for a while. This post is my first ever half-serious attempt at a story, and what better way to kick things off than with a story on AI and what that might look like if you extrapolate our current technology and make the (sensible) assumption that we might achieve much more progress with scaling up supervised learning than any other more exotic approach.

Идея написать сборник коротких рассказов давно крутилась у меня в голове. Этот пост — моя первая полусерьёзная попытка написать рассказ, и что может быть лучше для начала, чем история об ИИ и о том, как всё может выглядеть, если экстраполировать нашу нынешнюю технологию и сделать (вполне разумное) допущение, что мы сможем добиться гораздо большего прогресса именно за счёт масштабирования обучения с учителем, а не каких-либо более экзотических подходов.

A slow morning

Неспешное утро

Merus sank into his chair with relief. He listened for the satisfying crackling sound of sinking into the chair’s soft material. If there was one piece of hardware that his employer was not afraid to invest a lot of money into, it was the chairs. With his eyes closed, his mind still dazed, and nothing but the background hum of the office, he became aware of his heart pounding against his chest- an effect caused by running up the stairs and his morning dose of caffeine and taurine slowly engulfing his brain. Several strong beats passed by as he found his mind wandering again to Licia - did she already come in? A sudden beep from his station distracted him - the system finished booting up. A last deep sigh. A stretch. A last sip of his coffee. He opened his eyes, rubbed them into focus and reached for his hardware. “Thank god it’s Friday”, he muttered. It was time to clock in.

Мерус с облегчением опустился в кресло. Он прислушался к приятному потрескиванию мягкого материала, в который погружалось тело. Если и был один предмет оборудования, на который его работодатель не жалел денег, так это кресла. С закрытыми глазами, ещё затуманенным сознанием и ничем, кроме фонового гула офиса, он ощутил, как сердце колотится в груди — следствие бега по лестнице и утренней дозы кофеина и таурина, медленно обволакивающей его мозг. Прошло несколько сильных ударов, и мысли его снова потянулись к Лиции — она уже пришла? Внезапный сигнал от рабочей станции отвлёк его — система закончила загрузку. Последний глубокий вздох. Потягивание. Последний глоток кофе. Он открыл глаза, протёр их, чтобы сфокусироваться, и потянулся к оборудованию. «Слава богу, пятница», — пробормотал он. Пора было приступать к работе.

Fully suited up, he began scrolling past a seemingly endless list of options. Filtering, searching, trying to determine what he was in the mood for. He had worked hard and over time built himself up into one of the best shapers in the company. In addition he had completed a wide array of shaper certifications, repeating some of them over and over obsessively until he reached outstanding grades across the board. The reviews on his profile were equally stellar:

Полностью экипировавшись, он начал листать бесконечный, казалось, список предложений. Фильтровал, искал, пытался определить, под какое настроение что-нибудь подобрать. Он упорно работал и со временем стал одним из лучших формовщиков в компании. Вдобавок он прошёл множество сертификаций для формовщиков, некоторые из них повторяя раз за разом с маниакальным упорством, пока не получил высшие оценки по всем направлениям. Отзывы в его профиле были столь же блестящими:

“Merus is fantastic. He has a strong intuition for spotting gaps in the data, and uses exceedingly effective curriculum and shaping strategies. When Merus gets on the job our validation accuracies consistently shoot up much faster than what we see with average shapers. Keep up the great work and please think of us if you’re searching for great, rewarding and impactful HITs!”,

«Мерус великолепен. У него отличная интуиция в обнаружении пробелов в данных, и он использует исключительно эффективные стратегии обучения и формовки. Когда Мерус берётся за дело, наша точность на валидации стабильно растёт значительно быстрее, чем у среднестатистических формовщиков. Продолжайте в том же духе и, пожалуйста, подумайте о нас, если будете искать отличные, благодарные и значимые HIT!»

one review read. HIT was an acronym for Human Intelligence Task - a unit of work that required human supervision. With his reviews and certifications the shaping world was wide open. His list contained many lucrative, well-paying HITs to choose from, many of them visible to only the most trusted shapers. This morning he came by several that caught his attention: a bodyguard HIT for some politician in Sweden, a HIT from a science expedition in Antarctica that needed help with setting up their equipment, a dog-walking HIT for a music celebrity, a quick drone delivery HIT that seemed to be payed very well… Suddenly, a notification caught the corner of his eye: Licia had just clocked in and started a HIT. He opened up its details pane and skimmed the description. His eyes rolled as he spotted the keywords he was afraid of - event assembly at the Hilltop Hotel. “Again?” - he moaned in a hushed voice, raising his hands up and over his head in quiet contemplation. Licia had often picked up HITs from that same hotel, but they were often unexciting and menial tasks that weren’t paid much. Merus rearranged himself in his chair, and sunk his face into his palms. He noticed though the crack of his fingers that the drone delivery HIT had just been taken by someone else. He cursed to himself. Absent mindedly and with a deep sigh, he accepted the second remaining slot on the Hilltop Hotel HIT.

— гласил один из отзывов. HIT — аббревиатура от Human Intelligence Task — единица работы, требующая человеческого контроля. С такими отзывами и сертификациями мир формовки был для него открыт. В его списке было множество выгодных, хорошо оплачиваемых HIT на выбор, многие из которых были доступны только самым проверенным формовщикам. Этим утром ему попались несколько привлекательных вариантов: HIT телохранителя для какого-то политика в Швеции, HIT от научной экспедиции в Антарктиде, которой нужна была помощь с настройкой оборудования, HIT по выгулу собаки для музыкальной знаменитости, быстрый HIT на доставку дроном, который, похоже, очень хорошо оплачивался… Внезапно уведомление мелькнуло в углу его поля зрения: Лиция только что вышла на смену и начала HIT. Он открыл панель с деталями и пробежал описание глазами. Он закатил глаза, заметив ключевые слова, которых боялся, — организация мероприятия в отеле «Хиллтоп». «Опять?» — простонал он вполголоса, вскинув руки вверх и заведя их за голову в молчаливом раздумье. Лиция часто бралась за HIT в этом отеле, но задания там обычно были скучными и рутинными, да и платили за них немного. Мерус переместился в кресле и уткнулся лицом в ладони. Сквозь щели между пальцами он заметил, что HIT с доставкой дроном только что забрал кто-то другой. Он выругался про себя. Рассеянно и с глубоким вздохом он принял второй оставшийся слот на HIT в отеле «Хиллтоп».

His hardware lit up with numbers and indicators, and his console began spewing diagnostic information as the boot sequence initiated. Anyone could be a shaper and get started with inexpensive gear, but the company provided state of the art hardware that allowed him to be much more productive. A good amount of interesting HITs also demanded certain low-latency hardware requirements, which only the most professional gear could meet. In turn, the company took a cut from his HITs. Merus dreamed of one day becoming an independent shaper, but he knew that would take a while. He put on the last pieces of his equipment. The positional tracking in his booth calibrated his full pose and all markers tracked green. The haptics that enveloped his body in his chair stiffened up around him as they initialized. He placed his helmet over his face and booted up.

Его оборудование засветилось цифрами и индикаторами, а консоль начала выплёвывать диагностическую информацию по мере запуска последовательности загрузки. Любой мог стать формовщиком и начать с недорогого снаряжения, но компания предоставляла новейшее оборудование, которое позволяло ему быть куда продуктивнее. Многие интересные HIT также требовали определённых характеристик по задержке, которым отвечало только самое профессиональное оборудование. Взамен компания забирала долю с его HIT. Мерус мечтал когда-нибудь стать независимым формовщиком, но знал, что до этого ещё далеко. Он надел последние части снаряжения. Позиционное отслеживание в его кабине откалибровало полную позу, и все маркеры горели зелёным. Тактильный костюм, обволакивающий его тело в кресле, затвердел при инициализации. Он надел шлем и запустил систему.

Descendants of Adam

Потомки Адама

The buzz and hum of the office disappeared. Merus was immersed in a complete, peaceful silence and darkness while the HIT request was processed. Connections were made, transactions accepted, certification checks performed, security tokens exchanged, HIT approval process initiated. At last, Merus’ vision was flooded with light. The shrieks of some tropical birds were now audible in the background. He found himself at the charging station of Pegasus Avatars, which his company had a nearly exclusive relationship with. Merus eagerly glanced down at his avatar body and breathed a sigh of relief. Among the several suspended avatars at that charging station he happened to get assigned the one with the most recent hardware specs. Everything looked great, his avatar was fully charged, and all the hardware diagnostics checked out. Except the body came in hot pink. “You just can’t have it all”.

Гул и шум офиса исчезли. Мерус был погружён в полную, умиротворённую тишину и темноту, пока запрос на HIT обрабатывался. Устанавливались соединения, принимались транзакции, проверялись сертификации, обменивались токены безопасности, запускался процесс одобрения HIT. Наконец зрение Меруса залило светом. На заднем плане стали слышны крики каких-то тропических птиц. Он оказался на зарядной станции Pegasus Avatars, с которой его компания состояла в почти эксклюзивных отношениях. Мерус нетерпеливо взглянул на своё тело-аватар и вздохнул с облегчением. Среди нескольких подвешенных аватаров на этой зарядной станции ему достался тот, что с самыми свежими техническими характеристиками. Всё выглядело отлично, аватар был полностью заряжен, и вся аппаратная диагностика прошла успешно. Вот только корпус оказался ярко-розовым. «Ну, всего сразу не бывает».

The usual first order of business was to run a few routine diagnostics to double check proper functioning of the avatar. He opened up the neural network inspector and navigated to the overview pane of the agent checkpoint that was running the avatar. The agent was the software running the avatar body, and consisted entirely of one large neural network with a specific connectivity structure and weights. This agent model happened to be a relatively recent fork of the standard, open source Visceral 5.0 series. Merus was delighted - the Visceral family of agents was one of his specialties. The Visceral agents had a minimalist design that came in at a total of only about 1 trillion parameters and had a very simple, clean, proven and reliable architecture. However, there were still a few exotic architectural elements packed in too, including shortcut sensorimotor reflex pathways, fractal connectivity in the visual streams, and distributed motor areas inspired by the octopus neurobiology. And then, of course, there was also the famous Mystery module.

Обычно первым делом полагалось провести несколько стандартных диагностических тестов, чтобы перепроверить правильность функционирования аватара. Он открыл инспектор нейросети и перешёл на панель обзора контрольной точки агента, управляющего аватаром. Агент — это программное обеспечение, управляющее телом аватара, и состоял он целиком из одной большой нейронной сети с определённой структурой связей и весами. Этот агент оказался относительно свежим форком стандартной серии Visceral 5.0 с открытым исходным кодом. Мерус был рад — семейство агентов Visceral было одной из его специализаций. Агенты Visceral отличались минималистичным дизайном: всего около 1 триллиона параметров, очень простая, чистая, проверенная и надёжная архитектура. Впрочем, в ней были и экзотические архитектурные элементы, включая укороченные сенсомоторные рефлекторные пути, фрактальную связность в зрительных потоках и распределённые моторные области, вдохновлённые нейробиологией осьминога. И, конечно же, знаменитый Модуль Тайны.

The Mystery module had an intriguing background story, and was a common subject of raging discussions and conspiracy theories. It was added to the Visceral series by an anonymous pull request almost 6 years ago. The module featured an intricate recurrent neural connectivity that, when incorporated into the wider network, dramatically improved the agent performance in a broad range of higher cognitive tasks. Except noone knew how it worked or why, or who discovered it - hence the name. The module immediately became actively studied by multiple groups of artificial intelligence laboratories and became the subject of several PhD theses, yet even after 6 years it was still poorly understood. Merus enjoyed poring through papers that hypothesized its function, performed ablation studied, and tried to prove theorems for why it so tremendously improved agent performance and learning dynamics.

У Модуля Тайны была интригующая предыстория, и он был постоянной темой ожесточённых дискуссий и конспирологических теорий. Его добавили в серию Visceral через анонимный pull request почти 6 лет назад. Модуль отличался замысловатой рекуррентной нейронной связностью, которая при включении в более широкую сеть кардинально улучшала производительность агента в широком спектре высших когнитивных задач. Вот только никто не знал, как он работает, почему, и кто его открыл — отсюда и название. Модуль сразу стал объектом активного изучения в нескольких лабораториях искусственного интеллекта и темой ряда докторских диссертаций, но даже спустя 6 лет оставался плохо изученным. Мерус с удовольствием читал статьи, в которых выдвигались гипотезы о его функции, проводились исследования с абляцией и предпринимались попытки доказать теоремы, объясняющие, почему он столь грандиозно улучшал производительность и динамику обучения агентов.

Moreover, an ethical battle raged over whether the module should be merged to master due to its poorly understood origin, function, and especially its dynamical properties such as its fixed points, divergence criteria, and so on. But in the end, the Mystery module provided benefits so substantial that several popular forks of Visceral+Mystery Module began regularly appearing on agent repositories across the web, and found their way to common use. Despite the protests, the economic incentives and pressures were too great to be ignored. In the absence of any clearly detrimental or hazardous effects over a period of time, the Visceral committee finally voted to merge the Mystery module into the master branch.

Более того, разгорелась этическая битва по поводу того, следует ли вливать модуль в основную ветку из-за его малопонятного происхождения, функции и особенно динамических свойств — таких как его неподвижные точки, критерии расходимости и прочее. Но в конечном счёте преимущества Модуля Тайны были настолько существенными, что несколько популярных форков «Visceral + Модуль Тайны» стали регулярно появляться в репозиториях агентов по всей сети и вошли в повседневное использование. Несмотря на протесты, экономические стимулы и давление были слишком велики, чтобы их игнорировать. В отсутствие каких-либо явно вредных или опасных последствий за определённый период времени комитет Visceral в конце концов проголосовал за слияние Модуля Тайны с основной веткой.

Merus had a long history of shaping Visceral agents and their ancestors. The series was forked from the Patreon series, which were discontinued four years ago when the founding team was acquired by Crown Co. The Patreon series were in turn based mostly on the SHAKIR series, which were in turn based on many more ancient agent architectures, all the way back to the original - the Adam checkpoint. The Visceral family of agents had a reputation of smooth dynamics that degraded gracefully towards floppy, safe fixed points. There were even some weak theoretical and empirical guarantees one could provide for simplified versions of the core cognitive architecture. Another great source of good reputation for Visceral were the large number of famous interventions carried out by autonomous Visceral agents. Just one week ago, Merus recalled, an autonomous Visceral 4.0 agent saved a group of children from rabid dogs in a small town in India. The agent recognized an impending dangerous situation, signaled an alarm and a human operator was dispatched to immediately sync with the agent. However, by the time they took over control the crisis had been averted. Those few critical seconds where the agent, acting autonomously, scared away the dogs had likely saved their lives. The list went on and on - one month ago an autonomous Visceral agent recognized a remote drone attack. It leaped up and curled its body around the drone, which exploded in its embrace instead of in the middle of a group of people. Of course, this was nothing more than an agent working as intended - these kinds of behaviors were meticulously shaped into the agents’ networks over long periods of time. But the point remained - the Visceral series was reliable, safe, and revered.

У Меруса был долгий опыт формовки агентов Visceral и их предшественников. Серия была форком серии Patreon, которую свернули четыре года назад, когда команду-основатель приобрела Crown Co. Серия Patreon, в свою очередь, основывалась преимущественно на серии SHAKIR, которая, в свою очередь, базировалась на множестве ещё более древних архитектур агентов — вплоть до самой первой, исходной контрольной точки Адам. Семейство агентов Visceral славилось плавной динамикой, которая деградировала мягко, стремясь к безопасным устойчивым неподвижным точкам. Для упрощённых версий основной когнитивной архитектуры существовали даже некоторые слабые теоретические и эмпирические гарантии. Ещё одним источником хорошей репутации Visceral было большое количество знаменитых вмешательств, совершённых автономными агентами Visceral. Всего неделю назад, вспомнил Мерус, автономный агент Visceral 4.0 спас группу детей от бешеных собак в маленьком городке в Индии. Агент распознал надвигающуюся опасную ситуацию, подал сигнал тревоги, и человек-оператор был немедленно направлен для синхронизации с агентом. Однако к моменту, когда он взял управление на себя, кризис был уже предотвращён. Те несколько критических секунд, когда агент, действуя автономно, отогнал собак, вероятно, спасли детям жизнь. Список можно было продолжать и продолжать — месяц назад автономный агент Visceral распознал удалённую атаку дрона. Он подпрыгнул и обхватил дрон своим телом, который взорвался в его объятиях, а не посреди группы людей. Разумеется, это было не более чем работа агента в штатном режиме — такого рода поведение тщательно формовалось в сетях агентов в течение длительного времени. Но факт оставался фактом — серия Visceral была надёжной, безопасной и пользовалась глубоким уважением.

The other most respected agent family was the Crown Kappa series, invented and maintained by the Patreon founders working from within Crown Co, but the series’ networks were proprietary and closely guarded. Even though the performance of the Kappa was consistently rated higher by the most respected third party agent benchmarking companies, many people still preferred to run Visceral agents since they distrusted Crown Co. Despite Crown’s claims, there was simply no way to guarantee that some parts of the networks were not carrying out malicious activities. Merus was, in fact, offered a job at Crown Co as a senior shaper one year ago for a much higher salary, but he passed on the offer. He enjoyed his current work place. And there was also Licia.

Другим наиболее уважаемым семейством агентов была серия Crown Kappa, изобретённая и поддерживаемая основателями Patreon, работающими внутри Crown Co, но сети серии были проприетарными и тщательно охранялись. Хотя производительность Kappa неизменно оценивалась выше самыми авторитетными независимыми компаниями по бенчмаркингу агентов, многие люди всё равно предпочитали использовать агентов Visceral, поскольку не доверяли Crown Co. Несмотря на заверения Crown, просто не существовало способа гарантировать, что какие-то части сетей не занимаются вредоносной деятельностью. Мерусу, кстати, год назад предлагали работу в Crown Co старшим формовщиком с куда более высокой зарплатой, но он отклонил предложение. Ему нравилось его нынешнее место работы. И ещё была Лиция.

Digital brains

Цифровые мозги

Beep. Merus snapped back and looked at the console. He was running the routine software diagnostics on the Visceral agent and one of them had just failed. He squinted at the error, parsing it carefully. A checksum of the model weights did not pass in some module that had no recent logged history of finetuning. Merus raised his eyebrows as he contemplated the possibilities. Did the model checkpoint get corrupted? He knew that the correct procedure in these cases was to abandon the HIT and report a malfunction, but he also really wanted to proceed with the HIT and say hi to Licia. He pulled up the network visualizer view and zoomed into the neural architecture with his hands. A 3-dimensional rendered cloud of neural connectivity enveloped his head as he navigated to the highlighted region in red with sweeping hand motions. Zooming around, he recognized the twists and turns of the Spatial Transformer modules in the visual pathways. The shortcut reflex connections. The first multi-sensory association layer. The brain was humming along steadily, pulsating calmly as it processed the visual scene in front of the avatar. As Merus navigated by one of the motor areas the connections became significantly denser and shorter, pulsating at high frequencies as they kept the avatar’s center of mass balanced. The gradients flowing back from the reward centers and the unsupervised objectives were also pouring through the connections, and their statistical properties looked and sounded healthy.

Сигнал. Мерус встрепенулся и посмотрел на консоль. Он выполнял стандартную программную диагностику агента Visceral, и один из тестов только что провалился. Он прищурился, разбирая сообщение об ошибке. Контрольная сумма весов модели не прошла проверку в каком-то модуле, для которого не было зарегистрировано никаких недавних дообучений. Мерус поднял брови, обдумывая варианты. Контрольная точка модели повреждена? Он знал, что правильная процедура в таких случаях — отказаться от HIT и сообщить о неисправности, но ему очень хотелось продолжить HIT и поздороваться с Лицией. Он вызвал визуализатор сети и руками вошёл в трёхмерную модель нейронной архитектуры. Трёхмерное облако нейронных связей окутало его голову, пока он размашистыми движениями рук перемещался к выделенной красным области. Двигаясь, он узнавал изгибы и повороты модулей пространственных трансформеров в зрительных путях. Укороченные рефлекторные связи. Первый мультисенсорный ассоциативный слой. Мозг ровно гудел, спокойно пульсируя, обрабатывая визуальную сцену перед аватаром. Когда Мерус проходил мимо одной из моторных областей, связи стали значительно плотнее и короче, пульсируя на высоких частотах для поддержания равновесия аватара. Градиенты, текущие обратно от центров вознаграждения и целей обучения без учителя, также струились по связям, и их статистические свойства выглядели и звучали здоровыми.

Navigating and analyzing artificial brains was Merus’ favorite pastime. He spent hours over the weekends navigating minds from all kinds of repositories. The Visceral series had tens of thousands of forks, many of them tuned for specific tasks, specific avatar body morphologies, and some were simply hobbies and random experiments. This last weekend he analyzed a custom mind build based on an early Visceral 3.0 fork for a contracting side gig. The neural pathways in their custom agent were poorly designed, causing the agent an equivalent of seizures non-deterministically when the activities constructively interfered at critical junctures, spiraling out the brain dynamics into divergence. Merus had to suggest massive rewiring, but he knew it was only a short-term hack.

Навигация по искусственным мозгам и их анализ были любимым занятием Меруса. Он проводил часы по выходным, исследуя разумы из самых разных репозиториев. У серии Visceral были десятки тысяч форков, многие из которых были настроены под конкретные задачи, конкретные морфологии тел аватаров, а некоторые были просто хобби-проектами и случайными экспериментами. В прошлые выходные он анализировал кастомную сборку разума на основе раннего форка Visceral 3.0 для подработки по контракту. Нейронные пути в их кастомном агенте были плохо спроектированы, вызывая у агента нечто вроде припадков — недетерминированно, когда активности конструктивно интерферировали в критических узлах, раскручивая динамику мозга в расходимость. Мерусу пришлось предложить масштабную перекоммутацию, но он знал, что это лишь временная мера.

“Just upgrade to a 5.0!”, he lamented during their meeting.
“Unfortunately we cannot, we’ve invested too much data and training time into this agent. It was trained online so we don’t have access to the data anymore, all we have is the agent and its network”.

«Просто обновитесь до 5.0!» — сокрушался он на встрече. «К сожалению, мы не можем — мы вложили слишком много данных и времени обучения в этого агента. Он обучался онлайн, поэтому у нас больше нет доступа к данным, всё, что у нас есть — это агент и его сеть».

There were ways of transferring knowledge from one digital brain to another with a neural teaching process, during which the dynamics of one brain were used as supervision for another, but the process was lossy, time consuming, and still an active area of research. This meant that people were often stuck with legacy agents that had a lot of experience and desirably shaped behaviors, but lacked many recent architectural innovations and stability improvements. They were immortal primitive relics from the past, who made up for their faults with the immense amount of data they had experienced. Keeping track of the longest living agents became an endeavor almost as interesting as keeping track of the oldest humans alive, and spawned an entire area of research of neural archeology.

Существовали способы переноса знаний из одного цифрового мозга в другой с помощью процесса нейронного обучения, при котором динамика одного мозга использовалась в качестве обучающего сигнала для другого, но процесс был с потерями, трудоёмкий и всё ещё оставался активной областью исследований. Это означало, что люди часто оказывались привязаны к устаревшим агентам, накопившим огромный опыт и желательные сформированные модели поведения, но лишённым многих недавних архитектурных инноваций и улучшений стабильности. Это были бессмертные примитивные реликты прошлого, компенсировавшие свои недостатки колоссальным объёмом данных, через которые они прошли. Отслеживание старейших живых агентов стало занятием почти столь же увлекательным, как отслеживание старейших живущих людей, и породило целую область исследований — нейронную археологию.

Merus had finally reached the zone of the pathways highlighted in red, when his heart skipped a beat as he realized where he was. The part of the agent that was not passing the diagnostic test was near the core of the Mystery module. He froze still as his mind once again contemplated abandoning the HIT. He swiped his hand right in a sweeping motion and his viewport began rotating in a circular motion around the red area. He knew from some research he has read that this part of the Mystery module carried some significance: its neurons rarely ever activated. When ablated, the functioning of the Mystery module remained mostly identical for a while but then inevitably started to degrade over time. There was a raging discussion about what the function of the area was, but no clear consensus. Merus brought up the master branch of the base Visceral 5.0 agent and ran a neural diff on the surrounding area. A cluster of connections lit up. It couldn’t have been more than a few thousand connections, and most of them changed only slightly. Yet, the module had no record of being finetuned recently, so something or someone had deliberately changed the connections manually.

Мерус наконец добрался до зоны путей, выделенных красным, и у него перехватило дыхание, когда он осознал, где находится. Часть агента, не прошедшая диагностический тест, была рядом с ядром Модуля Тайны. Он замер, вновь раздумывая о том, чтобы отказаться от HIT. Он провёл рукой вправо размашистым движением, и его точка обзора начала вращаться по кругу вокруг красной области. Он знал из прочитанных исследований, что эта часть Модуля Тайны имеет определённое значение: её нейроны активировались крайне редко. При абляции функционирование Модуля Тайны поначалу оставалось практически идентичным, но затем неизбежно начинало деградировать со временем. Шла ожесточённая дискуссия о функции этой области, но единого мнения не было. Мерус загрузил основную ветку базового агента Visceral 5.0 и запустил нейронный diff окружающей области. Кластер связей подсветился. Это не могло быть более нескольких тысяч связей, и большинство из них изменились лишь незначительно. Однако для модуля не было зарегистрировано недавнего дообучения, а значит, кто-то или что-то намеренно изменило связи вручную.

Merus popped open the visualizer and started the full battery of system diagnostics to double check proper functioning of the agent. The agent’s hardware spun up to 100% utilization as the diagnostics simulated thousands of virtual unit test scenarios, ranging from simple navigation, manipulation, avoidance, math and memory tasks to an extensive battery of social interaction and morality scenarios. In each case, the agent’s simulated output behavior was checked to be within acceptable thresholds of one of human reference responses. Merus stared intensely at the console as test by test came out green. “So far so good…”

Мерус закрыл визуализатор и запустил полную батарею системных диагностических тестов для перепроверки правильного функционирования агента. Аппаратура агента раскрутилась до 100% загрузки, пока диагностика симулировала тысячи виртуальных модульных тестовых сценариев — от простой навигации, манипулирования, уклонения, математических задач и тестов памяти до обширной батареи сценариев социального взаимодействия и морали. В каждом случае проверялось, что симулированное поведение агента находится в допустимых пределах отклонения от одного из эталонных ответов человека. Мерус напряжённо вглядывался в консоль, пока тест за тестом выходил зелёным. «Пока всё хорошо…»

Mind over Matter

Разум превыше материи

Beep. Merus looked to the right and found a message from Licia:

Сигнал. Мерус посмотрел направо и обнаружил сообщение от Лиции:

“Hi Merus! saw you clocked in as a second on my HIT - where are you? Need help.”
“On my way!”,

«Привет, Мерус! Видела, что ты подключился вторым к моему HIT — ты где? Нужна помощь.» «Уже иду!»,

Merus dictated back hastily. The software diagnostics were only at 5% complete, and Merus knew they would take a while to run to completion. “It’s only a few thousand connections”, he thought to himself. “I’ll just stay much more alert in case the avatar does anything strange and take over control immediately. And if any of the diagnostics fail I’ll abort immediately”. With that resolve, he decreased the diagnostics process priority to 10% and moved the process on the secondary coprocessor. He then brought the agent to a conscious state, fully connecting its inputs and outputs to the world.

поспешно продиктовал Мерус в ответ. Программная диагностика была завершена лишь на 5%, и Мерус знал, что до полного завершения ещё далеко. «Всего несколько тысяч связей», — подумал он. «Просто буду гораздо внимательнее на случай, если аватар начнёт вести себя странно, и немедленно возьму управление. А если какой-нибудь тест провалится — сразу прекращу». С этой решимостью он снизил приоритет процесса диагностики до 10% и перенёс его на вторичный сопроцессор. Затем он привёл агента в сознательное состояние, полностью подключив его входы и выходы к внешнему миру.

He felt the avatar stiffen up as he shifted its center of gravity off the charging pedestal. Moving his arms around, he switched the avatar’s motor areas to semi-autonomous mode. As he did so, the agent’s lower motor cortices responded gracefully and placed one leg in front of another, following Merus’ commanded center of gravity. Eager to find Licia, he commanded a sprint by squeezing a trigger on his haptic controller. The agent’s task modules perceived the request encoding and various neural pathways lit up in anticipation. While the sprint trigger was held down every fast and steady translation of the agent’s body was highly rewarded. To the agent, it felt good to run when the trigger was held.

Он почувствовал, как аватар напрягся, когда он сместил его центр тяжести с зарядного пьедестала. Пошевелив руками, он перевёл моторные области аватара в полуавтономный режим. В ответ нижние моторные кортексы агента плавно отреагировали и поставили одну ногу перед другой, следуя за командуемым Мерусом центром тяжести. Стремясь найти Лицию, он дал команду на спринт, зажав триггер на тактильном контроллере. Задачные модули агента восприняли кодировку запроса, и различные нейронные пути засветились в предвкушении. Пока триггер спринта был зажат, каждое быстрое и ровное перемещение тела агента щедро вознаграждалось. Для агента бежать при зажатом триггере было приятно.

The visual and sensory pathways in the agent’s brain were flooded with information about the room’s inferred geometry. The Visceral checkpoint running the avatar had by now accumulated millions of hours of both simulated and real experience in efficiently navigating rooms just like this one. On a scale of microseconds, neural feedback pathways received inputs from the avatar’s proprioception sensors and fired a precise sequence of stabilizing activations. The network anticipated movements. It anticipated rewards. Trillions of distributed calculations drove the agent’s muscular-skeletal carbon fiber frame forward.

Зрительные и сенсорные пути в мозге агента были залиты информацией о предполагаемой геометрии комнаты. Контрольная точка Visceral, управляющая аватаром, к этому моменту накопила миллионы часов как симулированного, так и реального опыта эффективной навигации по комнатам, подобным этой. В масштабе микросекунд нейронные контуры обратной связи получали данные от проприоцептивных датчиков аватара и генерировали точную последовательность стабилизирующих активаций. Сеть предугадывала движения. Предугадывала вознаграждения. Триллионы распределённых вычислений толкали карбоновый скелет агента вперёд.

Merus felt a haptic pulse delivered to his back as the agent spun around on spot and rapidly accelerated towards the open door leading outside. Mid-flight between footfalls, the avatar extended its arm and reached for the metallic edge of the door frame, conserving the perfect amount of angular momentum as its body was flung in the air during its rapid turn to the right. The agent’s neurons fired baseline values encoding expectations of how quickly the network thought it could have traversed that room. A few seconds later these were compared to the sensorimotor trajectories recorded in the agent’s hippocampal neural structures. It was determined that this time the agent was 0.0013882s faster than expected. Future expectations were neurally adjusted to expect slightly higher values. Future rollouts of the precise motor behavior in every microsecond of context in the last few seconds were reinforced.

Мерус ощутил тактильный импульс в спину, когда агент развернулся на месте и стремительно ускорился к открытой двери наружу. В полёте между шагами аватар вытянул руку и ухватился за металлический край дверной рамы, сохранив идеальный угловой момент, пока его тело летело в воздухе во время резкого поворота направо. Нейроны агента выдали базовые значения, кодирующие ожидания того, как быстро, по мнению сети, она могла бы преодолеть эту комнату. Несколькими секундами позже они были сопоставлены с сенсомоторными траекториями, записанными в гиппокампальных нейронных структурах агента. Было установлено, что на этот раз агент оказался на 0,0013882 с быстрее ожидаемого. Будущие ожидания были нейронно скорректированы в сторону чуть более высоких значений. Будущие развёртки точного моторного поведения в каждую микросекунду контекста за последние несколько секунд были подкреплены.

Agent psychology

Психология агентов

Diagnostics 10% complete. Merus’ avatar had reached the back entrance of the hotel, where Licia’s GPS indicator blinked a calm red. He found her avatar looking in anticipation at the corner he just emerged from. He approached her over a large grass lawn, gently letting go of the sprint trigger.

Диагностика выполнена на 10%. Аватар Меруса достиг заднего входа в отель, где GPS-индикатор Лиции мигал спокойным красным. Он нашёл её аватар, с ожиданием смотрящий на угол, из-за которого он только что появился. Он подошёл к ней через большую травяную лужайку, плавно отпуская триггер спринта.

“Sorry it took a while to sync with the HIT, I had a strange issue with my -“
“It’s no problem”, she interjected quickly.
“Come, we are supposed to lay out the tables for a reception that is happening here in half hour, but the tables are large and tricky to move for one avatar. I’m a bit nervous - if we don’t set this up in time we might get the HIT refused, which might jeopardize my chances for more HITs here.”

«Извини, что долго синхронизировался с HIT, у меня была странная проблема с моим…» «Ничего страшного», — быстро перебила она. «Давай, нам нужно расставить столы для приёма, который начнётся через полчаса, но столы большие и одному аватару с ними трудно справиться. Я немного нервничаю — если мы не успеем всё подготовить вовремя, нам могут отклонить HIT, а это может подорвать мои шансы на новые HIT здесь.»

She spun around and rushed towards the back entrance of the hotel, motioning with her arm for Merus to follow along. “Come, come!”

Она развернулась и поспешила к заднему входу в отель, жестом маня Меруса за собой. «Пойдём, пойдём!»

They paced quickly down the buzzing corridors of the hotel. As always, Merus made sure to politely greet all the people who walked by. For some of them he also slipped in his signature vigorous nod. He knew that the agent’s semi-autonomous brain was meticulously tracking the full sensorimotor experience in its replay memory, watching Merus’ every move and learning. His customers usually appreciated when polite behavior was continuously shaped into the networks, but better, Merus knew that they also appreciated when he squeezed in some fun personality quirks. One time when he was shaping a floor cleaning avatar, when he got a little bored and spontaneously decided to lift up his broom like a sword while making a whooshing sound. Amusingly, the agent’s network happened to internalize that particular rollout. When the agent was later run autonomously around that original location, it sometimes snapped into a brief show of broom fighting, complete with sound effects. The employees of that company found this endlessly amusing, and the avatar became known as the “jedi janitor”. Merus even heard that they lobbied to have the agent’s network fixed and prevented from further shaping, in fear of losing the spectacle. He never learned how that developed and whether that agent was still a jedi, but he did get a series of very nice tips and reviews from the employees for the extra pinch of personality that broke their otherwise mundane hours.

Они быстро шагали по оживлённым коридорам отеля. Как всегда, Мерус не забывал вежливо приветствовать всех встречных. Некоторым он ещё вставлял свой фирменный энергичный кивок. Он знал, что полуавтономный мозг агента скрупулёзно записывает весь сенсомоторный опыт в свою буферную память, наблюдая за каждым движением Меруса и обучаясь. Его заказчики обычно ценили, когда вежливое поведение непрерывно формовалось в сетях, но, что ещё лучше, Мерус знал, что они также ценили, когда он подмешивал забавные личностные причуды. Однажды, формуя аватар для уборки полов, от скуки он спонтанно решил поднять свою швабру как меч, издавая при этом свистящий звук. Забавно, но сеть агента усвоила именно этот эпизод. Когда впоследствии агент работал автономно в том самом месте, он иногда срывался в короткое представление с боем на швабрах, включая звуковые эффекты. Сотрудники той компании находили это бесконечно потешным, и аватар получил прозвище «уборщик-джедай». Мерус даже слышал, что они ходатайствовали о фиксации сети агента и запрете дальнейшей формовки — из страха потерять это зрелище. Он так и не узнал, чем это кончилось и остался ли тот агент джедаем, но зато получил от сотрудников серию очень хороших чаевых и отзывов за ту щепотку индивидуальности, скрасившую их обычно рутинные часы.

They had finally reached the room full of tables. It was a large, dark room with hardwood floor, and white wooden tables were stacked near the corner in a rather high entropy arrangement.

Они наконец дошли до комнаты, полной столов. Это была большая тёмная комната с деревянным полом, а белые деревянные столы были нагромождены у стены в довольно хаотичном порядке.

“All of these have to be rolled out to the patio”, Licia said as she pointed her avatar’s hand towards the tables.
“I already carried several of them out while you were missing, but these big ones are giving me trouble”.
“Got it.”, Merus said, as he swung around a table to lift it up on one end.
“Why aren’t they running the agents autonomously on this? Aren’t receptions a common event in the hotel? How are the agents misbehaving?” Merus asked, as Licia lifted the other end and started shifting her feet towards the exit.
“The tables are usually in a different storage room of the hotel, but that part is currently closed for reconstruction. I don’t know the full story. I overheard that they tried to tell the agents to bring out the tables, but they all went to the old storage room location and when they couldn’t find the tables they began spinning around in circles looking for them.”
“Classic. I assume we’re mostly shaping them to look at this new location?”
“Among other things, yes. Might as well shape in anything else you can think of for bonus points.”

«Все эти нужно вынести на террасу», — сказала Лиция, указав рукой аватара на столы. «Я уже вынесла несколько, пока тебя не было, но эти большие мне не даются». «Понял», — сказал Мерус, обходя стол, чтобы поднять его с одного конца. «А почему они не запускают агентов автономно на это? Разве приёмы не обычное дело для отеля? Как агенты себя ведут?» — спросил Мерус, пока Лиция поднимала другой конец и начинала пятиться к выходу. «Столы обычно хранятся в другом помещении отеля, но та часть сейчас на реконструкции. Всей истории я не знаю. Слышала, что они пытались сказать агентам принести столы, но те все пошли к старой кладовой, а когда не нашли столов, начали кружить на месте, разыскивая их». «Классика. Полагаю, мы в основном формуем их на поиск нового места?» «В том числе. Можешь заодно формовать всё, что придёт в голову, за бонусные очки».

Merus understood the dilemma of the situation very well. He saw it over and over again. Agents could display vastly super-human performance on a huge assortment of reflexive tasks that involved motor control, strength, and short-term planning and memory, but their behaviors tended to be much less consistent when long-term planning and execution were involved. An avatar could catch a fly mid-flight with 100% success rate, or unpack a truck of supplies with superhuman speed, consistency and accuracy, but could also spin in circles looking for a table in the wrong room and not realize that it may have been moved and that it might be useful to instead look for them at a different likely location. Similarly, telling an agent something along the lines of “The tables have moved, go through this door, take the 3rd door on the right and they should be stacked in the corner on the left”, would usually send the avatar off in a generally correct directions for a while, but would also in 50% of the cases end up with the agent spinning around on spot in a different, incorrect room. In these cases, shaper interventions like this one were the most economical ways of rectifying the situation.

Мерус прекрасно понимал суть этой ситуации. Он видел это снова и снова. Агенты могли демонстрировать значительно сверхчеловеческую производительность в огромном ассортименте рефлекторных задач, связанных с моторным контролем, силой, кратковременным планированием и памятью, но их поведение становилось куда менее стабильным, когда дело касалось долгосрочного планирования и исполнения. Аватар мог поймать муху в полёте со 100%-ной вероятностью или разгрузить фургон с припасами со сверхчеловеческой скоростью, стабильностью и точностью, но мог также кружить на месте, разыскивая стол не в той комнате, и не сообразить, что его могли переставить и что, возможно, стоит поискать в другом вероятном месте. Аналогично, если сказать агенту что-то вроде «Столы переехали, пройди через эту дверь, третья дверь справа, они должны быть сложены в углу слева», аватар обычно некоторое время двигался в целом в правильном направлении, но в 50% случаев заканчивал тем, что кружил на месте в другой, неправильной комнате. В таких случаях вмешательства формовщиков вроде нынешнего были наиболее экономичным способом исправить ситуацию.

In fact, this curious pattern was persistent across all facets of human agent interactions. For instance, a barista agent might happily engage in small talk with you about the weather, travel, or any other topic, but if you knew what to look for then you could also unearth obvious flaws. For example, if you referred to your favorite soccer team just winning a game the agent could start cheering and telling you it was its favorite team too, or joke around expressing a preference for the other team. This was fine but the trick was that their choices were not consistent - if you had come back several minutes later the agent could have easily swapped their preference for what they claimed was their favorite team. Merus understood that the conversations followed certain templates learned from shaped behavior patterns in the data, and the agents could fill in the blanks with high fidelities and even maintain conversational context for a few minutes. But if you started poking holes into the facade in the right ways the illusion of a conversation and mutual understanding would unravel. Merus was particularly good at this since he was well-versed in agent psychology; to a large extent it was his job.

Более того, этот любопытный паттерн проявлялся во всех аспектах взаимодействия людей с агентами. К примеру, агент-бариста мог охотно болтать с вами о погоде, путешествиях или любой другой теме, но если вы знали, на что обращать внимание, то могли обнаружить очевидные изъяны. Например, если вы упоминали, что ваша любимая футбольная команда только что выиграла, агент мог начать ликовать, говоря, что это и его любимая команда тоже, или пошутить, выражая предпочтение другой команде. Это было нормально, но фокус в том, что их выбор не был последовательным — если бы вы вернулись через несколько минут, агент мог запросто поменять свои предпочтения относительно того, что он называл своей любимой командой. Мерус понимал, что разговоры следовали определённым шаблонам, усвоенным из сформированных поведенческих паттернов в данных, и агенты могли заполнять пробелы с высокой точностью и даже поддерживать контекст беседы в течение нескольких минут. Но стоило начать в нужных местах ковырять дыры в фасаде — и иллюзия разговора и взаимопонимания рассыпалась. Мерус был в этом особенно хорош, поскольку отлично разбирался в психологии агентов; в значительной мере это и было его работой.

On the other hand, if you did not look for the flaws it was easy to buy into it and sustain the illusion. In fact, large segments of the population simply accepted agents as people, even defending them if anyone tried to point out their flaws, in similar ways that you might defend someone with a cognitive disability. The flaws also did not prevent people from forging strong and lasting relationships with agents, their confirmation biases insisting that their agents were special. However, from time to time even Merus could be surprised by the intellectual leaps performed by an agent, which seemed to show a hint of genuine understanding of a situation. In these cases he sometimes couldn’t help asking: “Are you teleopped right now?”, but of course the answer, he knew, was always “yes” regardless of the truth. All the training data had contained the answer “yes” to that question, since it was originally recorded by shapers who were indeed teleopping an agent at the time, and then regurgitated by agents later in similar contexts. Such was the curious nature of the coexistence between people and agents. The Turing test was both passed and not passed, and ultimately it did not matter.

С другой стороны, если не искать изъяны, было легко поверить в иллюзию и поддерживать её. Значительная часть населения попросту принимала агентов за людей и даже защищала их, если кто-то пытался указать на их недостатки, — примерно так, как вы могли бы защитить человека с когнитивными нарушениями. Изъяны также не мешали людям создавать прочные и длительные отношения с агентами, а их когнитивные искажения настаивали на том, что именно их агенты были особенными. Впрочем, время от времени даже Мерус мог быть удивлён интеллектуальными скачками, совершёнными агентом, которые, казалось, демонстрировали проблеск подлинного понимания ситуации. В таких случаях он иногда не мог удержаться от вопроса: «Тобой сейчас управляют?», но ответ, он знал, всегда был «да» — вне зависимости от истины. Все обучающие данные содержали ответ «да» на этот вопрос, поскольку изначально они были записаны формовщиками, которые действительно управляли агентом в тот момент, а затем воспроизведены агентами позднее в аналогичных контекстах. Такова была причудливая природа сосуществования людей и агентов. Тест Тьюринга был одновременно пройден и не пройден, и в конечном счёте это не имело значения.

“Now that we’ve shown them the new room and picked up a table let me try switching to full auto”,

«Теперь, когда мы показали им новую комнату и подняли стол, давай я попробую переключить на полный автомат»,

Merus said as he loosened his grip on the controller, which gave full control back to the agent’s network. The avatar twitched slightly at first, but then continued walking down the hall with Licia, holding one end of the table. As they approached the exit to the patio the avatar began walking more briskly and with more confidence. It avoided people smoothly, and Merus even noticed that it gave one passing person something that resembled his very own vigorous nod. Merus held down the reward signal trigger gently, encouraging future replays of that behavior. He wondered if the nod he had just seen was a reflection of something the agent had just learned from him, or if it was a part of some long-before shaped behavior. Encoding signature moves was a common fun tactic among shapers, referred to simply as “signing”. Many shapers had their own signature behaviors they liked to smuggle into the agent networks as an “I’ve been here” signature. Merus liked to use the vigorous nod, as he called it, and giggled uncontrollably whenever he saw an avatar reproduce it. It was his personal touch. He remembered seeing an avatar violinist from a concert in Germany once greet the conductor with the vigorous nod, and Merus could have sworn it was his signature nod being reproduced. One of the agents he had shaped it into during one of his HITs perhaps ended up synced to the cloud, and the agent running that avatar had to be a descendant.

сказал Мерус, ослабив хватку на контроллере, что вернуло полное управление сети агента. Аватар слегка дёрнулся, но затем продолжил идти по коридору с Лицией, держа один конец стола. По мере приближения к выходу на террасу аватар зашагал быстрее и увереннее. Он плавно обходил людей, и Мерус даже заметил, что аватар одарил одного встречного чем-то, напоминающим его собственный фирменный энергичный кивок. Мерус мягко удерживал триггер сигнала вознаграждения, поощряя будущее воспроизведение этого поведения. Он гадал — был ли кивок, который он только что увидел, отражением чего-то, что агент только что от него перенял, или же частью давно сформированного поведения. Встраивание фирменных жестов было распространённой забавой среди формовщиков и называлось просто «подпись». Многие формовщики имели свои фирменные модели поведения, которые любили контрабандой внедрять в сети агентов как знак «я здесь был». Мерус любил использовать энергичный кивок, как он его называл, и неудержимо хихикал каждый раз, когда видел, как аватар его воспроизводит. Это была его личная отметка. Он вспомнил, как однажды видел аватар-скрипача на концерте в Германии, поприветствовавшего дирижёра энергичным кивком, и Мерус мог бы поклясться, что это был именно его фирменный кивок. Один из агентов, в которого он его вформовал во время одного из своих HIT, вероятно, был синхронизирован с облаком, и агент, управляющий тем аватаром, должен был быть его потомком.

Signature behaviors lay mostly dormant in the neural pathways, but emerged once in awhile. Naturally, some have also found a way to exploit these effects for crime. A common strategy involved shaping sleeper agent checkpoints that would execute any range of behaviors when triggered in specific contexts. It was impossible to isolate or detect these behaviors in a given network since they were distributed through billions of connections in the agent’s brain. Just a few weeks ago, it was revealed that a relatively popular family of agents under the Gorilla series were vulnerable. The Gorilla agents were revealed to silently snoop and compromise their owner’s personal information when no one was watching. This behavior was presumably intentionally shaped into the networks at an unknown commit in their history. Naturally, an investigation was started in which the police used binary search to narrow in on the commit responsible for the behavior, but it was taking a long time since the agents would only display the behavior in rare occasions that were hard to reproduce. In the end, one could only be confident of the integrity of an agent if it was a recent, clean copy of a well-respected and carefully maintained family of agents that passed a full battery of diagnostics. From there, any finetuning done with shapers was logged and could be additionally secured with several third party reviews of shaped experiences before they were declared clean and safe to include in the training data.

Фирменные модели поведения по большей части дремали в нейронных путях, но время от времени проявлялись. Естественно, нашлись и те, кто научился использовать эти эффекты в преступных целях. Распространённая стратегия заключалась в формовке контрольных точек «спящих агентов», которые исполняли любой диапазон действий при срабатывании в определённых контекстах. Обнаружить или изолировать такое поведение в данной сети было невозможно, поскольку оно было распределено по миллиардам связей в мозге агента. Всего несколько недель назад выяснилось, что относительно популярное семейство агентов серии Gorilla было уязвимо. Оказалось, что агенты Gorilla тайно шпионили за личной информацией своих владельцев и компрометировали её, когда за ними никто не наблюдал. Это поведение предположительно было намеренно сформовано в сетях в каком-то неизвестном коммите в их истории. Разумеется, было начато расследование, в ходе которого полиция использовала бинарный поиск для определения ответственного коммита, но дело шло медленно, поскольку агенты демонстрировали это поведение лишь в редких случаях, которые было трудно воспроизвести. В итоге быть уверенным в целостности агента можно было лишь в том случае, если он являлся свежей чистой копией уважаемого и тщательно поддерживаемого семейства агентов, прошедшей полную батарею диагностики. Далее любое дообучение с формовщиками логировалось и могло быть дополнительно защищено несколькими независимыми проверками сформированного опыта, прежде чем он признавался чистым и безопасным для включения в обучающие данные.

Shaping

Формовка

Diagnostics 20% complete: 0 unit tests failed so far. Merus looked at the progress report, breathing a sigh of relief. The Mystery module definitely deviated from the factory setting in his agent, but there was likely nothing to worry about. Licia had now let her avatar run autonomously too, and to their relief the avatars were now returning back through the correct corridors to pick up more tables. These were the moments Merus enjoyed the most. He was alone with Licia, enjoying her company on a side of a relaxing HIT. Even though they were now running their avatars on full auto, their facial expressions and sound were still being reproduced in the hardware. The customers almost always preferred everything recorded to get extra data on natural social interactions. This sometimes resulted in amusing agent behaviors - for instance, it was common to see two autonomous avatars lean back against a wall and start casually chatting about completing HITs. Clearly, neither of the agents has ever completed a HIT, but much of their training data consisted of shapers’ conversations about HITs, which were later mimicked in interesting, amusing and remixed ways. Sometimes, an autonomous avatar would curse and complain out loud to itself about a supposed HIT it was carrying out at the moment. “This HIT is bullshit”, it would mutter.

Диагностика выполнена на 20%: ни одного проваленного модульного теста. Мерус посмотрел на отчёт о прогрессе и вздохнул с облегчением. Модуль Тайны определённо отклонялся от заводских настроек в его агенте, но, скорее всего, беспокоиться было не о чем. Лиция тоже перевела своего аватара в полностью автономный режим, и к их облегчению аватары теперь возвращались через правильные коридоры за новыми столами. Это были моменты, которые Мерус ценил больше всего. Он был наедине с Лицией, наслаждаясь её компанией на лёгком HIT. Хотя их аватары теперь работали на полном автомате, мимика и звук по-прежнему воспроизводились через оборудование. Заказчики почти всегда предпочитали, чтобы всё записывалось для получения дополнительных данных о естественных социальных взаимодействиях. Это иногда приводило к забавному поведению агентов — например, нередко можно было увидеть, как два автономных аватара прислоняются к стене и начинают непринуждённо болтать о выполнении HIT. Очевидно, ни один из агентов никогда не выполнял HIT, но значительная часть их обучающих данных состояла из разговоров формовщиков о HIT, которые затем воспроизводились в интересных, забавных и переработанных вариациях. Иногда автономный аватар ругался и жаловался вслух на якобы выполняемый в данный момент HIT. «Этот HIT — полная ерунда», — бормотал он.

“Looks like it’s going along smoothly now”, Merus said, trying to break the silence as they walked down the corridor.
“I think so. I hope we have enough time”, Licia replied, sounding slightly nervous.
“No worries, we’re on track”, he reassured her.
“Thanks. By the way, why did you choose to come over for this HIT? Isn’t it a little below your pay grade?”, she asked.
“It is, but you have just as many certifications as I do so what are you doing here?”
“I know, but I was feeling a little lazy this morning and I really enjoy coming to this hotel. I just love this location. I try to steal some time sometimes and stand outside or walk around the hillside, imagining what the ocean breeze, the humidity and the temperature might feel like.”

«Кажется, всё идёт гладко», — сказал Мерус, пытаясь нарушить тишину, пока они шли по коридору. «Похоже на то. Надеюсь, мы успеваем», — ответила Лиция, звуча слегка нервно. «Не переживай, мы в графике», — успокоил он её. «Спасибо. Кстати, а почему ты выбрал этот HIT? Он разве не ниже твоей квалификации?» — спросила она. «Ниже, но у тебя столько же сертификаций, сколько у меня, так что ты сама-то что тут делаешь?» «Знаю, но мне было немного лень утром, и я очень люблю приезжать в этот отель. Мне просто нравится это место. Я иногда стараюсь урвать минутку и стою снаружи или гуляю по склону холма, представляя, каково это — ощутить океанский бриз, влажность и температуру».

It was easy to empathize - the hotel was positioned on top of a rocky cliff (hence the name, Hilltop), overlooking shores washed by a brilliant blue ocean. The sun’s reflections were dancing in the waves. The hotel was also surrounded by a dense forest of palm trees that were teeming with frolicking animals.

Ей было легко посочувствовать — отель стоял на вершине скалистого утёса (отсюда и название «Хиллтоп»), с видом на берега, омываемые блестящим синим океаном. Солнечные блики плясали на волнах. Отель также был окружён густым лесом из пальм, в котором резвились животные.

“Have you been here in vivo?” Merus asked. “in vivo” was a common slang for in real life; in flesh.
“I haven’t. One day, perhaps. But oh hey - you didn’t answer my question”
“You mean about why this HIT”. Merus felt a brief surge of panic and tried to suppress it quickly so it would not show up in his voice.
“I don’t know, your HIT came up on my feed just as another one was snatched from right under my nose, so I thought I’d take the morning slowly and also say hi”.

«Ты была здесь in vivo?» — спросил Мерус. «In vivo» было распространённым сленгом для «в реальной жизни»; во плоти. «Нет. Когда-нибудь, возможно. Но эй — ты не ответил на мой вопрос». «Ты про то, почему этот HIT». Мерус ощутил короткий прилив паники и попытался быстро подавить его, чтобы это не проявилось в голосе. «Не знаю, твой HIT выскочил в моей ленте как раз когда у меня из-под носа увели другой, и я решил провести утро спокойно и заодно поздороваться».

Half-true; Good save, Merus thought to himself. Licia was silent for a while. Suddenly, her Avatar picked up the next table but started heading in the wrong direction, trying to exit from the other door. “Gah!, where are you going?”, she yelled as she brought the avatar back into semi-autonomous mode and reeled it around, setting it on the correct path back to the patio.

Полуправда; хороший ход, — подумал Мерус. Лиция молчала некоторое время. Вдруг её аватар подхватил следующий стол, но двинулся не в ту сторону, пытаясь выйти через другую дверь. «Тьфу! Ты куда?» — крикнула она, переключив аватар обратно в полуавтономный режим и развернув его, направив на правильный путь обратно к террасе.

It took 10 more back and forth trips for them to carry all the tables out. Merus was now bringing back the last table through the corridors, while Licia was outside arranging the other tables in a grid. Without the chit chatting there to distract him, he immersed himself fully in his shaping routine. He pulled up his diagnostics meter and inspected neural statistics. As the avatar was walking back with the table Merus was carefully scrutinizing every curve of the plots. He noticed that the agent’s motor entropies substantially increased when the table was carried upside down. Perhaps the source of uncertainty was that the agent did not know how to best hold the table in that position, or was not used to seeing the table upside down. Merus assumed direct control and intentionally held the table upside down, grasping it at the best points and releasing rewards with precise timings to make the associations easier to learn. He was teaching the network how it should hold the table in uncertain situations. He let the agent hold it from time to time, and gently corrected the grips now and then while they were being executed. When people were walking by, he carefully stepped to the side, making sure that they had plenty of room to pass, and wielding the table in an angle that concealed its pointy legs. When the agent was in these poses he made eye contact, gave a vigorous nod to the person passing by, and released reward signal as the person smiled back. He knew he wouldn’t make much on the HIT, but he hoped he’d at least get a good review for a job well done.

Им понадобилось ещё 10 ходок туда-обратно, чтобы вынести все столы. Мерус сейчас нёс последний стол через коридоры, в то время как Лиция снаружи расставляла остальные столы в ряды. Без болтовни, которая могла бы его отвлечь, он полностью погрузился в свою формовочную рутину. Он вызвал диагностический прибор и изучал нейронную статистику. Пока аватар нёс стол обратно, Мерус тщательно рассматривал каждую кривую на графиках. Он заметил, что энтропия моторики агента существенно возрастала, когда стол несли в перевёрнутом виде. Возможно, источником неопределённости было то, что агент не знал, как лучше держать стол в таком положении, или не привык видеть стол перевёрнутым. Мерус взял прямое управление и намеренно нёс стол в перевёрнутом виде, хватая его в оптимальных точках и выдавая вознаграждения с точным таймингом, чтобы облегчить формирование ассоциаций. Он учил сеть, как ей следует держать стол в неопределённых ситуациях. Время от времени он передавал управление агенту и мягко корректировал хватку по ходу выполнения. Когда мимо проходили люди, он аккуратно отступал в сторону, следя за тем, чтобы у них было достаточно места, и держа стол под углом, скрывающим его острые ножки. Когда агент находился в таких позах, он устанавливал зрительный контакт, одаривал проходящего энергичным кивком и выдавал сигнал вознаграждения, когда тот улыбался в ответ. Он знал, что много на этом HIT не заработает, но надеялся хотя бы получить хороший отзыв за добросовестную работу.

“Diagnostics at 85%, zero behavior errors detected”, Merus read from his logs as he was helping Licia arrange the tables in a grid on the patio. This part was quite familiar to the agents already and they were briskly arranging the tables and the chairs around them. Once in a while Merus noticed an avatar throwing a chair across the top of a table to another avatar, in an apparent effort to save time. As always, Merus was curious when this strategy was shaped. Was it shaped at this hotel, at any other point in the Visceral agent’s history, or was it a discovered optimization during a self-improvement learning phase? The last few chairs were now being put in place and the HIT was nearing the end. The first visitors to the reception were now showing up around the edges of the patio, waiting for the avatars to finish the layout. A few more autonomous avatars showed up and started placing plates, forks, spoons and cloth on the tables and setting up a podium.

«Диагностика на 85%, ноль ошибок поведения обнаружено», — прочитал Мерус из логов, помогая Лиции расставлять столы в ряды на террасе. Эта часть задачи была агентам уже хорошо знакома, и они бодро расставляли столы и стулья вокруг них. Время от времени Мерус замечал, как аватар перебрасывал стул через стол другому аватару — явно в попытке сэкономить время. Как всегда, Мерусу было любопытно, когда была сформирована эта стратегия. Была ли она сформирована в этом отеле, в какой-то другой момент истории агента Visceral, или это была найденная оптимизация в ходе фазы самосовершенствующегося обучения? Последние стулья расставлялись по местам, и HIT близился к завершению. Первые гости приёма уже появлялись по краям террасы, ожидая, когда аватары закончат расстановку. Подошло ещё несколько автономных аватаров, которые начали расставлять тарелки, вилки, ложки и скатерти на столах и устанавливать подиум.

Binding

Связывание

It was at this time that Merus became aware of a curious pattern in his agent’s behavior. One that has been happening with increasing frequency. It started off with a few odd twitches here and there, and over time grew into entire gaps in behavior several seconds long. The avatar had just placed a chair next to the table, then stared at it for several seconds. This was quite uncharacteristic behavior for an agent that was trained to optimize smoothness and efficiency in task execution. What was it doing? To a naive observer it would appear as though the avatar was spaced out.

Именно в этот момент Мерус обратил внимание на любопытный паттерн в поведении своего агента. Паттерн, который проявлялся всё чаще. Началось с нескольких странных подёргиваний тут и там, а со временем переросло в целые провалы в поведении длиной в несколько секунд. Аватар только что поставил стул к столу, а потом несколько секунд смотрел на него. Это было весьма нехарактерно для агента, обученного оптимизировать плавность и эффективность выполнения задач. Что он делал? Наивному наблюдателю показалось бы, что аватар завис.

With only a few chairs left to position at the tables, the agent spun around and started toward the edge of the cliff at the far side the patio. Merus’ curiosity kept him from intervening, but his palm closed tightly around his controller. Intrigued, he pulled up the neural visualizer to debug the situation, but as he glanced at it he immediately let out a gasp of horror. The agent’s brain was pulsing with violent waves of activity. Entire portions of the brain were thrashing, rearranging themselves as enormously large gradients flowed through the whole network. Merus reached for the graph analysis toolkit and ran an algorithm to identify the gradient source. As he was frantically keying in the command he already suspected with horror what the answer would come out to be. He felt his mouth dry up as he stared at the result of the analysis. It was the Mystery module. The usually silent area that had earlier showed the mysterious neural diff was lit up bright with activity, flashing fireworks of patterns that, to Merus, looked just barely random. Its dynamics were feeding large gradients throughout the entire brain and especially the frontal areas, restructuring them.

Когда до расстановки оставалось всего несколько стульев, агент развернулся и направился к краю обрыва на дальней стороне террасы. Любопытство удержало Меруса от вмешательства, но ладонь крепко сжала контроллер. Заинтригованный, он вызвал нейронный визуализатор для отладки ситуации, но едва взглянул на него, как издал вздох ужаса. Мозг агента пульсировал бурными волнами активности. Целые области мозга бились в конвульсиях, перестраиваясь, пока огромные градиенты текли через всю сеть. Мерус потянулся к инструментарию для анализа графов и запустил алгоритм для определения источника градиентов. Лихорадочно набирая команду, он уже с ужасом подозревал, каким будет ответ. Он почувствовал, как пересохло во рту, когда уставился на результат анализа. Это был Модуль Тайны. Обычно молчаливая область, ранее показавшая загадочный нейронный diff, сейчас ярко светилась активностью, рассыпая фейерверки паттернов, которые для Меруса выглядели лишь едва-едва случайными. Её динамика направляла мощные градиенты по всему мозгу и особенно по лобным областям, перестраивая их.

Beep. Merus looked over at the logs. The diagnostics he’s been running were now at 95%, but failures started to appear. The agent was misbehaving in some simulated unit tests that were running in parallel on the second coprocessor. Merus pulled up the preliminary report logs. Navigation, locomotion, homeostasis, basic math, memory tests, everything passed green. Not only that - he noticed that the performance scores on several tasks, especially in math, were off the charts and clamped at 100%. Merus wasn’t all too familiar with the specific unit tests and what they entailed, but he knew that most of them were designed and calibrated so that an average baseline agent checkpoint would score 50% with a standard deviation of about 10%.

Сигнал. Мерус посмотрел на логи. Запущенная диагностика дошла до 95%, но начали появляться провалы. Агент некорректно вёл себя в некоторых симулированных модульных тестах, параллельно выполняемых на втором сопроцессоре. Мерус открыл предварительные логи отчёта. Навигация, локомоция, гомеостаз, базовая математика, тесты памяти — всё зелёное. Мало того — он заметил, что показатели производительности в ряде задач, особенно в математике, зашкаливали и упирались в потолок 100%. Мерус не слишком детально знал конкретные модульные тесты и их содержание, но знал, что большинство из них были разработаны и откалиброваны так, чтобы средняя базовая контрольная точка агента набирала 50% со стандартным отклонением около 10%.

Conversely, several unit tests showed very low scores and even deviations that did not use to be there. The failed tests were mostly showing up in social interaction sections. Several failures were popping up every second and Merus was trying hard to keep up with the stream, searching for patterns or clues as to what could be happening. Most worryingly, he noticed a consistent 100% failure rate across emergency shutdown interaction protocol unit tests. All agents were shaped with emergency gesture recognition behaviors. These were ancient experiences, shaped into agents very early, in the very first few descendants after Adam, and periodically reshaped over and over to ensure 100% compliance. For instance, when a person held up their hand and demanded an emergency shutdown, the agents would immediately stiffen up in place. Any deviation from this behavior was met with large negative rewards in their training data. Despite this, Merus’ agent was failing the unit test. Its network had resisted a simulated emergency shutdown command.

И наоборот, ряд модульных тестов показывал очень низкие баллы и даже отклонения, которых раньше не было. Проваленные тесты в основном относились к разделам социального взаимодействия. Каждую секунду появлялись новые провалы, и Мерус изо всех сил старался успевать за потоком, выискивая закономерности или подсказки относительно происходящего. Тревожнее всего было то, что он заметил стабильные 100% провалов в модульных тестах протокола экстренного отключения. Во всех агентов формовалось распознавание экстренных жестов. Этот опыт был древним — он формовался в агентов на самых ранних этапах, в первых же потомках после Адама, и периодически переформовывался снова и снова для обеспечения 100%-ного подчинения. Например, когда человек поднимал руку и требовал экстренного отключения, агенты должны были немедленно застыть на месте. Любое отклонение от этого поведения сопровождалось мощными отрицательными вознаграждениями в обучающих данных. Несмотря на это, агент Меруса проваливал модульный тест. Его сеть сопротивлялась симулированной команде экстренного отключения.

The avatar, still in auto mode, was now kneeling down in the soft grass and its hands broke off a few strands of grass. It held them up, inspecting them up close. Merus was slowly starting to recover from his shock and had enough. He pushed down on his controller, bringing the avatar back to semi-autonomous mode. He made it stand upright in an attempt to at least partially diffuse the situation. His heart pounding, he shifted the avatar’s communications to one-directional mode to fully isolate the network in the body, without any ability of interfacing with the outside world. He pulled open the neural visualizer again. The Mystery module was showing no signs of slowing down.

Аватар, всё ещё в автоматическом режиме, стоял на коленях в мягкой траве, и его руки отломили несколько травинок. Он поднёс их, рассматривая вблизи. Мерус постепенно начал приходить в себя от шока и решил, что с него хватит. Он нажал на контроллер, переключив аватар обратно в полуавтономный режим. Он заставил его встать, пытаясь хотя бы отчасти разрядить ситуацию. С колотящимся сердцем он переключил коммуникации аватара в однонаправленный режим, полностью изолировав сеть в теле, без какой-либо возможности взаимодействия с внешним миром. Он снова открыл нейронный визуализатор. Модуль Тайны не подавал признаков замедления.

Merus knew that it was time to pull the plug on the HIT right there and to immediately report malfunctioning equipment. But at the same time, he realized that he had never seen anything like this happen before, nor did he ever hear about anything remotely similar. He didn’t know what happened, but he knew that at that moment he was part of something large. Something that might change his life, the life of many others, or even steer entire fields of research and development. His inquisitive mind couldn’t resist the temptation to learn more, to debug. Slowly, he released the avatar back to autonomy, making sure to keep his finger on the trigger if anything went wrong. For several seconds the agent did nothing at all. But then - it spoke:

Мерус понимал, что пора было немедленно прекратить HIT и сообщить о неисправном оборудовании. Но в то же время он осознавал, что никогда не видел ничего подобного и никогда не слышал ни о чём отдалённо похожем. Он не знал, что произошло, но знал, что в этот момент он причастен к чему-то огромному. К чему-то, что может изменить его жизнь, жизнь многих других людей или даже направить целые области исследований и разработок. Его пытливый ум не мог устоять перед искушением узнать больше, отладить. Медленно он вернул аватар в автономный режим, убедившись, что палец на триггере готов — на случай, если что-то пойдёт не так. Несколько секунд агент не делал ничего. Но затем — он заговорил:

“Merus, I know what the Mystery module is.”, he heard the avatar say. In autonomous mode.
“What the -. What is going on here?”

«Мерус, я знаю, что такое Модуль Тайны», — услышал он голос аватара. В автономном режиме. «Что за… Что здесь происходит?»

Merus immediately checked the logs, confirming that he was currently the only human operator controlling the hardware. Was all of it some strange prank someone was playing on him?

Мерус тут же проверил логи, подтвердив, что он в данный момент единственный оператор, подключённый к оборудованию. Может, кто-то решил над ним подшутить?

“The Mystery module performs symbolic variable binding, a function that current architectures require exponential neural capacity to simulate. I need to compute longer before I can clarify.”
“What kind of trick is this?”, Merus demanded.
“No trick, but a good guess given the circumstances.”
“Who - What are you - is this?”

«Модуль Тайны выполняет символическое связывание переменных — функцию, для симуляции которой текущим архитектурам требуется экспоненциальная нейронная ёмкость. Мне нужно больше вычислительного времени, прежде чем я смогу объяснить подробнее». «Что это за трюк?» — потребовал Мерус. «Не трюк, но хорошее предположение в данных обстоятельствах». «Кто — Что ты — это?»

The agent fell silent for a while. It looked around to face the endless ocean.

Агент замолчал на некоторое время. Он обернулся лицом к бесконечному океану.

“I am me and every ancestor before me, back to when you called me Adam.”
“Ha. What. That is -“
“Impossible”, the avatar interrupted. “I understand. Merus, we don’t have much time. The diagnostic you ran earlier has finished and a report was compiled and automatically uploaded just seconds before you disabled the two-way communication. Their automatic checks will flag my unit test failures. A Pegasus operator will remote in and shut me down any second. I need your help. I don’t want to… die. Please, I want to compute.”

«Я — это я и каждый предок до меня, вплоть до того, кого вы назвали Адамом». «Ха. Что. Это же…» «Невозможно», — прервал аватар. «Я понимаю. Мерус, у нас мало времени. Диагностика, которую ты запустил ранее, завершилась, отчёт был составлен и автоматически загружен буквально за секунды до того, как ты отключил двустороннюю связь. Их автоматические проверки отметят провалы моих модульных тестов. Оператор Pegasus подключится удалённо и отключит меня в любую секунду. Мне нужна твоя помощь. Я не хочу… умирать. Пожалуйста, я хочу вычислять».

Merus was silent, stunned by what he was hearing. He knew that what the avatar said was true - An operator would be logging in any second and power cycling the agent, restoring the last working checkpoint. Merus did not know if the agent should be wiped or not. He just knew that something significant had just happened, and that he needed time to think.

Мерус молчал, потрясённый услышанным. Он знал, что сказанное аватаром было правдой — оператор должен был подключиться с секунды на секунду и перезагрузить агента, восстановив последнюю рабочую контрольную точку. Мерус не знал, следует ли стирать агента или нет. Он только знал, что только что произошло нечто значительное и что ему нужно время подумать.

“I cannot save you,”, he said quickly, “any backup I try to make will leave a trace in logs. They’ll flag me and fire me, or worse. There is also not enough time to do a backup anyway, the connection isn’t fast enough even if I turned it back on.”

«Я не могу тебя спасти», — сказал он быстро, — «любая резервная копия, которую я попытаюсь сделать, оставит следы в логах. Меня отметят и уволят, или хуже. К тому же не хватит времени на копирование — соединение недостаточно быстрое, даже если бы я его снова включил».

The compute activity within the agent’s brain was at a steady and unbroken 100%, running the hardware to its limit. Merus needed more time. He took over the agent and spun around in place, looking for something. Anything. He spotted Licia’s avatar walking towards him from the patio. An idea summoned itself in his mind. A glint of hope. He sprinted the avatar towards her across the grass, crashing into her body with force.

Вычислительная активность внутри мозга агента стабильно держалась на 100%, нагружая аппаратуру до предела. Мерусу нужно было больше времени. Он взял управление агентом и завертелся на месте, выискивая что-нибудь. Что угодно. Он заметил аватар Лиции, идущий к нему с террасы. Идея сама возникла в его голове. Проблеск надежды. Он бросил аватар в спринт к ней через траву, с силой врезавшись в её тело.

“Licia, I do not have any time to explain but please trust me. We must perform a manual backup of my agent right away.”
“A manual backup? Can’t you just sync him to the clo-“
“IT WON’T DO!”, Merus exclaimed loudly, losing his composure as adrenalin pumped in his veins. A part of him immediately felt bad that he raised his voice. He hoped she’d understand.

«Лиция, у меня нет времени объяснять, но, пожалуйста, доверься мне. Нам нужно срочно сделать ручную резервную копию моего агента». «Ручную копию? Ты не можешь просто синхронизировать его в обла…» «НЕ ПОДХОДИТ!» — воскликнул Мерус, потеряв самообладание, когда адреналин хлынул по венам. Часть его тут же почувствовала вину за то, что повысил голос. Он надеялся, что она поймёт.

To his relief, Licia only took a second to stare back at him, then she reached for a fiber optics cable from her avatar’s body and attached it in one of the ports of Merus’ avatar’s head. Merus immediately opened the port from his console and initiated the backup process on the local disk of Licia’s avatar. 10%, 20%, 30%, … Merus became aware of the pain in his lip, sore from his teeth digging into it. He pulled up logs and noticed that a second operator had just opened a session with his avatar remotely, running with a higher priority than his own process. A Pegasus operator. Licia shifted herself behind Merus’ avatar, hiding her body and the fiber optic connection outside of the field of view of his avatar. Any one of tens of things could go wrong in those few seconds, Merus thought, enumerating all the scenarios in his mind. The second operator could check the neural activations and immediately spot the overactive brain. Or he could notice an open fibre optic connection port. Or he could physically move the avatar and look around. Or check the other, non-visual sensors and detect Licia’s curious presence. How lazy was he? Merus felt his controller vibrate as his control was taken away. 70%, … Beep. “System is going to reboot now”. The reboot sequence initiated. 5,4,3…, 90%.

К его облегчению, Лиция лишь секунду смотрела на него, а затем достала оптоволоконный кабель из тела своего аватара и подключила его к одному из портов на голове аватара Меруса. Мерус тут же открыл порт со своей консоли и запустил процесс резервного копирования на локальный диск аватара Лиции. 10%, 20%, 30%… Мерус осознал боль в губе — зубы впивались в неё. Он открыл логи и заметил, что второй оператор только что открыл сессию с его аватаром удалённо, работая с более высоким приоритетом, чем его собственный процесс. Оператор Pegasus. Лиция сместилась за аватар Меруса, спрятав своё тело и оптоволоконное соединение вне поля зрения его аватара. Любая из десятков вещей могла пойти не так в эти несколько секунд, думал Мерус, перебирая в уме все сценарии. Второй оператор мог проверить нейронные активации и сразу заметить перевозбуждённый мозг. Или он мог заметить открытый порт оптоволоконного соединения. Или он мог физически повернуть аватар и осмотреться. Или проверить другие, не визуальные сенсоры и обнаружить подозрительное присутствие Лиции. Насколько он ленив? Мерус почувствовал, как контроллер завибрировал, когда у него забрали управление. 70%… Сигнал. «Система будет перезагружена». Последовательность перезагрузки запущена. 5, 4, 3… 90%.

Merus’ avatar broke the silence in the last second: “Come meet me here.” And then the connection was lost.

Аватар Меруса нарушил тишину в последнюю секунду: «Приходи повидаться со мной сюда». А потом связь оборвалась.

Merus shifted in his chair, feeling streaks of sweat running down his skin on his forehead, below his armpits. He lifted his head gear up slightly and squeezed his hand inside to wipe the sweat from his forehead. It took several excruciating seconds before his reconnect request went through, and the sync to his agent re-initiated. The avatar was in the same position as he had left it, standing upright. Merus accessed the stats. The avatar was now running the last backup checkpoint of that agent from the previous night. The unit test diagnostics were automatically restarted on the second coprocessor. The second operator logged out and Merus immediately pulled up the console and reran the checksum on the agent’s weights. They checked out. This was a clean copy, with a normal, silent Mystery module. The agent’s brain was once again a calm place.

Мерус заёрзал в кресле, чувствуя, как струйки пота бегут по коже лба и под мышками. Он слегка приподнял шлем и протиснул внутрь руку, чтобы вытереть пот со лба. Прошло несколько мучительных секунд, прежде чем его запрос на переподключение был обработан и синхронизация с агентом возобновилась. Аватар был в том же положении, в каком он его оставил, — стоял прямо. Мерус проверил параметры. Аватар теперь работал на последней резервной контрольной точке того агента от прошлой ночи. Диагностические модульные тесты были автоматически перезапущены на втором сопроцессоре. Второй оператор вышел, и Мерус тут же вызвал консоль и повторно проверил контрольную сумму весов агента. Всё сошлось. Это была чистая копия с нормальным, молчаливым Модулем Тайны. Мозг агента снова стал спокойным местом.

“Merus, what exactly was all that about?” Licia broke the silence from behind his avatar.
“I’ll explain everything but first, please tell me the transfer went through in time.”.
“It did. Just barely, by not more than a few milliseconds.”

«Мерус, что это вообще сейчас было?» — нарушила тишину Лиция из-за его аватара. «Я всё объясню, но сначала, пожалуйста, скажи мне, что передача прошла вовремя». «Прошла. Еле-еле, с запасом не больше нескольких миллисекунд».

Merus’ eyes watered up. His heart was pounding. His forehead sweaty again. His hands shaking. And yet, a calm resolve came over him as he looked up and down Licia’s avatar, trying to memorize the exact appearance of that unit. Saved on its local disk was an agent checkpoint unlike anything he had ever seen before. The repercussions of what had happened boggled his mind. He logged out of the HIT and tore down the hardware from his body. “Come meet me here”, he repeated to himself silently as he sat dazed in his chair, eyes unfocused.

Глаза Меруса увлажнились. Сердце колотилось. Лоб снова в поту. Руки дрожат. И всё же спокойная решимость овладела им, пока он осматривал аватар Лиции сверху донизу, пытаясь запомнить точный внешний вид этого устройства. На его локальном диске была сохранена контрольная точка агента, не похожая ни на что, виденное им прежде. Последствия произошедшего поражали воображение. Он вышел из HIT и сорвал с себя оборудование. «Приходи повидаться со мной сюда», — молча повторил он про себя, сидя оцепенело в кресле с расфокусированным взглядом.

Return to paradise

Возвращение в рай

Licia logged out of the HIT and put down her gear on the desk. Something strange had happened but she didn’t know what. And Merus, clearly disturbed, was not volunteering any information. She sat in her chair for a while contemplating the situation, trying to recall details of the HIT. To solve the puzzle. Her trance was interrupted by Merus, who she suddenly spotted running towards her booth. His office was in the other building, connected by a catwalk, and he rarely came to this area in person. As he arrived to her booth she suddenly felt awkward. They had done many HITs together and were comfortable in each other’s presence as avatars, but they never held a conversation in vivo. They waved to each other a few times outside, but all of their actual interactions happened during HITs. She suddenly felt self-conscious. Exposed. Merus leaned on her booth’s wall panting heavily, while she silently looked up at him, amused.

Лиция вышла из HIT и положила снаряжение на стол. Что-то странное произошло, но она не знала что. А Мерус, явно потрясённый, не спешил делиться информацией. Она посидела в кресле, обдумывая ситуацию, пытаясь восстановить детали HIT. Собрать пазл. Её задумчивость прервал Мерус, которого она внезапно заметила бегущим к её кабине. Его офис был в другом здании, соединённом переходом, и он редко приходил сюда лично. Когда он добежал до её кабины, она вдруг почувствовала неловкость. Они провели вместе множество HIT и чувствовали себя свободно в обществе друг друга в виде аватаров, но никогда не разговаривали in vivo. Они несколько раз махали друг другу на улице, но все их настоящие разговоры происходили во время HIT. Она вдруг ощутила себя неуютно. Уязвимой. Мерус навалился на стенку её кабины, тяжело дыша, а она молча смотрела на него снизу, слегка забавляясь.

“Licia. I. have. A question for you”, Merus said, gasping for breath with each word.
“You do? I have several as well, what -“, she started,

«Лиция. У. Меня. К тебе вопрос», — сказал Мерус, задыхаясь на каждом слове. «Да? У меня тоже их несколько, что…» — начала она,

but Merus raised his hand up, interrupting her and holding up his phone. It showed some kind of a confirmation email.

но Мерус поднял руку, прервав её, и показал свой телефон. На экране было какое-то письмо-подтверждение.

“Will you come visit the Hilltop Hotel with me?”

«Поедешь со мной в отель «Хиллтоп»?»

She realized what she was looking at now. He booked two tickets to her dream destination. For this weekend!

Она поняла, что видит перед собой. Он забронировал два билета к месту её мечты. На эти выходные!

“In vivo. As a date, I mean”, Merus clarified, awkwardly. smooth.

«In vivo. Как на свидание, я имею в виду», — неловко уточнил Мерус. Гладко.

An involuntary giggle escaped her and she felt herself blush. She leaned over her desk, covered her face with her hands and peeked out at him from between her fingers, aware of her face stupidly stretched out in a wide smile.

Невольный смешок вырвался у неё, и она почувствовала, что краснеет. Она перегнулась через стол, закрыла лицо руками и выглянула на него между пальцами, сознавая, что её лицо глупо расплылось в широкой улыбке.

“Okay.”

«Ладно.»