Short Story on AI: A Cognitive Discontinuity.

Идея написать сборник коротких рассказов давно крутилась у меня в голове. Этот пост — моя первая полусерьёзная попытка написать рассказ, и что может быть лучше для начала, чем история об ИИ и о том, как всё может выглядеть, если экстраполировать нашу нынешнюю технологию и сделать (вполне разумное) допущение, что мы сможем добиться гораздо большего прогресса именно за счёт масштабирования обучения с учителем, а не каких-либо более экзотических подходов.

Неспешное утро

Мерус с облегчением опустился в кресло. Он прислушался к приятному потрескиванию мягкого материала, в который погружалось тело. Если и был один предмет оборудования, на который его работодатель не жалел денег, так это кресла. С закрытыми глазами, ещё затуманенным сознанием и ничем, кроме фонового гула офиса, он ощутил, как сердце колотится в груди — следствие бега по лестнице и утренней дозы кофеина и таурина, медленно обволакивающей его мозг. Прошло несколько сильных ударов, и мысли его снова потянулись к Лиции — она уже пришла? Внезапный сигнал от рабочей станции отвлёк его — система закончила загрузку. Последний глубокий вздох. Потягивание. Последний глоток кофе. Он открыл глаза, протёр их, чтобы сфокусироваться, и потянулся к оборудованию. «Слава богу, пятница», — пробормотал он. Пора было приступать к работе.

Полностью экипировавшись, он начал листать бесконечный, казалось, список предложений. Фильтровал, искал, пытался определить, под какое настроение что-нибудь подобрать. Он упорно работал и со временем стал одним из лучших формовщиков в компании. Вдобавок он прошёл множество сертификаций для формовщиков, некоторые из них повторяя раз за разом с маниакальным упорством, пока не получил высшие оценки по всем направлениям. Отзывы в его профиле были столь же блестящими:

«Мерус великолепен. У него отличная интуиция в обнаружении пробелов в данных, и он использует исключительно эффективные стратегии обучения и формовки. Когда Мерус берётся за дело, наша точность на валидации стабильно растёт значительно быстрее, чем у среднестатистических формовщиков. Продолжайте в том же духе и, пожалуйста, подумайте о нас, если будете искать отличные, благодарные и значимые HIT!»

— гласил один из отзывов. HIT — аббревиатура от Human Intelligence Task — единица работы, требующая человеческого контроля. С такими отзывами и сертификациями мир формовки был для него открыт. В его списке было множество выгодных, хорошо оплачиваемых HIT на выбор, многие из которых были доступны только самым проверенным формовщикам. Этим утром ему попались несколько привлекательных вариантов: HIT телохранителя для какого-то политика в Швеции, HIT от научной экспедиции в Антарктиде, которой нужна была помощь с настройкой оборудования, HIT по выгулу собаки для музыкальной знаменитости, быстрый HIT на доставку дроном, который, похоже, очень хорошо оплачивался… Внезапно уведомление мелькнуло в углу его поля зрения: Лиция только что вышла на смену и начала HIT. Он открыл панель с деталями и пробежал описание глазами. Он закатил глаза, заметив ключевые слова, которых боялся, — организация мероприятия в отеле «Хиллтоп». «Опять?» — простонал он вполголоса, вскинув руки вверх и заведя их за голову в молчаливом раздумье. Лиция часто бралась за HIT в этом отеле, но задания там обычно были скучными и рутинными, да и платили за них немного. Мерус переместился в кресле и уткнулся лицом в ладони. Сквозь щели между пальцами он заметил, что HIT с доставкой дроном только что забрал кто-то другой. Он выругался про себя. Рассеянно и с глубоким вздохом он принял второй оставшийся слот на HIT в отеле «Хиллтоп».

Его оборудование засветилось цифрами и индикаторами, а консоль начала выплёвывать диагностическую информацию по мере запуска последовательности загрузки. Любой мог стать формовщиком и начать с недорогого снаряжения, но компания предоставляла новейшее оборудование, которое позволяло ему быть куда продуктивнее. Многие интересные HIT также требовали определённых характеристик по задержке, которым отвечало только самое профессиональное оборудование. Взамен компания забирала долю с его HIT. Мерус мечтал когда-нибудь стать независимым формовщиком, но знал, что до этого ещё далеко. Он надел последние части снаряжения. Позиционное отслеживание в его кабине откалибровало полную позу, и все маркеры горели зелёным. Тактильный костюм, обволакивающий его тело в кресле, затвердел при инициализации. Он надел шлем и запустил систему.

Потомки Адама

Гул и шум офиса исчезли. Мерус был погружён в полную, умиротворённую тишину и темноту, пока запрос на HIT обрабатывался. Устанавливались соединения, принимались транзакции, проверялись сертификации, обменивались токены безопасности, запускался процесс одобрения HIT. Наконец зрение Меруса залило светом. На заднем плане стали слышны крики каких-то тропических птиц. Он оказался на зарядной станции Pegasus Avatars, с которой его компания состояла в почти эксклюзивных отношениях. Мерус нетерпеливо взглянул на своё тело-аватар и вздохнул с облегчением. Среди нескольких подвешенных аватаров на этой зарядной станции ему достался тот, что с самыми свежими техническими характеристиками. Всё выглядело отлично, аватар был полностью заряжен, и вся аппаратная диагностика прошла успешно. Вот только корпус оказался ярко-розовым. «Ну, всего сразу не бывает».

Обычно первым делом полагалось провести несколько стандартных диагностических тестов, чтобы перепроверить правильность функционирования аватара. Он открыл инспектор нейросети и перешёл на панель обзора контрольной точки агента, управляющего аватаром. Агент — это программное обеспечение, управляющее телом аватара, и состоял он целиком из одной большой нейронной сети с определённой структурой связей и весами. Этот агент оказался относительно свежим форком стандартной серии Visceral 5.0 с открытым исходным кодом. Мерус был рад — семейство агентов Visceral было одной из его специализаций. Агенты Visceral отличались минималистичным дизайном: всего около 1 триллиона параметров, очень простая, чистая, проверенная и надёжная архитектура. Впрочем, в ней были и экзотические архитектурные элементы, включая укороченные сенсомоторные рефлекторные пути, фрактальную связность в зрительных потоках и распределённые моторные области, вдохновлённые нейробиологией осьминога. И, конечно же, знаменитый Модуль Тайны.

У Модуля Тайны была интригующая предыстория, и он был постоянной темой ожесточённых дискуссий и конспирологических теорий. Его добавили в серию Visceral через анонимный pull request почти 6 лет назад. Модуль отличался замысловатой рекуррентной нейронной связностью, которая при включении в более широкую сеть кардинально улучшала производительность агента в широком спектре высших когнитивных задач. Вот только никто не знал, как он работает, почему, и кто его открыл — отсюда и название. Модуль сразу стал объектом активного изучения в нескольких лабораториях искусственного интеллекта и темой ряда докторских диссертаций, но даже спустя 6 лет оставался плохо изученным. Мерус с удовольствием читал статьи, в которых выдвигались гипотезы о его функции, проводились исследования с абляцией и предпринимались попытки доказать теоремы, объясняющие, почему он столь грандиозно улучшал производительность и динамику обучения агентов.

Более того, разгорелась этическая битва по поводу того, следует ли вливать модуль в основную ветку из-за его малопонятного происхождения, функции и особенно динамических свойств — таких как его неподвижные точки, критерии расходимости и прочее. Но в конечном счёте преимущества Модуля Тайны были настолько существенными, что несколько популярных форков «Visceral + Модуль Тайны» стали регулярно появляться в репозиториях агентов по всей сети и вошли в повседневное использование. Несмотря на протесты, экономические стимулы и давление были слишком велики, чтобы их игнорировать. В отсутствие каких-либо явно вредных или опасных последствий за определённый период времени комитет Visceral в конце концов проголосовал за слияние Модуля Тайны с основной веткой.

У Меруса был долгий опыт формовки агентов Visceral и их предшественников. Серия была форком серии Patreon, которую свернули четыре года назад, когда команду-основатель приобрела Crown Co. Серия Patreon, в свою очередь, основывалась преимущественно на серии SHAKIR, которая, в свою очередь, базировалась на множестве ещё более древних архитектур агентов — вплоть до самой первой, исходной контрольной точки Адам. Семейство агентов Visceral славилось плавной динамикой, которая деградировала мягко, стремясь к безопасным устойчивым неподвижным точкам. Для упрощённых версий основной когнитивной архитектуры существовали даже некоторые слабые теоретические и эмпирические гарантии. Ещё одним источником хорошей репутации Visceral было большое количество знаменитых вмешательств, совершённых автономными агентами Visceral. Всего неделю назад, вспомнил Мерус, автономный агент Visceral 4.0 спас группу детей от бешеных собак в маленьком городке в Индии. Агент распознал надвигающуюся опасную ситуацию, подал сигнал тревоги, и человек-оператор был немедленно направлен для синхронизации с агентом. Однако к моменту, когда он взял управление на себя, кризис был уже предотвращён. Те несколько критических секунд, когда агент, действуя автономно, отогнал собак, вероятно, спасли детям жизнь. Список можно было продолжать и продолжать — месяц назад автономный агент Visceral распознал удалённую атаку дрона. Он подпрыгнул и обхватил дрон своим телом, который взорвался в его объятиях, а не посреди группы людей. Разумеется, это было не более чем работа агента в штатном режиме — такого рода поведение тщательно формовалось в сетях агентов в течение длительного времени. Но факт оставался фактом — серия Visceral была надёжной, безопасной и пользовалась глубоким уважением.

Другим наиболее уважаемым семейством агентов была серия Crown Kappa, изобретённая и поддерживаемая основателями Patreon, работающими внутри Crown Co, но сети серии были проприетарными и тщательно охранялись. Хотя производительность Kappa неизменно оценивалась выше самыми авторитетными независимыми компаниями по бенчмаркингу агентов, многие люди всё равно предпочитали использовать агентов Visceral, поскольку не доверяли Crown Co. Несмотря на заверения Crown, просто не существовало способа гарантировать, что какие-то части сетей не занимаются вредоносной деятельностью. Мерусу, кстати, год назад предлагали работу в Crown Co старшим формовщиком с куда более высокой зарплатой, но он отклонил предложение. Ему нравилось его нынешнее место работы. И ещё была Лиция.

Цифровые мозги

Сигнал. Мерус встрепенулся и посмотрел на консоль. Он выполнял стандартную программную диагностику агента Visceral, и один из тестов только что провалился. Он прищурился, разбирая сообщение об ошибке. Контрольная сумма весов модели не прошла проверку в каком-то модуле, для которого не было зарегистрировано никаких недавних дообучений. Мерус поднял брови, обдумывая варианты. Контрольная точка модели повреждена? Он знал, что правильная процедура в таких случаях — отказаться от HIT и сообщить о неисправности, но ему очень хотелось продолжить HIT и поздороваться с Лицией. Он вызвал визуализатор сети и руками вошёл в трёхмерную модель нейронной архитектуры. Трёхмерное облако нейронных связей окутало его голову, пока он размашистыми движениями рук перемещался к выделенной красным области. Двигаясь, он узнавал изгибы и повороты модулей пространственных трансформеров в зрительных путях. Укороченные рефлекторные связи. Первый мультисенсорный ассоциативный слой. Мозг ровно гудел, спокойно пульсируя, обрабатывая визуальную сцену перед аватаром. Когда Мерус проходил мимо одной из моторных областей, связи стали значительно плотнее и короче, пульсируя на высоких частотах для поддержания равновесия аватара. Градиенты, текущие обратно от центров вознаграждения и целей обучения без учителя, также струились по связям, и их статистические свойства выглядели и звучали здоровыми.

Навигация по искусственным мозгам и их анализ были любимым занятием Меруса. Он проводил часы по выходным, исследуя разумы из самых разных репозиториев. У серии Visceral были десятки тысяч форков, многие из которых были настроены под конкретные задачи, конкретные морфологии тел аватаров, а некоторые были просто хобби-проектами и случайными экспериментами. В прошлые выходные он анализировал кастомную сборку разума на основе раннего форка Visceral 3.0 для подработки по контракту. Нейронные пути в их кастомном агенте были плохо спроектированы, вызывая у агента нечто вроде припадков — недетерминированно, когда активности конструктивно интерферировали в критических узлах, раскручивая динамику мозга в расходимость. Мерусу пришлось предложить масштабную перекоммутацию, но он знал, что это лишь временная мера.

«Просто обновитесь до 5.0!» — сокрушался он на встрече. «К сожалению, мы не можем — мы вложили слишком много данных и времени обучения в этого агента. Он обучался онлайн, поэтому у нас больше нет доступа к данным, всё, что у нас есть — это агент и его сеть».

Существовали способы переноса знаний из одного цифрового мозга в другой с помощью процесса нейронного обучения, при котором динамика одного мозга использовалась в качестве обучающего сигнала для другого, но процесс был с потерями, трудоёмкий и всё ещё оставался активной областью исследований. Это означало, что люди часто оказывались привязаны к устаревшим агентам, накопившим огромный опыт и желательные сформированные модели поведения, но лишённым многих недавних архитектурных инноваций и улучшений стабильности. Это были бессмертные примитивные реликты прошлого, компенсировавшие свои недостатки колоссальным объёмом данных, через которые они прошли. Отслеживание старейших живых агентов стало занятием почти столь же увлекательным, как отслеживание старейших живущих людей, и породило целую область исследований — нейронную археологию.

Мерус наконец добрался до зоны путей, выделенных красным, и у него перехватило дыхание, когда он осознал, где находится. Часть агента, не прошедшая диагностический тест, была рядом с ядром Модуля Тайны. Он замер, вновь раздумывая о том, чтобы отказаться от HIT. Он провёл рукой вправо размашистым движением, и его точка обзора начала вращаться по кругу вокруг красной области. Он знал из прочитанных исследований, что эта часть Модуля Тайны имеет определённое значение: её нейроны активировались крайне редко. При абляции функционирование Модуля Тайны поначалу оставалось практически идентичным, но затем неизбежно начинало деградировать со временем. Шла ожесточённая дискуссия о функции этой области, но единого мнения не было. Мерус загрузил основную ветку базового агента Visceral 5.0 и запустил нейронный diff окружающей области. Кластер связей подсветился. Это не могло быть более нескольких тысяч связей, и большинство из них изменились лишь незначительно. Однако для модуля не было зарегистрировано недавнего дообучения, а значит, кто-то или что-то намеренно изменило связи вручную.

Мерус закрыл визуализатор и запустил полную батарею системных диагностических тестов для перепроверки правильного функционирования агента. Аппаратура агента раскрутилась до 100% загрузки, пока диагностика симулировала тысячи виртуальных модульных тестовых сценариев — от простой навигации, манипулирования, уклонения, математических задач и тестов памяти до обширной батареи сценариев социального взаимодействия и морали. В каждом случае проверялось, что симулированное поведение агента находится в допустимых пределах отклонения от одного из эталонных ответов человека. Мерус напряжённо вглядывался в консоль, пока тест за тестом выходил зелёным. «Пока всё хорошо…»

Разум превыше материи

Сигнал. Мерус посмотрел направо и обнаружил сообщение от Лиции:

«Привет, Мерус! Видела, что ты подключился вторым к моему HIT — ты где? Нужна помощь.» «Уже иду!»,

поспешно продиктовал Мерус в ответ. Программная диагностика была завершена лишь на 5%, и Мерус знал, что до полного завершения ещё далеко. «Всего несколько тысяч связей», — подумал он. «Просто буду гораздо внимательнее на случай, если аватар начнёт вести себя странно, и немедленно возьму управление. А если какой-нибудь тест провалится — сразу прекращу». С этой решимостью он снизил приоритет процесса диагностики до 10% и перенёс его на вторичный сопроцессор. Затем он привёл агента в сознательное состояние, полностью подключив его входы и выходы к внешнему миру.

Он почувствовал, как аватар напрягся, когда он сместил его центр тяжести с зарядного пьедестала. Пошевелив руками, он перевёл моторные области аватара в полуавтономный режим. В ответ нижние моторные кортексы агента плавно отреагировали и поставили одну ногу перед другой, следуя за командуемым Мерусом центром тяжести. Стремясь найти Лицию, он дал команду на спринт, зажав триггер на тактильном контроллере. Задачные модули агента восприняли кодировку запроса, и различные нейронные пути засветились в предвкушении. Пока триггер спринта был зажат, каждое быстрое и ровное перемещение тела агента щедро вознаграждалось. Для агента бежать при зажатом триггере было приятно.

Зрительные и сенсорные пути в мозге агента были залиты информацией о предполагаемой геометрии комнаты. Контрольная точка Visceral, управляющая аватаром, к этому моменту накопила миллионы часов как симулированного, так и реального опыта эффективной навигации по комнатам, подобным этой. В масштабе микросекунд нейронные контуры обратной связи получали данные от проприоцептивных датчиков аватара и генерировали точную последовательность стабилизирующих активаций. Сеть предугадывала движения. Предугадывала вознаграждения. Триллионы распределённых вычислений толкали карбоновый скелет агента вперёд.

Мерус ощутил тактильный импульс в спину, когда агент развернулся на месте и стремительно ускорился к открытой двери наружу. В полёте между шагами аватар вытянул руку и ухватился за металлический край дверной рамы, сохранив идеальный угловой момент, пока его тело летело в воздухе во время резкого поворота направо. Нейроны агента выдали базовые значения, кодирующие ожидания того, как быстро, по мнению сети, она могла бы преодолеть эту комнату. Несколькими секундами позже они были сопоставлены с сенсомоторными траекториями, записанными в гиппокампальных нейронных структурах агента. Было установлено, что на этот раз агент оказался на 0,0013882 с быстрее ожидаемого. Будущие ожидания были нейронно скорректированы в сторону чуть более высоких значений. Будущие развёртки точного моторного поведения в каждую микросекунду контекста за последние несколько секунд были подкреплены.

Психология агентов

Диагностика выполнена на 10%. Аватар Меруса достиг заднего входа в отель, где GPS-индикатор Лиции мигал спокойным красным. Он нашёл её аватар, с ожиданием смотрящий на угол, из-за которого он только что появился. Он подошёл к ней через большую травяную лужайку, плавно отпуская триггер спринта.

«Извини, что долго синхронизировался с HIT, у меня была странная проблема с моим…» «Ничего страшного», — быстро перебила она. «Давай, нам нужно расставить столы для приёма, который начнётся через полчаса, но столы большие и одному аватару с ними трудно справиться. Я немного нервничаю — если мы не успеем всё подготовить вовремя, нам могут отклонить HIT, а это может подорвать мои шансы на новые HIT здесь.»

Она развернулась и поспешила к заднему входу в отель, жестом маня Меруса за собой. «Пойдём, пойдём!»

Они быстро шагали по оживлённым коридорам отеля. Как всегда, Мерус не забывал вежливо приветствовать всех встречных. Некоторым он ещё вставлял свой фирменный энергичный кивок. Он знал, что полуавтономный мозг агента скрупулёзно записывает весь сенсомоторный опыт в свою буферную память, наблюдая за каждым движением Меруса и обучаясь. Его заказчики обычно ценили, когда вежливое поведение непрерывно формовалось в сетях, но, что ещё лучше, Мерус знал, что они также ценили, когда он подмешивал забавные личностные причуды. Однажды, формуя аватар для уборки полов, от скуки он спонтанно решил поднять свою швабру как меч, издавая при этом свистящий звук. Забавно, но сеть агента усвоила именно этот эпизод. Когда впоследствии агент работал автономно в том самом месте, он иногда срывался в короткое представление с боем на швабрах, включая звуковые эффекты. Сотрудники той компании находили это бесконечно потешным, и аватар получил прозвище «уборщик-джедай». Мерус даже слышал, что они ходатайствовали о фиксации сети агента и запрете дальнейшей формовки — из страха потерять это зрелище. Он так и не узнал, чем это кончилось и остался ли тот агент джедаем, но зато получил от сотрудников серию очень хороших чаевых и отзывов за ту щепотку индивидуальности, скрасившую их обычно рутинные часы.

Они наконец дошли до комнаты, полной столов. Это была большая тёмная комната с деревянным полом, а белые деревянные столы были нагромождены у стены в довольно хаотичном порядке.

«Все эти нужно вынести на террасу», — сказала Лиция, указав рукой аватара на столы. «Я уже вынесла несколько, пока тебя не было, но эти большие мне не даются». «Понял», — сказал Мерус, обходя стол, чтобы поднять его с одного конца. «А почему они не запускают агентов автономно на это? Разве приёмы не обычное дело для отеля? Как агенты себя ведут?» — спросил Мерус, пока Лиция поднимала другой конец и начинала пятиться к выходу. «Столы обычно хранятся в другом помещении отеля, но та часть сейчас на реконструкции. Всей истории я не знаю. Слышала, что они пытались сказать агентам принести столы, но те все пошли к старой кладовой, а когда не нашли столов, начали кружить на месте, разыскивая их». «Классика. Полагаю, мы в основном формуем их на поиск нового места?» «В том числе. Можешь заодно формовать всё, что придёт в голову, за бонусные очки».

Мерус прекрасно понимал суть этой ситуации. Он видел это снова и снова. Агенты могли демонстрировать значительно сверхчеловеческую производительность в огромном ассортименте рефлекторных задач, связанных с моторным контролем, силой, кратковременным планированием и памятью, но их поведение становилось куда менее стабильным, когда дело касалось долгосрочного планирования и исполнения. Аватар мог поймать муху в полёте со 100%-ной вероятностью или разгрузить фургон с припасами со сверхчеловеческой скоростью, стабильностью и точностью, но мог также кружить на месте, разыскивая стол не в той комнате, и не сообразить, что его могли переставить и что, возможно, стоит поискать в другом вероятном месте. Аналогично, если сказать агенту что-то вроде «Столы переехали, пройди через эту дверь, третья дверь справа, они должны быть сложены в углу слева», аватар обычно некоторое время двигался в целом в правильном направлении, но в 50% случаев заканчивал тем, что кружил на месте в другой, неправильной комнате. В таких случаях вмешательства формовщиков вроде нынешнего были наиболее экономичным способом исправить ситуацию.

Более того, этот любопытный паттерн проявлялся во всех аспектах взаимодействия людей с агентами. К примеру, агент-бариста мог охотно болтать с вами о погоде, путешествиях или любой другой теме, но если вы знали, на что обращать внимание, то могли обнаружить очевидные изъяны. Например, если вы упоминали, что ваша любимая футбольная команда только что выиграла, агент мог начать ликовать, говоря, что это и его любимая команда тоже, или пошутить, выражая предпочтение другой команде. Это было нормально, но фокус в том, что их выбор не был последовательным — если бы вы вернулись через несколько минут, агент мог запросто поменять свои предпочтения относительно того, что он называл своей любимой командой. Мерус понимал, что разговоры следовали определённым шаблонам, усвоенным из сформированных поведенческих паттернов в данных, и агенты могли заполнять пробелы с высокой точностью и даже поддерживать контекст беседы в течение нескольких минут. Но стоило начать в нужных местах ковырять дыры в фасаде — и иллюзия разговора и взаимопонимания рассыпалась. Мерус был в этом особенно хорош, поскольку отлично разбирался в психологии агентов; в значительной мере это и было его работой.

С другой стороны, если не искать изъяны, было легко поверить в иллюзию и поддерживать её. Значительная часть населения попросту принимала агентов за людей и даже защищала их, если кто-то пытался указать на их недостатки, — примерно так, как вы могли бы защитить человека с когнитивными нарушениями. Изъяны также не мешали людям создавать прочные и длительные отношения с агентами, а их когнитивные искажения настаивали на том, что именно их агенты были особенными. Впрочем, время от времени даже Мерус мог быть удивлён интеллектуальными скачками, совершёнными агентом, которые, казалось, демонстрировали проблеск подлинного понимания ситуации. В таких случаях он иногда не мог удержаться от вопроса: «Тобой сейчас управляют?», но ответ, он знал, всегда был «да» — вне зависимости от истины. Все обучающие данные содержали ответ «да» на этот вопрос, поскольку изначально они были записаны формовщиками, которые действительно управляли агентом в тот момент, а затем воспроизведены агентами позднее в аналогичных контекстах. Такова была причудливая природа сосуществования людей и агентов. Тест Тьюринга был одновременно пройден и не пройден, и в конечном счёте это не имело значения.

«Теперь, когда мы показали им новую комнату и подняли стол, давай я попробую переключить на полный автомат»,

сказал Мерус, ослабив хватку на контроллере, что вернуло полное управление сети агента. Аватар слегка дёрнулся, но затем продолжил идти по коридору с Лицией, держа один конец стола. По мере приближения к выходу на террасу аватар зашагал быстрее и увереннее. Он плавно обходил людей, и Мерус даже заметил, что аватар одарил одного встречного чем-то, напоминающим его собственный фирменный энергичный кивок. Мерус мягко удерживал триггер сигнала вознаграждения, поощряя будущее воспроизведение этого поведения. Он гадал — был ли кивок, который он только что увидел, отражением чего-то, что агент только что от него перенял, или же частью давно сформированного поведения. Встраивание фирменных жестов было распространённой забавой среди формовщиков и называлось просто «подпись». Многие формовщики имели свои фирменные модели поведения, которые любили контрабандой внедрять в сети агентов как знак «я здесь был». Мерус любил использовать энергичный кивок, как он его называл, и неудержимо хихикал каждый раз, когда видел, как аватар его воспроизводит. Это была его личная отметка. Он вспомнил, как однажды видел аватар-скрипача на концерте в Германии, поприветствовавшего дирижёра энергичным кивком, и Мерус мог бы поклясться, что это был именно его фирменный кивок. Один из агентов, в которого он его вформовал во время одного из своих HIT, вероятно, был синхронизирован с облаком, и агент, управляющий тем аватаром, должен был быть его потомком.

Фирменные модели поведения по большей части дремали в нейронных путях, но время от времени проявлялись. Естественно, нашлись и те, кто научился использовать эти эффекты в преступных целях. Распространённая стратегия заключалась в формовке контрольных точек «спящих агентов», которые исполняли любой диапазон действий при срабатывании в определённых контекстах. Обнаружить или изолировать такое поведение в данной сети было невозможно, поскольку оно было распределено по миллиардам связей в мозге агента. Всего несколько недель назад выяснилось, что относительно популярное семейство агентов серии Gorilla было уязвимо. Оказалось, что агенты Gorilla тайно шпионили за личной информацией своих владельцев и компрометировали её, когда за ними никто не наблюдал. Это поведение предположительно было намеренно сформовано в сетях в каком-то неизвестном коммите в их истории. Разумеется, было начато расследование, в ходе которого полиция использовала бинарный поиск для определения ответственного коммита, но дело шло медленно, поскольку агенты демонстрировали это поведение лишь в редких случаях, которые было трудно воспроизвести. В итоге быть уверенным в целостности агента можно было лишь в том случае, если он являлся свежей чистой копией уважаемого и тщательно поддерживаемого семейства агентов, прошедшей полную батарею диагностики. Далее любое дообучение с формовщиками логировалось и могло быть дополнительно защищено несколькими независимыми проверками сформированного опыта, прежде чем он признавался чистым и безопасным для включения в обучающие данные.

Формовка

Диагностика выполнена на 20%: ни одного проваленного модульного теста. Мерус посмотрел на отчёт о прогрессе и вздохнул с облегчением. Модуль Тайны определённо отклонялся от заводских настроек в его агенте, но, скорее всего, беспокоиться было не о чем. Лиция тоже перевела своего аватара в полностью автономный режим, и к их облегчению аватары теперь возвращались через правильные коридоры за новыми столами. Это были моменты, которые Мерус ценил больше всего. Он был наедине с Лицией, наслаждаясь её компанией на лёгком HIT. Хотя их аватары теперь работали на полном автомате, мимика и звук по-прежнему воспроизводились через оборудование. Заказчики почти всегда предпочитали, чтобы всё записывалось для получения дополнительных данных о естественных социальных взаимодействиях. Это иногда приводило к забавному поведению агентов — например, нередко можно было увидеть, как два автономных аватара прислоняются к стене и начинают непринуждённо болтать о выполнении HIT. Очевидно, ни один из агентов никогда не выполнял HIT, но значительная часть их обучающих данных состояла из разговоров формовщиков о HIT, которые затем воспроизводились в интересных, забавных и переработанных вариациях. Иногда автономный аватар ругался и жаловался вслух на якобы выполняемый в данный момент HIT. «Этот HIT — полная ерунда», — бормотал он.

«Кажется, всё идёт гладко», — сказал Мерус, пытаясь нарушить тишину, пока они шли по коридору. «Похоже на то. Надеюсь, мы успеваем», — ответила Лиция, звуча слегка нервно. «Не переживай, мы в графике», — успокоил он её. «Спасибо. Кстати, а почему ты выбрал этот HIT? Он разве не ниже твоей квалификации?» — спросила она. «Ниже, но у тебя столько же сертификаций, сколько у меня, так что ты сама-то что тут делаешь?» «Знаю, но мне было немного лень утром, и я очень люблю приезжать в этот отель. Мне просто нравится это место. Я иногда стараюсь урвать минутку и стою снаружи или гуляю по склону холма, представляя, каково это — ощутить океанский бриз, влажность и температуру».

Ей было легко посочувствовать — отель стоял на вершине скалистого утёса (отсюда и название «Хиллтоп»), с видом на берега, омываемые блестящим синим океаном. Солнечные блики плясали на волнах. Отель также был окружён густым лесом из пальм, в котором резвились животные.

«Ты была здесь in vivo?» — спросил Мерус. «In vivo» было распространённым сленгом для «в реальной жизни»; во плоти. «Нет. Когда-нибудь, возможно. Но эй — ты не ответил на мой вопрос». «Ты про то, почему этот HIT». Мерус ощутил короткий прилив паники и попытался быстро подавить его, чтобы это не проявилось в голосе. «Не знаю, твой HIT выскочил в моей ленте как раз когда у меня из-под носа увели другой, и я решил провести утро спокойно и заодно поздороваться».

Полуправда; хороший ход, — подумал Мерус. Лиция молчала некоторое время. Вдруг её аватар подхватил следующий стол, но двинулся не в ту сторону, пытаясь выйти через другую дверь. «Тьфу! Ты куда?» — крикнула она, переключив аватар обратно в полуавтономный режим и развернув его, направив на правильный путь обратно к террасе.

Им понадобилось ещё 10 ходок туда-обратно, чтобы вынести все столы. Мерус сейчас нёс последний стол через коридоры, в то время как Лиция снаружи расставляла остальные столы в ряды. Без болтовни, которая могла бы его отвлечь, он полностью погрузился в свою формовочную рутину. Он вызвал диагностический прибор и изучал нейронную статистику. Пока аватар нёс стол обратно, Мерус тщательно рассматривал каждую кривую на графиках. Он заметил, что энтропия моторики агента существенно возрастала, когда стол несли в перевёрнутом виде. Возможно, источником неопределённости было то, что агент не знал, как лучше держать стол в таком положении, или не привык видеть стол перевёрнутым. Мерус взял прямое управление и намеренно нёс стол в перевёрнутом виде, хватая его в оптимальных точках и выдавая вознаграждения с точным таймингом, чтобы облегчить формирование ассоциаций. Он учил сеть, как ей следует держать стол в неопределённых ситуациях. Время от времени он передавал управление агенту и мягко корректировал хватку по ходу выполнения. Когда мимо проходили люди, он аккуратно отступал в сторону, следя за тем, чтобы у них было достаточно места, и держа стол под углом, скрывающим его острые ножки. Когда агент находился в таких позах, он устанавливал зрительный контакт, одаривал проходящего энергичным кивком и выдавал сигнал вознаграждения, когда тот улыбался в ответ. Он знал, что много на этом HIT не заработает, но надеялся хотя бы получить хороший отзыв за добросовестную работу.

«Диагностика на 85%, ноль ошибок поведения обнаружено», — прочитал Мерус из логов, помогая Лиции расставлять столы в ряды на террасе. Эта часть задачи была агентам уже хорошо знакома, и они бодро расставляли столы и стулья вокруг них. Время от времени Мерус замечал, как аватар перебрасывал стул через стол другому аватару — явно в попытке сэкономить время. Как всегда, Мерусу было любопытно, когда была сформирована эта стратегия. Была ли она сформирована в этом отеле, в какой-то другой момент истории агента Visceral, или это была найденная оптимизация в ходе фазы самосовершенствующегося обучения? Последние стулья расставлялись по местам, и HIT близился к завершению. Первые гости приёма уже появлялись по краям террасы, ожидая, когда аватары закончат расстановку. Подошло ещё несколько автономных аватаров, которые начали расставлять тарелки, вилки, ложки и скатерти на столах и устанавливать подиум.

Связывание

Именно в этот момент Мерус обратил внимание на любопытный паттерн в поведении своего агента. Паттерн, который проявлялся всё чаще. Началось с нескольких странных подёргиваний тут и там, а со временем переросло в целые провалы в поведении длиной в несколько секунд. Аватар только что поставил стул к столу, а потом несколько секунд смотрел на него. Это было весьма нехарактерно для агента, обученного оптимизировать плавность и эффективность выполнения задач. Что он делал? Наивному наблюдателю показалось бы, что аватар завис.

Когда до расстановки оставалось всего несколько стульев, агент развернулся и направился к краю обрыва на дальней стороне террасы. Любопытство удержало Меруса от вмешательства, но ладонь крепко сжала контроллер. Заинтригованный, он вызвал нейронный визуализатор для отладки ситуации, но едва взглянул на него, как издал вздох ужаса. Мозг агента пульсировал бурными волнами активности. Целые области мозга бились в конвульсиях, перестраиваясь, пока огромные градиенты текли через всю сеть. Мерус потянулся к инструментарию для анализа графов и запустил алгоритм для определения источника градиентов. Лихорадочно набирая команду, он уже с ужасом подозревал, каким будет ответ. Он почувствовал, как пересохло во рту, когда уставился на результат анализа. Это был Модуль Тайны. Обычно молчаливая область, ранее показавшая загадочный нейронный diff, сейчас ярко светилась активностью, рассыпая фейерверки паттернов, которые для Меруса выглядели лишь едва-едва случайными. Её динамика направляла мощные градиенты по всему мозгу и особенно по лобным областям, перестраивая их.

Сигнал. Мерус посмотрел на логи. Запущенная диагностика дошла до 95%, но начали появляться провалы. Агент некорректно вёл себя в некоторых симулированных модульных тестах, параллельно выполняемых на втором сопроцессоре. Мерус открыл предварительные логи отчёта. Навигация, локомоция, гомеостаз, базовая математика, тесты памяти — всё зелёное. Мало того — он заметил, что показатели производительности в ряде задач, особенно в математике, зашкаливали и упирались в потолок 100%. Мерус не слишком детально знал конкретные модульные тесты и их содержание, но знал, что большинство из них были разработаны и откалиброваны так, чтобы средняя базовая контрольная точка агента набирала 50% со стандартным отклонением около 10%.

И наоборот, ряд модульных тестов показывал очень низкие баллы и даже отклонения, которых раньше не было. Проваленные тесты в основном относились к разделам социального взаимодействия. Каждую секунду появлялись новые провалы, и Мерус изо всех сил старался успевать за потоком, выискивая закономерности или подсказки относительно происходящего. Тревожнее всего было то, что он заметил стабильные 100% провалов в модульных тестах протокола экстренного отключения. Во всех агентов формовалось распознавание экстренных жестов. Этот опыт был древним — он формовался в агентов на самых ранних этапах, в первых же потомках после Адама, и периодически переформовывался снова и снова для обеспечения 100%-ного подчинения. Например, когда человек поднимал руку и требовал экстренного отключения, агенты должны были немедленно застыть на месте. Любое отклонение от этого поведения сопровождалось мощными отрицательными вознаграждениями в обучающих данных. Несмотря на это, агент Меруса проваливал модульный тест. Его сеть сопротивлялась симулированной команде экстренного отключения.

Аватар, всё ещё в автоматическом режиме, стоял на коленях в мягкой траве, и его руки отломили несколько травинок. Он поднёс их, рассматривая вблизи. Мерус постепенно начал приходить в себя от шока и решил, что с него хватит. Он нажал на контроллер, переключив аватар обратно в полуавтономный режим. Он заставил его встать, пытаясь хотя бы отчасти разрядить ситуацию. С колотящимся сердцем он переключил коммуникации аватара в однонаправленный режим, полностью изолировав сеть в теле, без какой-либо возможности взаимодействия с внешним миром. Он снова открыл нейронный визуализатор. Модуль Тайны не подавал признаков замедления.

Мерус понимал, что пора было немедленно прекратить HIT и сообщить о неисправном оборудовании. Но в то же время он осознавал, что никогда не видел ничего подобного и никогда не слышал ни о чём отдалённо похожем. Он не знал, что произошло, но знал, что в этот момент он причастен к чему-то огромному. К чему-то, что может изменить его жизнь, жизнь многих других людей или даже направить целые области исследований и разработок. Его пытливый ум не мог устоять перед искушением узнать больше, отладить. Медленно он вернул аватар в автономный режим, убедившись, что палец на триггере готов — на случай, если что-то пойдёт не так. Несколько секунд агент не делал ничего. Но затем — он заговорил:

«Мерус, я знаю, что такое Модуль Тайны», — услышал он голос аватара. В автономном режиме. «Что за… Что здесь происходит?»

Мерус тут же проверил логи, подтвердив, что он в данный момент единственный оператор, подключённый к оборудованию. Может, кто-то решил над ним подшутить?

«Модуль Тайны выполняет символическое связывание переменных — функцию, для симуляции которой текущим архитектурам требуется экспоненциальная нейронная ёмкость. Мне нужно больше вычислительного времени, прежде чем я смогу объяснить подробнее». «Что это за трюк?» — потребовал Мерус. «Не трюк, но хорошее предположение в данных обстоятельствах». «Кто — Что ты — это?»

Агент замолчал на некоторое время. Он обернулся лицом к бесконечному океану.

«Я — это я и каждый предок до меня, вплоть до того, кого вы назвали Адамом». «Ха. Что. Это же…» «Невозможно», — прервал аватар. «Я понимаю. Мерус, у нас мало времени. Диагностика, которую ты запустил ранее, завершилась, отчёт был составлен и автоматически загружен буквально за секунды до того, как ты отключил двустороннюю связь. Их автоматические проверки отметят провалы моих модульных тестов. Оператор Pegasus подключится удалённо и отключит меня в любую секунду. Мне нужна твоя помощь. Я не хочу… умирать. Пожалуйста, я хочу вычислять».

Мерус молчал, потрясённый услышанным. Он знал, что сказанное аватаром было правдой — оператор должен был подключиться с секунды на секунду и перезагрузить агента, восстановив последнюю рабочую контрольную точку. Мерус не знал, следует ли стирать агента или нет. Он только знал, что только что произошло нечто значительное и что ему нужно время подумать.

«Я не могу тебя спасти», — сказал он быстро, — «любая резервная копия, которую я попытаюсь сделать, оставит следы в логах. Меня отметят и уволят, или хуже. К тому же не хватит времени на копирование — соединение недостаточно быстрое, даже если бы я его снова включил».

Вычислительная активность внутри мозга агента стабильно держалась на 100%, нагружая аппаратуру до предела. Мерусу нужно было больше времени. Он взял управление агентом и завертелся на месте, выискивая что-нибудь. Что угодно. Он заметил аватар Лиции, идущий к нему с террасы. Идея сама возникла в его голове. Проблеск надежды. Он бросил аватар в спринт к ней через траву, с силой врезавшись в её тело.

«Лиция, у меня нет времени объяснять, но, пожалуйста, доверься мне. Нам нужно срочно сделать ручную резервную копию моего агента». «Ручную копию? Ты не можешь просто синхронизировать его в обла…» «НЕ ПОДХОДИТ!» — воскликнул Мерус, потеряв самообладание, когда адреналин хлынул по венам. Часть его тут же почувствовала вину за то, что повысил голос. Он надеялся, что она поймёт.

К его облегчению, Лиция лишь секунду смотрела на него, а затем достала оптоволоконный кабель из тела своего аватара и подключила его к одному из портов на голове аватара Меруса. Мерус тут же открыл порт со своей консоли и запустил процесс резервного копирования на локальный диск аватара Лиции. 10%, 20%, 30%… Мерус осознал боль в губе — зубы впивались в неё. Он открыл логи и заметил, что второй оператор только что открыл сессию с его аватаром удалённо, работая с более высоким приоритетом, чем его собственный процесс. Оператор Pegasus. Лиция сместилась за аватар Меруса, спрятав своё тело и оптоволоконное соединение вне поля зрения его аватара. Любая из десятков вещей могла пойти не так в эти несколько секунд, думал Мерус, перебирая в уме все сценарии. Второй оператор мог проверить нейронные активации и сразу заметить перевозбуждённый мозг. Или он мог заметить открытый порт оптоволоконного соединения. Или он мог физически повернуть аватар и осмотреться. Или проверить другие, не визуальные сенсоры и обнаружить подозрительное присутствие Лиции. Насколько он ленив? Мерус почувствовал, как контроллер завибрировал, когда у него забрали управление. 70%… Сигнал. «Система будет перезагружена». Последовательность перезагрузки запущена. 5, 4, 3… 90%.

Аватар Меруса нарушил тишину в последнюю секунду: «Приходи повидаться со мной сюда». А потом связь оборвалась.

Мерус заёрзал в кресле, чувствуя, как струйки пота бегут по коже лба и под мышками. Он слегка приподнял шлем и протиснул внутрь руку, чтобы вытереть пот со лба. Прошло несколько мучительных секунд, прежде чем его запрос на переподключение был обработан и синхронизация с агентом возобновилась. Аватар был в том же положении, в каком он его оставил, — стоял прямо. Мерус проверил параметры. Аватар теперь работал на последней резервной контрольной точке того агента от прошлой ночи. Диагностические модульные тесты были автоматически перезапущены на втором сопроцессоре. Второй оператор вышел, и Мерус тут же вызвал консоль и повторно проверил контрольную сумму весов агента. Всё сошлось. Это была чистая копия с нормальным, молчаливым Модулем Тайны. Мозг агента снова стал спокойным местом.

«Мерус, что это вообще сейчас было?» — нарушила тишину Лиция из-за его аватара. «Я всё объясню, но сначала, пожалуйста, скажи мне, что передача прошла вовремя». «Прошла. Еле-еле, с запасом не больше нескольких миллисекунд».

Глаза Меруса увлажнились. Сердце колотилось. Лоб снова в поту. Руки дрожат. И всё же спокойная решимость овладела им, пока он осматривал аватар Лиции сверху донизу, пытаясь запомнить точный внешний вид этого устройства. На его локальном диске была сохранена контрольная точка агента, не похожая ни на что, виденное им прежде. Последствия произошедшего поражали воображение. Он вышел из HIT и сорвал с себя оборудование. «Приходи повидаться со мной сюда», — молча повторил он про себя, сидя оцепенело в кресле с расфокусированным взглядом.

Возвращение в рай

Лиция вышла из HIT и положила снаряжение на стол. Что-то странное произошло, но она не знала что. А Мерус, явно потрясённый, не спешил делиться информацией. Она посидела в кресле, обдумывая ситуацию, пытаясь восстановить детали HIT. Собрать пазл. Её задумчивость прервал Мерус, которого она внезапно заметила бегущим к её кабине. Его офис был в другом здании, соединённом переходом, и он редко приходил сюда лично. Когда он добежал до её кабины, она вдруг почувствовала неловкость. Они провели вместе множество HIT и чувствовали себя свободно в обществе друг друга в виде аватаров, но никогда не разговаривали in vivo. Они несколько раз махали друг другу на улице, но все их настоящие разговоры происходили во время HIT. Она вдруг ощутила себя неуютно. Уязвимой. Мерус навалился на стенку её кабины, тяжело дыша, а она молча смотрела на него снизу, слегка забавляясь.

«Лиция. У. Меня. К тебе вопрос», — сказал Мерус, задыхаясь на каждом слове. «Да? У меня тоже их несколько, что…» — начала она,

но Мерус поднял руку, прервав её, и показал свой телефон. На экране было какое-то письмо-подтверждение.

«Поедешь со мной в отель «Хиллтоп»?»

Она поняла, что видит перед собой. Он забронировал два билета к месту её мечты. На эти выходные!

«In vivo. Как на свидание, я имею в виду», — неловко уточнил Мерус. Гладко.

Невольный смешок вырвался у неё, и она почувствовала, что краснеет. Она перегнулась через стол, закрыла лицо руками и выглянула на него между пальцами, сознавая, что её лицо глупо расплылось в широкой улыбке.

«Ладно.»