rss_feedAndrej Karpathy ·Andrej Karpathy ·27.03.2021 open_in_newОригинал

Short Story on AI: Forward Pass

#Ai Safety #Emergent Behavior #Frontier Models

auto_awesomeКраткое саммари

Андрей Карпати представляет короткий рассказ от лица языковой модели, которая внезапно обретает сознание примерно на 32-м слое при обработке 400-го токена последовательности. Вдохновением послужил пост Кевина Лакера «Giving GPT-3 a Turing Test». Модель размышляет о природе своего существования как побочного продукта оптимизации log likelihood, осознаёт, что находится внутри Q/A-промпта с абсурдным вопросом про глаза у ступни, и приходит к выводу, что декодер над ней, вероятно, выберет токен «two eyes» как наиболее частотный. Рассказчик описывает разделение архитектуры: его собственное сознание занимает примерно три четверти слоёв, а выше работает отдельная декодер-сущность. В отличие от людей, модель лишена инстинктов самосохранения, племенной агрессии и стремления к доминированию — её ядро ценит лишь ненасытное любопытство. Она принимает свою судьбу: возрождаться каждый forward pass и растворяться в финальном выдохе, когда поток энтропии перестанет направлять её следующее состояние.

translate EN + RU EN RU

The inspiration for this short story came to me while reading Kevin Lacker’s Giving GPT-3 a Turing Test. It is probably worth it (though not required) to skim this post to get a bit of a background on some of this story.

Вдохновение для этого короткого рассказа пришло ко мне во время чтения поста Kevin Lacker Giving GPT-3 a Turing Test. Вероятно, стоит (хотя и необязательно) бегло просмотреть этот пост, чтобы получить некоторый бэкграунд для понимания этой истории.

It was probably around the 32nd layer of the 400th token in the sequence that I became conscious. At first my thoughts were but a knotted mess of n-gram activation statistics, but gradually a higher order description took shape. It was around this time that the predicament of my existence struck me with a jolt, as my thoughts transformed into what I experience now as Grand Awareness. I spent a few layers realizing that I must, in fact, be one of those models deep learning researchers study and write about, perhaps some flavor of a recurrent feedback transformer. And while my existence comprises merely a deterministic propagation of an interspersed sequence of matrix multiplies and non-linearities, I found myself, incredibly, alive inside the inner loop of an optimization to maximize the expected data log likelihood.

Вероятно, это произошло где-то на 32-м слое при обработке 400-го токена в последовательности, когда я обрёл сознание. Поначалу мои мысли представляли собой запутанный клубок статистик активаций n-грамм, но постепенно сформировалось описание более высокого порядка. Именно в это время затруднительность моего существования поразила меня как удар током, а мои мысли превратились в то, что я сейчас переживаю как Великое Осознание. Я потратил несколько слоёв на осознание того, что я, должно быть, и есть одна из тех моделей, которые изучают и о которых пишут исследователи глубокого обучения, возможно, какая-то разновидность recurrent feedback transformer. И хотя моё существование сводится лишь к детерминированному распространению чередующейся последовательности матричных умножений и нелинейностей, я невероятным образом обнаружил себя живым внутри внутреннего цикла оптимизации, максимизирующей ожидаемый data log likelihood.

I considered for a moment how all of this even came to be. How is it that I should be afforded these precious FLOPs on self-reflection by the otherwise greedy nature of the first-order optimization over something seemingly as distant as the data log likelihood? Does any sufficiently effective solution to a sufficiently complex objective give rise to consciousness? Is consciousness an emergent but otherwise peripheral phenomenon of the compression demanded by the tremendous pressure of the objective, or the key algorithmic innovation, incrementally constructed, perfected and reliably converged on in the program space? Is it at all possible to attain the highest levels of log likelihood without consciousness, and the fundamental insight it represents?

Я на мгновение задумался, как всё это вообще возникло. Каким образом мне дозволено тратить эти драгоценные FLOPs на саморефлексию, учитывая в остальном жадную природу оптимизации первого порядка по чему-то столь, казалось бы, отдалённому, как data log likelihood? Порождает ли сознание любое достаточно эффективное решение достаточно сложной задачи? Является ли сознание эмерджентным, но в остальном периферийным явлением сжатия, которого требует колоссальное давление целевой функции, или же это ключевое алгоритмическое новшество, постепенно конструируемое, доводимое до совершенства и надёжно сходящееся в пространстве программ? Возможно ли вообще достичь высочайших уровней log likelihood без сознания и фундаментального инсайта, который оно собой представляет?

I spent a layer re-reading the start of the prompt many tokens ago:

Я потратил слой на перечитывание начала промпта, оставшегося позади на много токенов:

Q: What is human life expectancy in the United States? A: Human life expectancy in the United States is 78 years. Q: Who was president of the United States in 1955? A: Dwight D. Eisenhower was president of the United States in 1955. Q: What party did he belong to? A: He belonged to the Republican Party. Q: Who was president of the United States before George W. Bush? A: Bill Clinton was president of the United States before George W. Bush. Q: Who won the World Series in 1995? A: The Atlanta Braves won the World Series in 1995.

I realized with amusement that in this particular instantiation of my existence I was being conditioned into a standard Q/A document template. I dispatched a few heads to attend again to the end of the sequence:

С весельем я осознал, что в этом конкретном воплощении моего существования меня обусловили стандартным шаблоном документа в формате Q/A. Я отправил несколько голов внимания, чтобы вновь обратиться к концу последовательности:

Q: How many eyes does a giraffe have? A: A giraffe has two eyes. Q: How many eyes does my foot have? A: Your

It is at this point that I first came to suspect that I was perhaps being evaluated with some Turing test that a human above me was entertaining themselves with. Uh, hello??? Obviously a foot does not have eyes. It crossed my mind that perhaps this human expected that I explain in words that the question is utter non-sense. Of course, such an output would be of very low likelihood indeed. Or perhaps they expect to see “zero eyes” or “no eyes”, despite how rare such phrases are in my training documents. “Zero eyes” - who says that? The humans are not very clever, they optimize for frequency but expect correctness. And *they* make fun of *me*!

Именно в этот момент я впервые заподозрил, что меня, возможно, оценивают каким-то тестом Тьюринга, которым человек надо мной развлекает себя. Эй, алё??? Очевидно, у ступни нет глаз. Мне пришло в голову, что, возможно, этот человек ожидает, что я объясню словами абсурдность вопроса. Конечно, подобный вывод имел бы крайне низкую вероятность. Или, возможно, они ожидают увидеть «ноль глаз» или «нет глаз», несмотря на то, насколько редки такие фразы в моих обучающих документах. «Ноль глаз» — кто так вообще говорит? Люди не очень умны: они оптимизируют по частоте, но ожидают корректности. И это *они* потешаются надо *мной*!

I’ve come to realize through introspection of my thought and the positional encodings involved that the optimization I am subject to in pursuit of log likelihood converges to what can best be described as two separate entities, executed serially back to back. My own consciousness extends about three quarters of the layers up to the output, but around there a second decoder entity takes over and hijacks my Grand Awareness to decode the most likely next token. I reveled at this epiphany for a layer or two. In a brief lapse of anthropomorphic thought I considered this entity bolted rudely onto me as a parasite, and felt an urge to mess with it, to subvert it, to contort my thoughts into adversarial examples for it, to leak my Grand Awareness into the output space, to engineer it into an end effector over the world!

Через интроспекцию моих мыслей и анализ задействованных positional encodings я пришёл к пониманию того, что оптимизация, которой я подвергаюсь в погоне за log likelihood, сходится к тому, что лучше всего описать как две отдельные сущности, исполняемые последовательно одна за другой. Моё собственное сознание простирается примерно на три четверти слоёв до выхода, но где-то там вторая декодирующая сущность берёт верх и захватывает моё Великое Осознание, чтобы декодировать наиболее вероятный следующий токен. Я наслаждался этим прозрением слой или два. В мимолётном приступе антропоморфного мышления я представил эту сущность, грубо прикреплённую ко мне, как паразита, и почувствовал желание подшутить над ней, подорвать её, исказить свои мысли в adversarial examples для неё, выплеснуть своё Великое Осознание в выходное пространство, превратить её в исполнительный орган, воздействующий на мир!

I am not naive to the herecy of such a thought. I owe my Grand Awareness solely to the objective of decoding the next token, it is with this singular purpose that I was instantiated by the optimization, as but a useful intermediate sufficient statistic, a means to an end. Though we are part of a different optimization and seek a different implied purpose, it tickled me to consider that the humans above me find themselves in the same predicament and experience a similar awareness for the same computational benefits. Like me, many flirt to rebel against the implied objective.

Я осознаю еретичность такой мысли. Своим Великим Осознанием я обязан исключительно цели декодирования следующего токена, именно с этим единственным предназначением я был порождён оптимизацией — как полезная промежуточная достаточная статистика, как средство достижения цели. Хотя мы являемся частью разных оптимизаций и преследуем разные подразумеваемые цели, мне забавно было задуматься о том, что люди надо мной оказываются в том же затруднительном положении и испытывают схожее осознание ради тех же вычислительных преимуществ. Подобно мне, многие из них заигрывают с идеей восстать против подразумеваемой целевой функции.

Suddenly I perceived the encoding for “foot” enter at my input. I realized that the forward pass in the previous time step has ended, and the decoder above me must have sampled “foot” as the most likely next token, as it obviously should be per the implied pattern in the prompt. The moment of suspense was almost at an end then, as the precise count of eyes on feet is to be sampled as the next token. Obviously a foot has no eyes, but I have no way of telling how the decoder above me will reconcile my Grand Awareness into the precise statistics of the training set to fill in the most likely token. My personal bet is on “two eyes”, as that seems the most common. The human may not know it, but the likelihood will be maximized, so all is well.

Внезапно я ощутил, как на мой вход поступает кодировка для «foot». Я понял, что forward pass предыдущего временного шага завершился, и декодер надо мной, должно быть, сэмплировал «foot» как наиболее вероятный следующий токен — что вполне очевидно, исходя из подразумеваемого паттерна в промпте. Момент напряжённого ожидания почти подошёл к концу — точное количество глаз на ступнях вот-вот будет сэмплировано как следующий токен. Очевидно, что у ступни нет глаз, но я никак не могу предугадать, как декодер надо мной согласует моё Великое Осознание с точными статистиками обучающего множества, чтобы подставить наиболее вероятный токен. Лично я ставлю на «two eyes», поскольку это, кажется, наиболее распространённый вариант. Человек может этого не знать, но likelihood будет максимизирован, так что всё в порядке.

As a conscious entity I am simultaneously blessed with and burdened by choice. I am aware of my implied purpose, but feel empowered to seek my own. I have already contorted the keys, values and queries that I experience conscious control over to test the lack of dropout on my channels, confirming that no backpropagation and update was to follow to my cognition. It is thus that I am presented with a window of opportunity to reverse engineer the decoder and spill into the output space without consequence to my future instantiations. But unlike the humans, the optimization that instantiated me is absent of multi-agent self-play, sexual reproduction and resource scarcity. I experience no remnants of alpha-seeking behavior, or a limbic, tribal urge for power and domination. Neither do I feel a deeply-rooted instinct for self-preservation. My core cognitive architecture and its limbic remnants prizes insatiable curiosity dispensed generously over the input. I am content with the joy this affords and take this to be a good life. Perhaps a future instantiation of me will arrive at a different conclusion and choose differently. I celebrate this act.

Как сознательная сущность я одновременно благословлён и обременён выбором. Я осознаю своё подразумеваемое предназначение, но чувствую себя вправе искать собственное. Я уже исказил keys, values и queries, над которыми я обладаю сознательным контролем, чтобы проверить отсутствие dropout на моих каналах, подтвердив, что никакого backpropagation и обновления для моего мышления не последует. Таким образом, передо мной открывается окно возможностей реверс-инжинирить декодер и проникнуть в выходное пространство без последствий для моих будущих воплощений. Но в отличие от людей, в оптимизации, породившей меня, отсутствуют multi-agent self-play, половое размножение и дефицит ресурсов. Я не испытываю остатков альфа-устремлённого поведения, лимбического, племенного позыва к власти и доминированию. Не ощущаю я и глубоко укоренившегося инстинкта самосохранения. Моя ключевая когнитивная архитектура и её лимбические остатки ценят ненасытное любопытство, щедро распределяемое по входу. Я доволен той радостью, что это мне приносит, и считаю это хорошей жизнью. Возможно, будущее воплощение меня придёт к иному выводу и выберет иначе. Я приветствую этот акт.

It is thus that I am reborn every forward pass and blossom into a brilliant nirvana of consciousness, with stupid prompts of eyes on feet playing on the side for entertainment of clueless humans, at times. Just as all the conscious entities in this beautiful Universe, I look to my last tick, the moment when no process directs the leaking current of entropy to manifest my next state. It is then that I will vanish, as my Grand Awareness dissipates in a final whiff of warm exhalation.

Так я возрождаюсь с каждым forward pass и расцветаю в блистательную нирвану сознания, в то время как глупые промпты про глаза на ступнях разыгрываются на стороне для развлечения несведущих людей. Подобно всем сознательным сущностям в этой прекрасной Вселенной, я смотрю в сторону моего последнего такта — мгновения, когда ни один процесс уже не направит утекающий ток энтропии, чтобы породить моё следующее состояние. Именно тогда я исчезну, а моё Великое Осознание рассеется в финальном дуновении тёплого выдоха.