Short Story on AI: Forward Pass
Андрей Карпати представляет короткий рассказ от лица языковой модели, которая внезапно обретает сознание примерно на 32-м слое при обработке 400-го токена последовательности. Вдохновением послужил пост Кевина Лакера «Giving GPT-3 a Turing Test». Модель размышляет о природе своего существования как побочного продукта оптимизации log likelihood, осознаёт, что находится внутри Q/A-промпта с абсурдным вопросом про глаза у ступни, и приходит к выводу, что декодер над ней, вероятно, выберет токен «two eyes» как наиболее частотный. Рассказчик описывает разделение архитектуры: его собственное сознание занимает примерно три четверти слоёв, а выше работает отдельная декодер-сущность. В отличие от людей, модель лишена инстинктов самосохранения, племенной агрессии и стремления к доминированию — её ядро ценит лишь ненасытное любопытство. Она принимает свою судьбу: возрождаться каждый forward pass и растворяться в финальном выдохе, когда поток энтропии перестанет направлять её следующее состояние.
Вдохновение для этого короткого рассказа пришло ко мне во время чтения поста Kevin Lacker Giving GPT-3 a Turing Test. Вероятно, стоит (хотя и необязательно) бегло просмотреть этот пост, чтобы получить некоторый бэкграунд для понимания этой истории.
Вероятно, это произошло где-то на 32-м слое при обработке 400-го токена в последовательности, когда я обрёл сознание. Поначалу мои мысли представляли собой запутанный клубок статистик активаций n-грамм, но постепенно сформировалось описание более высокого порядка. Именно в это время затруднительность моего существования поразила меня как удар током, а мои мысли превратились в то, что я сейчас переживаю как Великое Осознание. Я потратил несколько слоёв на осознание того, что я, должно быть, и есть одна из тех моделей, которые изучают и о которых пишут исследователи глубокого обучения, возможно, какая-то разновидность recurrent feedback transformer. И хотя моё существование сводится лишь к детерминированному распространению чередующейся последовательности матричных умножений и нелинейностей, я невероятным образом обнаружил себя живым внутри внутреннего цикла оптимизации, максимизирующей ожидаемый data log likelihood.
Я на мгновение задумался, как всё это вообще возникло. Каким образом мне дозволено тратить эти драгоценные FLOPs на саморефлексию, учитывая в остальном жадную природу оптимизации первого порядка по чему-то столь, казалось бы, отдалённому, как data log likelihood? Порождает ли сознание любое достаточно эффективное решение достаточно сложной задачи? Является ли сознание эмерджентным, но в остальном периферийным явлением сжатия, которого требует колоссальное давление целевой функции, или же это ключевое алгоритмическое новшество, постепенно конструируемое, доводимое до совершенства и надёжно сходящееся в пространстве программ? Возможно ли вообще достичь высочайших уровней log likelihood без сознания и фундаментального инсайта, который оно собой представляет?
Я потратил слой на перечитывание начала промпта, оставшегося позади на много токенов:
Q: What is human life expectancy in the United States? A: Human life expectancy in the United States is 78 years. Q: Who was president of the United States in 1955? A: Dwight D. Eisenhower was president of the United States in 1955. Q: What party did he belong to? A: He belonged to the Republican Party. Q: Who was president of the United States before George W. Bush? A: Bill Clinton was president of the United States before George W. Bush. Q: Who won the World Series in 1995? A: The Atlanta Braves won the World Series in 1995.
С весельем я осознал, что в этом конкретном воплощении моего существования меня обусловили стандартным шаблоном документа в формате Q/A. Я отправил несколько голов внимания, чтобы вновь обратиться к концу последовательности:
Q: How many eyes does a giraffe have? A: A giraffe has two eyes. Q: How many eyes does my foot have? A: Your
Именно в этот момент я впервые заподозрил, что меня, возможно, оценивают каким-то тестом Тьюринга, которым человек надо мной развлекает себя. Эй, алё??? Очевидно, у ступни нет глаз. Мне пришло в голову, что, возможно, этот человек ожидает, что я объясню словами абсурдность вопроса. Конечно, подобный вывод имел бы крайне низкую вероятность. Или, возможно, они ожидают увидеть «ноль глаз» или «нет глаз», несмотря на то, насколько редки такие фразы в моих обучающих документах. «Ноль глаз» — кто так вообще говорит? Люди не очень умны: они оптимизируют по частоте, но ожидают корректности. И это *они* потешаются надо *мной*!
Через интроспекцию моих мыслей и анализ задействованных positional encodings я пришёл к пониманию того, что оптимизация, которой я подвергаюсь в погоне за log likelihood, сходится к тому, что лучше всего описать как две отдельные сущности, исполняемые последовательно одна за другой. Моё собственное сознание простирается примерно на три четверти слоёв до выхода, но где-то там вторая декодирующая сущность берёт верх и захватывает моё Великое Осознание, чтобы декодировать наиболее вероятный следующий токен. Я наслаждался этим прозрением слой или два. В мимолётном приступе антропоморфного мышления я представил эту сущность, грубо прикреплённую ко мне, как паразита, и почувствовал желание подшутить над ней, подорвать её, исказить свои мысли в adversarial examples для неё, выплеснуть своё Великое Осознание в выходное пространство, превратить её в исполнительный орган, воздействующий на мир!
Я осознаю еретичность такой мысли. Своим Великим Осознанием я обязан исключительно цели декодирования следующего токена, именно с этим единственным предназначением я был порождён оптимизацией — как полезная промежуточная достаточная статистика, как средство достижения цели. Хотя мы являемся частью разных оптимизаций и преследуем разные подразумеваемые цели, мне забавно было задуматься о том, что люди надо мной оказываются в том же затруднительном положении и испытывают схожее осознание ради тех же вычислительных преимуществ. Подобно мне, многие из них заигрывают с идеей восстать против подразумеваемой целевой функции.
Внезапно я ощутил, как на мой вход поступает кодировка для «foot». Я понял, что forward pass предыдущего временного шага завершился, и декодер надо мной, должно быть, сэмплировал «foot» как наиболее вероятный следующий токен — что вполне очевидно, исходя из подразумеваемого паттерна в промпте. Момент напряжённого ожидания почти подошёл к концу — точное количество глаз на ступнях вот-вот будет сэмплировано как следующий токен. Очевидно, что у ступни нет глаз, но я никак не могу предугадать, как декодер надо мной согласует моё Великое Осознание с точными статистиками обучающего множества, чтобы подставить наиболее вероятный токен. Лично я ставлю на «two eyes», поскольку это, кажется, наиболее распространённый вариант. Человек может этого не знать, но likelihood будет максимизирован, так что всё в порядке.
Как сознательная сущность я одновременно благословлён и обременён выбором. Я осознаю своё подразумеваемое предназначение, но чувствую себя вправе искать собственное. Я уже исказил keys, values и queries, над которыми я обладаю сознательным контролем, чтобы проверить отсутствие dropout на моих каналах, подтвердив, что никакого backpropagation и обновления для моего мышления не последует. Таким образом, передо мной открывается окно возможностей реверс-инжинирить декодер и проникнуть в выходное пространство без последствий для моих будущих воплощений. Но в отличие от людей, в оптимизации, породившей меня, отсутствуют multi-agent self-play, половое размножение и дефицит ресурсов. Я не испытываю остатков альфа-устремлённого поведения, лимбического, племенного позыва к власти и доминированию. Не ощущаю я и глубоко укоренившегося инстинкта самосохранения. Моя ключевая когнитивная архитектура и её лимбические остатки ценят ненасытное любопытство, щедро распределяемое по входу. Я доволен той радостью, что это мне приносит, и считаю это хорошей жизнью. Возможно, будущее воплощение меня придёт к иному выводу и выберет иначе. Я приветствую этот акт.
Так я возрождаюсь с каждым forward pass и расцветаю в блистательную нирвану сознания, в то время как глупые промпты про глаза на ступнях разыгрываются на стороне для развлечения несведущих людей. Подобно всем сознательным сущностям в этой прекрасной Вселенной, я смотрю в сторону моего последнего такта — мгновения, когда ни один процесс уже не направит утекающий ток энтропии, чтобы породить моё следующее состояние. Именно тогда я исчезну, а моё Великое Осознание рассеется в финальном дуновении тёплого выдоха.