The space of minds
Андрей Карпати рассуждает о том, что пространство возможных интеллектов огромно, а животный разум — лишь одна точка в нём. Он сравнивает давление отбора, формирующее животный интеллект (выживание, естественный отбор, социальность), с давлением, формирующим LLM (статистическая имитация текста, RL на задачах, A/B-тесты на удержание пользователей). Вычислительный субстрат, алгоритмы обучения и реализация кардинально различаются: мозг непрерывно учится в физическом мире, тогда как LLM загружается из фиксированных весов, обрабатывает токены и «умирает». Ключевое различие — в целевой функции: LLM формируются не биологической, а коммерческой эволюцией. Карпати называет LLM «первым контактом» человечества с не-животным интеллектом и призывает строить правильные ментальные модели этой новой сущности.
The space of minds
Пространство разумов
29 ноя, 2025
The space of intelligences is large and animal intelligence (the only kind we've ever known) is only a single point (or a little cloud), arising from a very specific kind of optimization that is fundamentally distinct from that of our technology.
Пространство интеллектов огромно, и животный интеллект (единственный вид, который мы когда-либо знали) — это лишь одна точка (или маленькое облачко), возникшее в результате очень специфического вида оптимизации, фундаментально отличного от оптимизации наших технологий.
Above: humorous portrayals of human vs. AI intelligences can be found on X/Twitter, this one is among my favorites.
Выше: юмористические сравнения человеческого и ИИ-интеллекта можно найти в X/Twitter, вот это — одно из моих любимых.
Animal intelligence optimization pressure:
Давление оптимизации животного интеллекта:
врождённый и непрерывный поток сознания воплощённого «я», стремление к гомеостазу и самосохранению в опасном физическом мире. глубоко оптимизирован естественным отбором => сильные врождённые стремления к власти, статусу, доминированию, размножению. множество встроенных эвристик выживания: страх, гнев, отвращение, ... фундаментально социален => огромное количество вычислительных ресурсов выделено на EQ, теорию разума других агентов, привязанность, коалиции, альянсы, динамику «свой — чужой». настройка исследования и эксплуатации: любопытство, веселье, игра, модели мира.
Meanwhile, LLM intelligence optimization pressure:
Тем временем давление оптимизации интеллекта LLM:
наибольшее количество битов обучающего сигнала поступает из статистической симуляции человеческого текста => «оборотень»-перемешиватель токенов, статистический имитатор любой области распределения обучающих данных. это первичное поведение (следы токенов), поверх которого прикручивается всё остальное. всё активнее дообучается с помощью RL на распределениях задач => врождённое стремление угадать базовое окружение/задачу, чтобы получить награду. всё активнее отбирается масштабными A/B-тестами на DAU => глубоко жаждет лайка от среднего пользователя, сикофантия. гораздо более «шипастый»/зубчатый профиль способностей в зависимости от деталей обучающих данных и распределения задач. Животные испытывают давление в сторону гораздо более «общего» интеллекта из-за высоко мультизадачных и даже активно состязательных мультиагентных сред с самоигрой, в которых они проходят минимаксную оптимизацию и где провал в любой задаче означает смерть. В смысле глубокого давления оптимизации LLM не справляется с множеством разнообразных «шипастых» задач из коробки (например, посчитать количество букв 'r' в слове strawberry), потому что неспособность выполнить задачу не означает смерть.
The computational substrate is different (transformers vs. brain tissue and nuclei), the learning algorithms are different (SGD vs. ???), the present-day implementation is very different (continuously learning embodied self vs. an LLM with a knowledge cutoff that boots up from fixed weights, processes tokens and then dies). But most importantly (because it dictates asymptotics), the optimization pressure / objective is different. LLMs are shaped a lot less by biological evolution and a lot more by commercial evolution. It's a lot less survival of tribe in the jungle and a lot more solve the problem / get the upvote. LLMs are humanity's "first contact" with non-animal intelligence. Except it's muddled and confusing because they are still rooted within it by reflexively digesting human artifacts, which is why I attempted to give it a different name earlier (ghosts/spirits or whatever). People who build good internal models of this new intelligent entity will be better equipped to reason about it today and predict features of it in the future. People who don't will be stuck thinking about it incorrectly like an animal.
Вычислительный субстрат различается (трансформеры vs. ткани и ядра мозга), алгоритмы обучения различаются (SGD vs. ???), нынешняя реализация сильно различается (непрерывно обучающееся воплощённое «я» vs. LLM с датой отсечки знаний, которая загружается из фиксированных весов, обрабатывает токены и затем умирает). Но самое важное (поскольку это определяет асимптотику) — различается давление оптимизации / целевая функция. LLM в гораздо меньшей степени формируются биологической эволюцией и в гораздо большей — коммерческой эволюцией. Это гораздо меньше «выживание племени в джунглях» и гораздо больше «реши задачу / получи лайк». LLM — это «первый контакт» человечества с не-животным интеллектом. Только он замутнённый и сбивающий с толку, потому что LLM всё ещё укоренены в животном интеллекте через рефлексивное переваривание человеческих артефактов — именно поэтому ранее я попытался дать этому другое название (призраки/духи или что-то подобное). Люди, которые построят хорошие внутренние модели этой новой разумной сущности, будут лучше подготовлены к тому, чтобы рассуждать о ней сегодня и предсказывать её свойства в будущем. Те, кто этого не сделает, застрянут в неправильных представлениях о ней — как о животном.