The space of minds
Андрей Карпати рассуждает о том, что пространство возможных интеллектов огромно, а животный разум — лишь одна точка в нём. Он сравнивает давление отбора, формирующее животный интеллект (выживание, естественный отбор, социальность), с давлением, формирующим LLM (статистическая имитация текста, RL на задачах, A/B-тесты на удержание пользователей). Вычислительный субстрат, алгоритмы обучения и реализация кардинально различаются: мозг непрерывно учится в физическом мире, тогда как LLM загружается из фиксированных весов, обрабатывает токены и «умирает». Ключевое различие — в целевой функции: LLM формируются не биологической, а коммерческой эволюцией. Карпати называет LLM «первым контактом» человечества с не-животным интеллектом и призывает строить правильные ментальные модели этой новой сущности.
Пространство разумов
29 ноя, 2025
Пространство интеллектов огромно, и животный интеллект (единственный вид, который мы когда-либо знали) — это лишь одна точка (или маленькое облачко), возникшее в результате очень специфического вида оптимизации, фундаментально отличного от оптимизации наших технологий.
Выше: юмористические сравнения человеческого и ИИ-интеллекта можно найти в X/Twitter, вот это — одно из моих любимых.
Давление оптимизации животного интеллекта:
врождённый и непрерывный поток сознания воплощённого «я», стремление к гомеостазу и самосохранению в опасном физическом мире. глубоко оптимизирован естественным отбором => сильные врождённые стремления к власти, статусу, доминированию, размножению. множество встроенных эвристик выживания: страх, гнев, отвращение, ... фундаментально социален => огромное количество вычислительных ресурсов выделено на EQ, теорию разума других агентов, привязанность, коалиции, альянсы, динамику «свой — чужой». настройка исследования и эксплуатации: любопытство, веселье, игра, модели мира.
Тем временем давление оптимизации интеллекта LLM:
наибольшее количество битов обучающего сигнала поступает из статистической симуляции человеческого текста => «оборотень»-перемешиватель токенов, статистический имитатор любой области распределения обучающих данных. это первичное поведение (следы токенов), поверх которого прикручивается всё остальное. всё активнее дообучается с помощью RL на распределениях задач => врождённое стремление угадать базовое окружение/задачу, чтобы получить награду. всё активнее отбирается масштабными A/B-тестами на DAU => глубоко жаждет лайка от среднего пользователя, сикофантия. гораздо более «шипастый»/зубчатый профиль способностей в зависимости от деталей обучающих данных и распределения задач. Животные испытывают давление в сторону гораздо более «общего» интеллекта из-за высоко мультизадачных и даже активно состязательных мультиагентных сред с самоигрой, в которых они проходят минимаксную оптимизацию и где провал в любой задаче означает смерть. В смысле глубокого давления оптимизации LLM не справляется с множеством разнообразных «шипастых» задач из коробки (например, посчитать количество букв 'r' в слове strawberry), потому что неспособность выполнить задачу не означает смерть.
Вычислительный субстрат различается (трансформеры vs. ткани и ядра мозга), алгоритмы обучения различаются (SGD vs. ???), нынешняя реализация сильно различается (непрерывно обучающееся воплощённое «я» vs. LLM с датой отсечки знаний, которая загружается из фиксированных весов, обрабатывает токены и затем умирает). Но самое важное (поскольку это определяет асимптотику) — различается давление оптимизации / целевая функция. LLM в гораздо меньшей степени формируются биологической эволюцией и в гораздо большей — коммерческой эволюцией. Это гораздо меньше «выживание племени в джунглях» и гораздо больше «реши задачу / получи лайк». LLM — это «первый контакт» человечества с не-животным интеллектом. Только он замутнённый и сбивающий с толку, потому что LLM всё ещё укоренены в животном интеллекте через рефлексивное переваривание человеческих артефактов — именно поэтому ранее я попытался дать этому другое название (призраки/духи или что-то подобное). Люди, которые построят хорошие внутренние модели этой новой разумной сущности, будут лучше подготовлены к тому, чтобы рассуждать о ней сегодня и предсказывать её свойства в будущем. Те, кто этого не сделает, застрянут в неправильных представлениях о ней — как о животном.