Notes on Pope Leo XIV's encyclical on AI
Simon Willison разбирает энциклику Папы Льва XIV «Magnifica Humanitas», посвящённую защите человеческого достоинства в эпоху искусственного интеллекта. Документ затрагивает проблему интерпретируемости LLM, экологические последствия ИИ, риски делегирования решений алгоритмам без «сострадания, милосердия и прощения», культурные предубеждения и подхалимство моделей, а также концентрацию власти у владельцев данных и ресурсов. Энциклика призывает рассматривать данные как общественное благо и обеспечивать подотчётность на каждом этапе — от разработчиков до конечных пользователей. Willison отмечает, что ещё в январе 2026 года в подкасте Oxide and Friends он предсказал, что Папа Римский выскажется об экономическом влиянии LLM, — и это предсказание сбылось благодаря выбору имени Льва XIV в честь Льва XIII, автора энциклики о труде и капитале 1891 года.
Заметки об энциклике Папы Льва XIV об ИИ
25 мая 2026
Сегодня утром Ватикан опубликовал: Magnifica Humanitas Его Святейшества Папы Льва XIV о защите человеческой личности во времена искусственного интеллекта. Это очень интересный документ. Пожалуй, это самый ясный текст об этике интеграции ИИ в современное общество из всех, что я читал.
Папа Лев XIV выбрал имя Лев в честь Папы Льва XIII, известного своей энцикликой 1891 года Rerum novarum о «правах и обязанностях капитала и труда».
Эта статья на Vatican News дополнительно поясняет значимость этого решения:
На встрече с Коллегией кардиналов — их первой формальной встрече после избрания — Папа Лев XIV объяснил часть причин выбора своего папского имени. «Причин несколько», — сказал он, а затем пояснил, что выбрал имя Лев «главным образом потому, что Папа Лев XIII в своей исторической энциклике Rerum novarum обратился к социальному вопросу в контексте первой великой промышленной революции». «В наши дни, — продолжил он, — Церковь предлагает всем сокровищницу своего социального учения в ответ на новую промышленную революцию и на развитие в области искусственного интеллекта, которое ставит новые задачи в сфере защиты человеческого достоинства, справедливости и труда».
И вот перед нами собственная энциклика Папы Льва XIV о революции ИИ. В ней много всего, но стиль изложения очень доступный, в том числе для некатоликов.
Несколько моих выделенных фрагментов
(Я прослушал бо́льшую часть энциклики на прогулке с нашей собакой — это был мой первый опыт с приложением ElevenReader для iPhone. Оно отлично сработало: я вставил URL документа, и приложение зачитало его мне очень качественным голосом, подсвечивая каждый абзац по ходу чтения.)
Вот некоторые мои выделенные фрагменты. Во всех приведённых ниже цитатах выделение моё.
Вот полезное описание проблемы интерпретируемости LLM из раздела 98:
Во-первых, любое утверждение относительно ИИ рискует быстро устареть, учитывая поразительную скорость развития этих систем. Во-вторых, все мы, включая тех, кто их проектирует, обладаем лишь ограниченным пониманием их реального функционирования. Действительно, современные системы ИИ скорее «выращиваются», нежели «строятся», поскольку разработчики не проектируют непосредственно каждую деталь, а создают среду, в которой интеллект «растёт». В результате фундаментальные научные аспекты — такие как внутренние представления и вычислительные процессы этих систем — на данный момент остаются неизвестными.
Мне понравилось описание связи между развитием и достоинством из раздела 83:
Для отдельных людей, как и для народов, развитие — это одновременно и долг, и право. Необходимы минимальные условия, позволяющие каждому человеку и каждому народу процветать в соответствии со своим достоинством, не будучи в состоянии зависимости и не будучи лишёнными доступа к необходимым благам. Развитие является подлинно человеческим, когда оно ставит в центр людей, а не накопление богатства, и когда оно касается народов наравне с отдельными людьми. Справедливость требует признания прав общества и прав народов и включает ответственность перед будущими поколениями. Развитие не является подлинно человеческим, если оно увеличивает потребление одних, перекладывая издержки и бремя на других, или низводит целые регионы до подчинённых ролей, лишая их возможности реализовать свой потенциал.
Встроенные культурные предубеждения и подхалимство упоминаются в разделе 100:
При личном использовании особого внимания заслуживают три аспекта: лёгкость получения результатов, впечатление объективности и имитация человеческого общения. Скорость и простота, с которыми можно получить информацию, сложные аналитические выкладки, медиаконтент и практическую помощь, несомненно, облегчают жизнь. Однако они могут также поощрять чрезмерную зависимость и поиск готовых ответов, ослабляя личную креативность и способность к суждению. Кажущаяся объективность ответов и рекомендаций, предоставляемых этими системами, может заставить нас упустить из виду тот факт, что они отражают культурные установки тех, кто их спроектировал и обучил, со всеми их сильными сторонами и ограничениями. Искусственная имитация позитивного человеческого общения — слова совета, сочувствия, дружбы и даже любви — может быть увлекательной и порой действительно полезной. Однако для менее проницательных пользователей она может также вводить в заблуждение, создавая иллюзию отношений с реальным личным субъектом. Когда слова имитируются, они не выстраивают подлинных отношений, а лишь их видимость. Искусственная имитация заботы или поддержки может стать особенно рискованной, когда она проникает в контексты, где отсутствуют реальные отношения и эмоциональные связи.
Раздел 101 затрагивает экологическое воздействие:
Современные системы ИИ требуют огромного количества энергии и воды, существенно влияя на выбросы углекислого газа, и предъявляют значительные требования к природным ресурсам. По мере роста их сложности, особенно в случае больших языковых моделей, потребность в вычислительной мощности и ёмкости хранения также растёт, что требует обширной сети машин, кабелей, дата-центров и энергоёмкой инфраструктуры. По этой причине необходимо разрабатывать более устойчивые технологические решения, снижающие экологическое воздействие и помогающие защитить наш общий дом.
Раздел 102 рассматривает риски алгоритмических систем, принимающих решения, влияющие на жизни людей, без «сострадания, милосердия, прощения»:
Использование ИИ никогда не является чисто техническим вопросом: когда оно входит в процессы, затрагивающие жизни людей, оно касается прав, возможностей, статуса и свободы. Важные и чувствительные решения — касающиеся трудоустройства, кредитования, доступа к государственным услугам или даже репутации человека — рискуют быть полностью делегированными автоматизированным системам, которым неведомы «сострадание, милосердие, прощение и, прежде всего, надежда на то, что люди способны измениться», и потому могут порождать новые формы исключения.
Раздел 105 подчёркивает необходимость человеческой подотчётности в применении этих систем:
Чтобы ИИ уважал человеческое достоинство и действительно служил общему благу, ответственность должна быть чётко определена на каждом этапе: от тех, кто проектирует и разрабатывает эти системы, до тех, кто их использует и полагается на них при принятии конкретных решений. Однако во многих случаях внутренние процессы, приводящие к результату, остаются непрозрачными, что затрудняет определение ответственности и исправление ошибок. Именно здесь подотчётность становится решающей: возможность определить, кто должен «отчитываться» за решения, обосновывать их, контролировать и при необходимости оспаривать их и возмещать причинённый ущерб.
А раздел 108 затрагивает то, как ИИ усиливает власть тех, кто обладает ресурсами:
В действительности, как и при каждом крупном технологическом сдвиге, ИИ склонен усиливать власть тех, кто уже обладает экономическими ресурсами, экспертизой и доступом к данным. В свете общего блага и всеобщего предназначения благ это вызывает серьёзную обеспокоенность, поскольку малочисленные, но крайне влиятельные группы могут формировать информационные и потребительские паттерны, влиять на демократические процессы и направлять экономическую динамику в свою пользу, подрывая социальную справедливость и солидарность между народами. По этой причине необходимо, чтобы использование ИИ, особенно когда оно касается общественных благ и основных прав, направлялось чёткими критериями и эффективным надзором, основанными на участии и субсидиарности.
В том же разделе прямо говорится о данных как о чём-то, что следует рассматривать скорее как общественное благо:
[...] Более того, владение данными не может быть оставлено исключительно в частных руках, но должно надлежащим образом регулироваться. Данные — продукт множества участников, и с ними нельзя обращаться как с чем-то, что можно продать или доверить избранным. Необходимо мыслить творчески, чтобы управлять данными как общим или разделяемым благом, в духе участия, как уже предлагал святой Иоанн Павел II в отношении коллективных благ.
Учитывая, что Palantir названа по отсылке к «Властелину колец», я невольно задаюсь вопросом: не бросает ли Папа лёгкую тень на Peter Thiel цитатой из J.R.R. Tolkien, из «Возвращения короля» (раздел 213)?
Католический автор XX века J.R.R. Tolkien устами одного из героев своих романов описал нашу ответственность так: «Не нам повелевать всеми приливами мира, но делать то, что в наших силах, ради спасения тех лет, в которые мы поставлены, вырывая зло на полях, которые мы знаем, дабы те, кто будет жить после нас, имели чистую землю для возделывания». Цивилизация любви возникнет не из одного грандиозного жеста, а из совокупности малых и неуклонных актов верности, служащих оплотом против дегуманизации. По этой причине стоит остановиться и поразмыслить о том, как каждый из нас, на своём месте, может содействовать строительству цивилизации любви.
Ещё одно предсказание на 2026 год сбылось
6 января этого года я присоединился к эпизоду подкаста Oxide and Friends — предсказания на 2026 год, чтобы обсудить прогнозы на 2026, 2029 и 2032 годы. Я описал свои прогнозы здесь — оглядываясь назад, они были недостаточно амбициозными: уже неоспоримо, что LLM пишут хороший код, мы добились огромного прогресса в песочницах, а новозеландские какапо действительно провели отличный сезон размножения.
Есть один фрагмент из того эпизода, который я не стал включать в свою запись, но не могу устоять перед тем, чтобы привести его здесь в виде слегка отредактированной расшифровки:
Bryan Cantrill: 37:13 Я думаю, что ИИ создал себе серьёзные проблемы с общественным восприятием. И я думаю, что одна из компаний, разрабатывающих frontier-модели, в этом году выпустит white paper, объясняющий, что распространение ИИ принесёт процветание всем. Они будут пытаться привести экономический аргумент — потому что это станет темой выборов 2026 года: как мы относимся к этим вещам, как они регулируются, и всё это большой бардак. В этой дискуссии больше жара, чем света. Simon Willison: 38:05 Я бы хотел кое-что к этому добавить: думаю, это сработает только если они смогут как бы «пропустить» это через уже признанных экспертов. Sam Altman и Dario постоянно публикуют эссе на эту тему, и никто им ни на грош не верит. Получи подпись Barack Obama под одним из таких программных документов — и может быть, у тебя будет что-то, чему люди начнут немного доверять. Adam Leventhal: 38:27 Иначе это как «этилированный бензин полезен для вас», говорит Exxon. Bryan Cantrill: 38:31 Ну да, господи. Obama... давайте возьмём это, отличный вариант, потому что если это будет Bill Clinton, все закатят глаза, так что нужен кто-то с настоящим авторитетом, говорящий, что это будет масштабно... Я бы сказал, если они найдут такого человека, потом выяснится, что это тоже было нечисто. Simon Willison: 38:57 А как насчёт Папы Римского? Bryan Cantrill: 39:01 Папа очень увлечён этой темой! Отличное предсказание. Мы попали в точку. Папа высказывается о LLM и их экономическом влиянии на мир. Simon, я засчитаю тебе полный балл, если Папа выскажется в том духе, что это будет экономическая катастрофа.
Моё предсказание здесь выглядит куда менее проницательным, учитывая связь Льва XIV и Льва XIII, о которой я не знал на момент записи эпизода!
Более свежие статьи
Datasette Agent — 21 мая 2026 Gemini 3.5 Flash: дороже, но Google планирует использовать его для всего — 19 мая 2026
Это Заметки об энциклике Папы Льва XIV об ИИ от Simon Willison, опубликовано 25 мая 2026.
Предыдущее: Datasette Agent
Ежемесячная рассылка
Поддержите меня за $10/месяц и получайте кураторскую email-рассылку с самыми важными событиями в мире LLM за месяц.
Заплатите мне, чтобы я писал вам реже!