rss_feedSimon Willison ·26.05.2026 open_in_newОригинал

Notes on Pope Leo XIV's encyclical on AI

#Ai Ethics #Ai Policy #Ai Safety

auto_awesomeКраткое саммари

Simon Willison разбирает энциклику Папы Льва XIV «Magnifica Humanitas», посвящённую защите человеческого достоинства в эпоху искусственного интеллекта. Документ затрагивает проблему интерпретируемости LLM, экологические последствия ИИ, риски делегирования решений алгоритмам без «сострадания, милосердия и прощения», культурные предубеждения и подхалимство моделей, а также концентрацию власти у владельцев данных и ресурсов. Энциклика призывает рассматривать данные как общественное благо и обеспечивать подотчётность на каждом этапе — от разработчиков до конечных пользователей. Willison отмечает, что ещё в январе 2026 года в подкасте Oxide and Friends он предсказал, что Папа Римский выскажется об экономическом влиянии LLM, — и это предсказание сбылось благодаря выбору имени Льва XIV в честь Льва XIII, автора энциклики о труде и капитале 1891 года.

translate EN + RU EN RU

Simon Willison’s Weblog

Блог Simon Willison

Notes on Pope Leo XIV’s encyclical on AI

Заметки об энциклике Папы Льва XIV об ИИ

25th May 2026

25 мая 2026

Dropped this morning by the Vatican: Magnifica Humanitas of His Holiness Pope Leo XIV on Safeguarding the Human Person in the Time of Artificial Intelligence. This is a very interesting document. It’s some of the clearest writing I’ve seen on the ethics of integrating AI into modern society.

Сегодня утром Ватикан опубликовал: Magnifica Humanitas Его Святейшества Папы Льва XIV о защите человеческой личности во времена искусственного интеллекта. Это очень интересный документ. Пожалуй, это самый ясный текст об этике интеграции ИИ в современное общество из всех, что я читал.

Pope Leo XIV chose the name Leo in honor of Pope Leo XIII, who is known for his 1891 Rerum novarum encyclical on “Rights and Duties of Capital and Labor”.

Папа Лев XIV выбрал имя Лев в честь Папы Льва XIII, известного своей энцикликой 1891 года Rerum novarum о «правах и обязанностях капитала и труда».

This story on Vatican News further clarifies the significance of that decision:

Эта статья на Vatican News дополнительно поясняет значимость этого решения:

Meeting with the College of Cardinals for their first formal encounter after his election, Pope Leo XIV explained part of the reason for the choice of his papal name. "There are different reasons for this," he said, before going on to explain that he chose the name Leo "mainly because Pope Leo XIII, in his historic encyclical Rerum novarum addressed the social question in the context of the first great industrial revolution."

“In our own day,” he continued, “the Church offers to everyone the treasury of her social teaching in response to another industrial revolution and to developments in the field of artificial intelligence that pose new challenges for the defence of human dignity, justice, and labour.”

На встрече с Коллегией кардиналов — их первой формальной встрече после избрания — Папа Лев XIV объяснил часть причин выбора своего папского имени. «Причин несколько», — сказал он, а затем пояснил, что выбрал имя Лев «главным образом потому, что Папа Лев XIII в своей исторической энциклике Rerum novarum обратился к социальному вопросу в контексте первой великой промышленной революции». «В наши дни, — продолжил он, — Церковь предлагает всем сокровищницу своего социального учения в ответ на новую промышленную революцию и на развитие в области искусственного интеллекта, которое ставит новые задачи в сфере защиты человеческого достоинства, справедливости и труда».

And now we get Pope Leo XIV’s own encyclical on the AI revolution. There’s a lot in here, but the writing style is very approachable, including to non-Catholics.

И вот перед нами собственная энциклика Папы Льва XIV о революции ИИ. В ней много всего, но стиль изложения очень доступный, в том числе для некатоликов.

A few of my highlights

Несколько моих выделенных фрагментов

(I listened to most of the encyclical on a walk with our dog, my first time trying the ElevenReader iPhone app. It worked very well: I pasted in a URL to the document and it read it to me in a very high quality voice, highlighting each paragraph as it went.)

(Я прослушал бо́льшую часть энциклики на прогулке с нашей собакой — это был мой первый опыт с приложением ElevenReader для iPhone. Оно отлично сработало: я вставил URL документа, и приложение зачитало его мне очень качественным голосом, подсвечивая каждый абзац по ходу чтения.)

Here are some of my highlights. In each case below emphasis is mine.

Вот некоторые мои выделенные фрагменты. Во всех приведённых ниже цитатах выделение моё.

Here’s a useful description of the interpretability problem for LLMs in section 98:

Вот полезное описание проблемы интерпретируемости LLM из раздела 98:

First, any statement regarding AI risks becoming quickly outdated, given the remarkable pace at which these systems are developing. Second, all of us, including those who design them, possess only a limited understanding of their actual functioning. Indeed, current AI systems are more “cultivated” than “built,” for developers do not directly design every detail, but instead create a framework within which the intelligence “grows.” As a result, fundamental scientific aspects — such as the internal representations and computational processes of these systems — remain, at present, unknown.

Во-первых, любое утверждение относительно ИИ рискует быстро устареть, учитывая поразительную скорость развития этих систем. Во-вторых, все мы, включая тех, кто их проектирует, обладаем лишь ограниченным пониманием их реального функционирования. Действительно, современные системы ИИ скорее «выращиваются», нежели «строятся», поскольку разработчики не проектируют непосредственно каждую деталь, а создают среду, в которой интеллект «растёт». В результате фундаментальные научные аспекты — такие как внутренние представления и вычислительные процессы этих систем — на данный момент остаются неизвестными.

I liked section 83’s description of the relationship between development and dignity:

Мне понравилось описание связи между развитием и достоинством из раздела 83:

For individuals as well as for nations, development is both a duty and a right. Minimum conditions are required for enabling every person and people to flourish in accord with their dignity, without being kept in a state of dependence or excluded from access to necessary goods. Development is truly human when it places people at the center instead of the accumulation of wealth, and when it concerns peoples as well as individuals. Justice demands the recognition of the rights of society and the rights of peoples, and includes a responsibility toward future generations. Development is not truly human if it increases consumption for some while shifting costs and burdens onto others, or relegates entire regions to subordinate roles, preventing them from realizing their full potential.

Для отдельных людей, как и для народов, развитие — это одновременно и долг, и право. Необходимы минимальные условия, позволяющие каждому человеку и каждому народу процветать в соответствии со своим достоинством, не будучи в состоянии зависимости и не будучи лишёнными доступа к необходимым благам. Развитие является подлинно человеческим, когда оно ставит в центр людей, а не накопление богатства, и когда оно касается народов наравне с отдельными людьми. Справедливость требует признания прав общества и прав народов и включает ответственность перед будущими поколениями. Развитие не является подлинно человеческим, если оно увеличивает потребление одних, перекладывая издержки и бремя на других, или низводит целые регионы до подчинённых ролей, лишая их возможности реализовать свой потенциал.

Baked in cultural biases and sycophancy get a mention in section 100:

Встроенные культурные предубеждения и подхалимство упоминаются в разделе 100:

In personal use, three aspects in particular deserve careful consideration: the ease with which results are obtained, the impression of objectivity and the simulation of human communication. The speed and simplicity with which information, complex analyses, media content and practical assistance can be accessed undoubtedly makes life easier. Yet they can also encourage excessive reliance and the search for ready-made answers, and weaken personal creativity and judgment. The apparent objectivity of the responses and suggestions these systems provide can lead us to overlook the fact that they reflect the cultural assumptions of those who designed and trained them, with all their strengths and limitations. The artificial imitation of positive human communication — words of advice, empathy, friendship and even love — can be engaging and at times genuinely helpful. However, for less discerning users, it can also be misleading, creating the illusion of a relationship with a real personal subject. When words are simulated, they do not build genuine relationships, but only their appearance. The artificial imitation of care or support can become particularly risky when it enters contexts where real relationships and emotional bonds are lacking.

При личном использовании особого внимания заслуживают три аспекта: лёгкость получения результатов, впечатление объективности и имитация человеческого общения. Скорость и простота, с которыми можно получить информацию, сложные аналитические выкладки, медиаконтент и практическую помощь, несомненно, облегчают жизнь. Однако они могут также поощрять чрезмерную зависимость и поиск готовых ответов, ослабляя личную креативность и способность к суждению. Кажущаяся объективность ответов и рекомендаций, предоставляемых этими системами, может заставить нас упустить из виду тот факт, что они отражают культурные установки тех, кто их спроектировал и обучил, со всеми их сильными сторонами и ограничениями. Искусственная имитация позитивного человеческого общения — слова совета, сочувствия, дружбы и даже любви — может быть увлекательной и порой действительно полезной. Однако для менее проницательных пользователей она может также вводить в заблуждение, создавая иллюзию отношений с реальным личным субъектом. Когда слова имитируются, они не выстраивают подлинных отношений, а лишь их видимость. Искусственная имитация заботы или поддержки может стать особенно рискованной, когда она проникает в контексты, где отсутствуют реальные отношения и эмоциональные связи.

101 touches on the environmental impact:

Раздел 101 затрагивает экологическое воздействие:

Current AI systems require enormous amounts of energy and water, significantly influencing carbon dioxide emissions, and place heavy demands on natural resources. As their complexity increases, especially in the case of large language models, the need for computing power and storage capacity grows too, which requires an extensive network of machines, cables, data centers and energy-intensive infrastructure. For this reason, it is essential to develop more sustainable technological solutions that reduce environmental impact and help protect our common home.

Современные системы ИИ требуют огромного количества энергии и воды, существенно влияя на выбросы углекислого газа, и предъявляют значительные требования к природным ресурсам. По мере роста их сложности, особенно в случае больших языковых моделей, потребность в вычислительной мощности и ёмкости хранения также растёт, что требует обширной сети машин, кабелей, дата-центров и энергоёмкой инфраструктуры. По этой причине необходимо разрабатывать более устойчивые технологические решения, снижающие экологическое воздействие и помогающие защитить наш общий дом.

102 covers the risks of algorithmic systems making decisions that impact people’s lives without “compassion, mercy, forgiveness”:

Раздел 102 рассматривает риски алгоритмических систем, принимающих решения, влияющие на жизни людей, без «сострадания, милосердия, прощения»:

The use of AI is never a purely technical matter: when it enters processes that affect people’s lives, it touches on rights, opportunities, status and freedom. Important and sensitive decisions — concerning employment, credit, access to public services or even a person’s reputation — risk being fully delegated to automated systems that do not know “compassion, mercy, forgiveness, and above all, the hope that people are able to change,” and can therefore give rise to new forms of exclusion.

Использование ИИ никогда не является чисто техническим вопросом: когда оно входит в процессы, затрагивающие жизни людей, оно касается прав, возможностей, статуса и свободы. Важные и чувствительные решения — касающиеся трудоустройства, кредитования, доступа к государственным услугам или даже репутации человека — рискуют быть полностью делегированными автоматизированным системам, которым неведомы «сострадание, милосердие, прощение и, прежде всего, надежда на то, что люди способны измениться», и потому могут порождать новые формы исключения.

105 emphasizes the need for human accountability in how these systems are applied:

Раздел 105 подчёркивает необходимость человеческой подотчётности в применении этих систем:

For AI to respect human dignity and truly serve the common good, responsibility must be clearly defined at every stage: from those who design and develop these systems to those who use them and rely on them for concrete decisions. In many cases, however, the internal processes leading to a result remain opaque, making it harder to assign responsibility and correct errors. This is where accountability becomes crucial: the possibility of identifying who must “account” for decisions, justify them, monitor them, and, when necessary, challenge them and remedy any harm caused.

Чтобы ИИ уважал человеческое достоинство и действительно служил общему благу, ответственность должна быть чётко определена на каждом этапе: от тех, кто проектирует и разрабатывает эти системы, до тех, кто их использует и полагается на них при принятии конкретных решений. Однако во многих случаях внутренние процессы, приводящие к результату, остаются непрозрачными, что затрудняет определение ответственности и исправление ошибок. Именно здесь подотчётность становится решающей: возможность определить, кто должен «отчитываться» за решения, обосновывать их, контролировать и при необходимости оспаривать их и возмещать причинённый ущерб.

And 108 touches on the way AI amplifies the power of those with resources:

А раздел 108 затрагивает то, как ИИ усиливает власть тех, кто обладает ресурсами:

In fact, as with every major technological shift, AI tends to amplify the power of those who already possess economic resources, expertise and access to data. In light of the common good and the universal destination of goods, this raises serious concerns, since small but highly influential groups can shape information and consumption patterns, influence democratic processes and steer economic dynamics to their own advantage, undermining social justice and solidarity among peoples. For this reason, it is essential that the use of AI, especially when it touches on public goods and fundamental rights, be guided by clear criteria and effective oversight, grounded in participation and subsidiarity.

В действительности, как и при каждом крупном технологическом сдвиге, ИИ склонен усиливать власть тех, кто уже обладает экономическими ресурсами, экспертизой и доступом к данным. В свете общего блага и всеобщего предназначения благ это вызывает серьёзную обеспокоенность, поскольку малочисленные, но крайне влиятельные группы могут формировать информационные и потребительские паттерны, влиять на демократические процессы и направлять экономическую динамику в свою пользу, подрывая социальную справедливость и солидарность между народами. По этой причине необходимо, чтобы использование ИИ, особенно когда оно касается общественных благ и основных прав, направлялось чёткими критериями и эффективным надзором, основанными на участии и субсидиарности.

That same section explicitly calls out data as something that should be thought of more as a public good:

В том же разделе прямо говорится о данных как о чём-то, что следует рассматривать скорее как общественное благо:

[...] Moreover, ownership of data cannot be left solely in private hands but must be appropriately regulated. Data is the product of many contributors and should not be treated as something to be sold off or entrusted to a select few. It is necessary to think creatively in order to manage data as a common or shared good, in a spirit of participation, as Saint John Paul II already suggested regarding collective goods.

[...] Более того, владение данными не может быть оставлено исключительно в частных руках, но должно надлежащим образом регулироваться. Данные — продукт множества участников, и с ними нельзя обращаться как с чем-то, что можно продать или доверить избранным. Необходимо мыслить творчески, чтобы управлять данными как общим или разделяемым благом, в духе участия, как уже предлагал святой Иоанн Павел II в отношении коллективных благ.

Given that Palantir is named after a Lord of the Rings reference, I can’t help but wonder if the J.R.R. Tolkien quote from The Return of the King (section 213) was the Pope throwing a little shade at Peter Thiel.

Учитывая, что Palantir названа по отсылке к «Властелину колец», я невольно задаюсь вопросом: не бросает ли Папа лёгкую тень на Peter Thiel цитатой из J.R.R. Tolkien, из «Возвращения короля» (раздел 213)?

The twentieth-century Catholic author J.R.R. Tolkien, in the words of a protagonist in one of his novels, described our responsibility in this way: “It is not our part to master all the tides of the world, but to do what is in us for the succour of those years wherein we are set, uprooting the evil in the fields that we know, so that those who live after may have clean earth to till.” The civilization of love will not arise from a single or spectacular gesture, but from the sum total of small and steadfast acts of fidelity that serve as a bulwark against dehumanization. For this reason, it is worthwhile pausing to reflect on some aspects of how we, each in our own way, can cooperate in building the civilization of love.

Католический автор XX века J.R.R. Tolkien устами одного из героев своих романов описал нашу ответственность так: «Не нам повелевать всеми приливами мира, но делать то, что в наших силах, ради спасения тех лет, в которые мы поставлены, вырывая зло на полях, которые мы знаем, дабы те, кто будет жить после нас, имели чистую землю для возделывания». Цивилизация любви возникнет не из одного грандиозного жеста, а из совокупности малых и неуклонных актов верности, служащих оплотом против дегуманизации. По этой причине стоит остановиться и поразмыслить о том, как каждый из нас, на своём месте, может содействовать строительству цивилизации любви.

Another 2026 prediction down

Ещё одно предсказание на 2026 год сбылось

On 6th January this year I joined the Oxide and Friends 2026 predictions podcast episode to talk about predictions for 2026, 2029 and 2032. I wrote mine up here, with hindsight they weren’t nearly ambitious enough—it’s already undeniable that LLMs write good code, we’ve made huge advances in sandboxing and New Zealand kākāpō have indeed had a truly excellent breeding season.

6 января этого года я присоединился к эпизоду подкаста Oxide and Friends — предсказания на 2026 год, чтобы обсудить прогнозы на 2026, 2029 и 2032 годы. Я описал свои прогнозы здесь — оглядываясь назад, они были недостаточно амбициозными: уже неоспоримо, что LLM пишут хороший код, мы добились огромного прогресса в песочницах, а новозеландские какапо действительно провели отличный сезон размножения.

There’s one segment from the episode that I didn’t bother to include in my write-up, but that I can’t resist providing as a lightly-edited transcript here:

Есть один фрагмент из того эпизода, который я не стал включать в свою запись, но не могу устоять перед тем, чтобы привести его здесь в виде слегка отредактированной расшифровки:

Bryan Cantrill: 37:13

I think that AI has created some real public perception problems for itself. And I think that you are gonna have one of the frontier model companies, this year, have a white paper explaining how the proliferation of AI will mean prosperity for everybody. They will be trying to make some economic argument—because this is gonna be a 2026 election issue, how we think of these things and how they are regulated and it’s a big mess. There’s more heat than light in this debate.

Simon Willison: 38:05

I’d like to tag something on to that one: I think that only works if they can sort of wash that through existing trusted experts. Sam Altman and Dario are constantly publishing essays about this stuff and nobody believes a word they say. Get Barack Obama’s signature on one of these position papers and maybe you’ve got something people might start to trust a little bit.

Adam Leventhal: 38:27

Otherwise, it’s just like “leaded gas is good for you”, says Exxon.

Bryan Cantrill: 38:31

I mean, yeah. God. Obama... let’s go with that, that’s a great one because if it’s like Bill Clinton everyone’s gonna kind of roll their eyes, so it’s gotta be someone who’s got real credibility saying that this is gonna be broad-based... I’d say if they get that person to do it, it’s gonna be revealed that that’s also a bit crooked.

Simon Willison: 38:57

How about the Pope?

Bryan Cantrill: 39:01

The Pope is very into this stuff! That’s a great prediction. We’ve hit pay dirt. The Pope weighing in on LLMs and their economic impact on the world.

Simon, I’m giving you full credit if the Pope weighs in believing that this is gonna be economic devastation.

Bryan Cantrill: 37:13 Я думаю, что ИИ создал себе серьёзные проблемы с общественным восприятием. И я думаю, что одна из компаний, разрабатывающих frontier-модели, в этом году выпустит white paper, объясняющий, что распространение ИИ принесёт процветание всем. Они будут пытаться привести экономический аргумент — потому что это станет темой выборов 2026 года: как мы относимся к этим вещам, как они регулируются, и всё это большой бардак. В этой дискуссии больше жара, чем света. Simon Willison: 38:05 Я бы хотел кое-что к этому добавить: думаю, это сработает только если они смогут как бы «пропустить» это через уже признанных экспертов. Sam Altman и Dario постоянно публикуют эссе на эту тему, и никто им ни на грош не верит. Получи подпись Barack Obama под одним из таких программных документов — и может быть, у тебя будет что-то, чему люди начнут немного доверять. Adam Leventhal: 38:27 Иначе это как «этилированный бензин полезен для вас», говорит Exxon. Bryan Cantrill: 38:31 Ну да, господи. Obama... давайте возьмём это, отличный вариант, потому что если это будет Bill Clinton, все закатят глаза, так что нужен кто-то с настоящим авторитетом, говорящий, что это будет масштабно... Я бы сказал, если они найдут такого человека, потом выяснится, что это тоже было нечисто. Simon Willison: 38:57 А как насчёт Папы Римского? Bryan Cantrill: 39:01 Папа очень увлечён этой темой! Отличное предсказание. Мы попали в точку. Папа высказывается о LLM и их экономическом влиянии на мир. Simon, я засчитаю тебе полный балл, если Папа выскажется в том духе, что это будет экономическая катастрофа.