Preserving the Freedom to Learn in AI | Andreessen Horowitz

Preserving the Freedom to Learn in AI

Сохраняя свободу учиться в эпоху AI

In Brief

Кратко

Архитектура Web воплотила свободу учиться: люди должны иметь возможность учиться без цензуры и привратников. Если вы можете получить доступ к информации законно, вы можете её читать, анализировать и строить на её основе. AI грозит подорвать эту свободу: некоторые предложения пытаются огородить публичную информацию через контракты, технические барьеры или расширительные трактовки авторского права. Если такие подходы будут приняты, они ограничат законное обучение, поставят стартапы в невыгодное положение и усилят концентрацию AI-рынков. Развивать свободу учиться в эпоху AI — значит балансировать открытость для читателей с контролем для издателей, как это делал Web. Мы предлагаем трёхчастную рамку, чтобы перенести этот баланс доступа и контроля в эпоху AI: Эволюция рынков: позволять лицензирование и монетизацию там, где это создаёт ценность, не требуя разрешения для законного обучения. Добровольные технические стандарты: дать издателям масштабируемые, машиночитаемые способы выражать свои предпочтения относительно AI. Публичная политика: пять рекомендаций, которые подтверждают fair use, ограничивают возможность контрактов обходить копирайт, запрещают незаконный доступ и злоупотребление AI и способствуют доступу к данным в интересах общества.

The Web thrived because it found a simple equilibrium to balance openness and control: anyone could access information openly, while publishers had tools to control how they made their works available. Its architecture embraces people’s freedom to learn–the principle that people should have the liberty to inquire and experiment, without censorship or gatekeeping, and should have the access to knowledge and tools that makes that liberty real. In practice, it means that if information is lawfully accessible, people are free to read it, analyze it, and build on it. This foundation enabled the internet to generate immense economic and social value, distributing its benefits to creators, developers, and the public.

Web расцвёл, потому что нашёл простое равновесие между открытостью и контролем: любой мог открыто получить доступ к информации, а у издателей были инструменты, чтобы контролировать, как они делают свои работы доступными. Его архитектура воплощает свободу людей учиться — принцип, согласно которому люди должны иметь возможность исследовать и экспериментировать без цензуры и привратников и должны иметь доступ к знаниям и инструментам, делающим эту свободу реальной. На практике это означает, что если информация законно доступна, люди вольны её читать, анализировать и строить на её основе. Этот фундамент позволил интернету создать огромную экономическую и социальную ценность, распределяя её преимущества между создателями, разработчиками и обществом.

But today, this equilibrium is being threatened. Some stakeholders are questioning whether it can adequately balance the tensions of an AI-enabled world. As AI reshapes how people gather, engage with, and learn from information, some publishers are pursuing a new approach to online information, even when that information is publicly available. Some publishers are pursuing a new approach to online information, where huge swaths of the internet are off limits to learning, with information sitting behind paywalls or barred from access by provisions buried in terms of service or by court-ordered prohibitions. If these emerging approaches become the standards for AI data access, they would not only slow AI model development and limit how people use AI, they would redefine the freedom to learn itself—transforming it from an open public good into a fragmented privilege governed by private agreements and technical barriers, and bounded by contracts, code, and court orders.

Но сегодня это равновесие под угрозой. Часть участников сомневается, способно ли оно адекватно балансировать противоречия мира, в котором AI всё меняет. По мере того как AI преобразует способы, которыми люди собирают, осмысляют информацию и учатся на ней, некоторые издатели выбирают новый подход к онлайн-информации, даже если она публично доступна. Некоторые издатели идут по новому пути в отношении онлайн-информации, при котором огромные сегменты интернета становятся недоступны для обучения: информация уходит за платные стены, закрывается положениями, спрятанными в пользовательских соглашениях, или ограничивается судебными запретами. Если эти подходы станут стандартом для доступа к данным для AI, они не только замедлят разработку AI-моделей и ограничат способы использования AI людьми, но и переопределят саму свободу учиться — превратив её из открытого общественного блага в фрагментированную привилегию, регулируемую частными соглашениями и техническими барьерами, ограниченную контрактами, кодом и судебными приказами.

The costs of redefining the freedom to learn in an age of AI are tangible and significant. As has been well documented, severe limits on the freedom to analyze data would erect barriers to AI training. But they would also limit how people can use AI models to analyze and read works, such as by limiting a person’s ability to ask an AI model to summarize an article that they are legally permitted to access. Moreover, the costs will not be distributed equitably: because large, well-resourced companies will be better positioned to navigate complex access rules than startups and entrepreneurs, who we call Little Tech, these rules will disproportionately harm these new entrants. AI markets will become even more concentrated, and without real competitive threat from startups, consumers will see higher prices for less innovative products of lower quality.

Цена переопределения свободы учиться в эпоху AI ощутима и значительна. Как уже было хорошо задокументировано, жёсткие ограничения свободы анализировать данные возводят барьеры для обучения AI. Но они также ограничат, как люди смогут использовать AI-модели для анализа и чтения произведений — например, ограничат возможность попросить AI-модель резюмировать статью, к которой человек имеет законный доступ. При этом издержки распределятся неравномерно: крупные, хорошо обеспеченные компании смогут лучше ориентироваться в сложных правилах доступа, чем стартапы и предприниматели, которых мы называем Little Tech, и эти правила непропорционально ударят именно по новым игрокам. AI-рынки станут ещё более концентрированными, а без реальной конкурентной угрозы со стороны стартапов потребители получат более высокие цены за менее инновационные и менее качественные продукты.

The freedom to learn, like all freedoms, is not infinite. Developers using AI should not have the unlimited ability to access and use data, such as by circumventing paywalls to get to content. Copyright law should continue to protect rightsholders, while also leaving room for fair use. With policymakers and courts scrambling to establish rules to guide lawful AI data access, what principles should guide them?

Свобода учиться, как и любая свобода, не безгранична. Разработчики, использующие AI, не должны иметь неограниченных возможностей доступа и использования данных — например, обходить платные стены ради получения контента. Авторское право должно и далее защищать правообладателей, оставляя при этом место для fair use. Когда законодатели и суды лихорадочно вырабатывают правила законного доступа к данным для AI, какими принципами им стоит руководствоваться?

To carve out a path that balances open access and choice, policymakers, publishers, and developers should pursue a mix of tailored market, technical, and policy solutions.

Чтобы проложить путь, балансирующий открытый доступ и выбор, законодатели, издатели и разработчики должны сочетать точечные рыночные, технические и политические решения.

This post examines these issues in more detail:

В этой статье эти вопросы рассматриваются подробнее:

Во-первых, разбирается, как Web воплотил свободу учиться, расширяя возможности читателей и одновременно давая издателям выбор относительно того, какой информацией делиться. Во-вторых, рассматриваются текущие предложения по доступу к данным для AI, угрожающие этой свободе. В-третьих, описывается трёхчастный план адаптации парадигмы обучения и чтения, заложенной в Web, к технологиям AI: эволюция рынков, техническое сотрудничество и ориентиры публичной политики.

By adapting the Web’s core structures for an AI-empowered world, this three-part framework can affirm people’s freedom to learn, while offering protections to publishers against unlawful access or use of their works.

Адаптируя ключевые структуры Web к миру, наделённому AI, эта трёхчастная рамка может подтвердить право людей учиться, одновременно предоставив издателям защиту от незаконного доступа к их работам или их использования.

How the Web empowered readers and publishers

Как Web расширил возможности читателей и издателей

The Web’s success is rooted in its openness. The Web’s design allowed anyone to build a webpage, to create a browser to fetch a given URL, and to deliver information to a user. That’s because the Web is built on open standards. It’s those open standards that allowed a young Marc Andreessen to develop Mosaic and then Netscape, and allowed millions of subsequent entrepreneurs to build Web-based tools that transformed our lives.

Успех Web коренится в его открытости. Его устройство позволяло любому создать веб-страницу, написать браузер, чтобы получить определённый URL, и доставить информацию пользователю. Это потому, что Web построен на открытых стандартах. Именно открытые стандарты позволили молодому Marc Andreessen разработать Mosaic, а затем Netscape, и позволили миллионам последующих предпринимателей создать веб-инструменты, изменившие нашу жизнь.

This structure benefits consumers, publishers, and builders. Internet users enjoyed radically lower barriers to both publishing and accessing information. Publishers can decide whether and how to make their content accessible online, such as by deciding not to post certain content or by placing content behind a paywall. But once publishers decide to make information publicly available, website readers can choose how to consume the information that is lawfully available to them. They are free to read that information and learn from it, and they can use what they learn to create new content and new technology.

Такая структура выгодна потребителям, издателям и разработчикам. Пользователи интернета получили радикально более низкие барьеры и для публикации, и для доступа к информации. Издатели могут решать, делать ли контент доступным онлайн и каким образом — например, не публиковать определённый контент или скрыть его за платной стеной. Но раз уж издатели решили сделать информацию публично доступной, читатели сайтов могут сами выбирать, как потреблять законно доступную им информацию. Они вольны её читать и учиться на ней, а также использовать узнанное для создания нового контента и новых технологий.

Consider the development of search engines. To build a search engine, developers “crawl” the web: through automated processes, they go from link to link, webpage to webpage, and make a copy of those pages. Developers then analyze those copies in order to create a search index and deliver results in response to queries. This acquisition and analysis of public data benefits consumers, since it enables people to find relevant information, and it benefits publishers by driving traffic to their websites. In fact, an entire industry—the Search Engine Optimization (SEO) market—grew up around the value proposition of helping publishers to secure traffic.

Возьмём развитие поисковых систем. Чтобы построить поисковик, разработчики «краулят» Web: автоматизированные процессы переходят от ссылки к ссылке, от страницы к странице и делают копии этих страниц. Затем разработчики анализируют эти копии, чтобы построить поисковый индекс и выдавать результаты на запросы. Такой сбор и анализ публичных данных выгоден потребителям, поскольку помогает находить нужную информацию, и выгоден издателям, поскольку приводит трафик на их сайты. Более того, вокруг ценностного предложения помогать издателям получать трафик выросла целая отрасль — рынок Search Engine Optimization (SEO).

Critically, the Web’s open architecture meant that search engines were not required to negotiate the ability to crawl and link with every single publisher, which would have been impossible given the scale of the Web. Had individual agreements been required, the Web’s ability to facilitate learning for people and to connect publishers to their audience would have been dramatically curtailed.

Принципиально, что открытая архитектура Web означала: поисковики не обязаны были договариваться о праве краулить и ссылаться с каждым отдельным издателем — что было бы невозможно при масштабе Web. Если бы требовались индивидуальные соглашения, способность Web обеспечивать обучение людей и связывать издателей с их аудиторией была бы драматически ограничена.

At the same time, starting from the early days of the Web, publishers worked with the technical community—including developers working on search engines that crawled the Web at scale—to develop standards to give publishers some control over how information on their websites could be accessed. The concept they developed was called the robots.txt standard, formally known as the Robots Exclusion Protocol, which is expressed by siteowners by creating a robots.txt file. It enabled websites to include plain-text rules in their root directories, providing guidance to crawlers on whether and how they wanted their site crawled. Crawlers could then use that information to respect these preferences.

Одновременно с самых ранних дней Web издатели работали с техническим сообществом — в том числе с разработчиками поисковиков, краулящих Web в масштабе, — над выработкой стандартов, дающих издателям некоторый контроль над тем, как может осуществляться доступ к информации на их сайтах. Разработанная ими концепция получила название стандарт robots.txt, формально известный как Robots Exclusion Protocol, выражаемый владельцами сайтов через создание файла robots.txt. Он позволял сайтам размещать в корневых каталогах правила в простом текстовом виде, давая краулерам ориентиры, хотят ли они, чтобы их сайт обходили, и как именно. Краулеры могли затем использовать эту информацию, чтобы уважать эти предпочтения.

Website preferences ranged: some might want to prohibit crawling for privacy reasons, because of concerns about search monetization, or because they wanted to avoid crawling that caused undue, expensive traffic loads. Other websites had the opposite preference: they wanted to be crawled for various reasons, such as to promote visibility of their content, enable users to learn from the information they chose to publish, or facilitate monetization.

Предпочтения сайтов были разными: одни могли запрещать краулинг по соображениям приватности, из-за опасений за монетизацию через поиск или потому что хотели избежать обхода, создающего чрезмерную и дорогую нагрузку. У других сайтов было противоположное предпочтение: они хотели, чтобы их краулили — например, ради продвижения видимости контента, того, чтобы пользователи могли учиться на опубликованной ими информации, или ради монетизации.

The staying power of robots.txt stems from an alignment between the interests of publishers and developers. Many publishers wanted to be found in search engines and other directories, but did not want the traffic from bots to overwhelm their sites. By the same token, search engines and others did not want to send so much traffic as to make the publishers’ site inoperable. The widespread implementation of robots.txt does not mean that publishers and developers agree on every aspect of data access and monetization on the web. There are ongoing disputes about the right way to compensate publishers and developers for content and distribution, but despite those disagreements, robots.txt continues to be used by many search engines and crawlers today, even though it is a voluntary standard rather than a formal legal requirement. The fact that a voluntary standard has played such an enduring role in managing access and control demonstrates that restrictive regulatory mandates are not necessarily the sole, or best, way forward.

Живучесть robots.txt объясняется совпадением интересов издателей и разработчиков. Многие издатели хотели быть найдены в поисковиках и других каталогах, но не хотели, чтобы трафик от ботов перегружал их сайты. Точно так же поисковики и другие не хотели слать столько трафика, чтобы сайт издателя становился неработоспособным. Широкое внедрение robots.txt не означает, что издатели и разработчики согласны по каждому аспекту доступа к данным и монетизации в сети. Идут постоянные споры о правильных способах вознаграждения издателей и разработчиков за контент и распространение, но, несмотря на эти разногласия, robots.txt по-прежнему используется многими поисковыми системами и краулерами и сегодня, хотя это добровольный стандарт, а не формальное юридическое требование. Тот факт, что добровольный стандарт сыграл такую долгую роль в управлении доступом и контролем, показывает: ограничительные регуляторные мандаты — не обязательно единственный и не обязательно лучший путь вперёд.

Over time, publishers have introduced other tools to control access to their sites by crawlers and individuals. Some publishers use paywalls to limit public access, and in many cases, websites can enforce terms of service that people affirmatively agree to.

Со временем издатели ввели и другие инструменты управления доступом краулеров и людей к их сайтам. Некоторые используют платные стены, чтобы ограничить публичный доступ, а во многих случаях сайты могут принудительно применять условия использования, с которыми пользователь явно соглашается.

That said, there have also always been limits to enforcement of these types of access controls, and the boundaries between a publishers’ ability to control information and the ability of the public to access information have been actively contested. For instance, in 2003, a court found that Ticketmaster could not prevent a competitor, Tickets.com, from “deep-linking”—that is, linking to pages other than the Ticketmaster home page. The court found that Tickets.com had not agreed to a contract merely by browsing to the website and their linking did not constitute trespass or misuse of the site in other ways. Similarly, in 2001, the consulting firm KPMG sent cease-and-desist letters to several websites for linking its own website without signing a formal “Web Link Agreement.” Users lampooned this effort, first by linking indiscriminately to the KPMG website, and then by showing up near KPMG’s physical offices with signs that said “KPMG this way.”

При этом у возможности обеспечивать соблюдение таких ограничений доступа всегда были пределы, а границы между правом издателя контролировать информацию и правом общества получать к ней доступ активно оспаривались. Так, в 2003 году суд постановил, что Ticketmaster не может помешать конкуренту, Tickets.com, делать «глубокие ссылки» — то есть ссылаться на страницы помимо главной страницы Ticketmaster. Суд установил, что Tickets.com не заключал контракт лишь тем, что заходил на сайт, и что их ссылки не являлись ни вторжением, ни иной формой ненадлежащего использования сайта. Аналогично, в 2001 году консалтинговая фирма KPMG разослала претензионные письма нескольким сайтам за ссылки на её собственный сайт без подписания формального «Web Link Agreement». Пользователи высмеяли эту затею: сначала начали массово ссылаться на сайт KPMG, а затем устроили акцию у физических офисов компании с табличками «KPMG — туда».

Similarly, book publishers cannot enforce blanket “no summarizing or quoting” notices in a book, and they also can’t prevent used book stores from reselling a book or libraries from lending them out. No doubt, some book publishers might want to have those rights. In fact, in the early 20th century, the Supreme Court ruled against a book publisher that attempted to limit book purchasers’ ability to resell a work by appending a notice prohibiting the sale of a book at a price below $1. This case provided the foundation for the “first-sale” doctrine, which allows selling and lending of copies of works.

Аналогично книгоиздатели не могут принудительно применять размещённые в книге сплошные оговорки «никаких пересказов и цитирования», и они также не могут запретить букинистическим магазинам перепродавать книгу или библиотекам выдавать её на руки. Несомненно, некоторые издатели хотели бы иметь такие права. Более того, в начале XX века Верховный суд вынес решение против книгоиздателя, который пытался ограничить право покупателей перепродавать книгу, добавив уведомление, запрещающее продажу книги по цене ниже 1 доллара. Это дело стало основой для доктрины «первой продажи», разрешающей продажу и выдачу экземпляров произведений.

These cases are rooted in broader principles related to the ability of a publisher to achieve in contract what it cannot otherwise achieve in copyright. Whether a contract can be enforced depends on factors like notice and assent and whether the terms are unconscionable or violative of broader public policy goals. To give an absurd example to make the point: a website can require a visitor to comply with the terms of an otherwise lawful paywall, but it cannot include in its terms of service a requirement to read its content while hopping on one foot, and then enforce this “contract” in court against a person who read the website’s content while sitting.

Эти дела опираются на более широкие принципы относительно способности издателя добиться через контракт того, чего он не может добиться через авторское право. Возможность принудительного исполнения контракта зависит от таких факторов, как уведомление и согласие, а также от того, не являются ли условия неправомерно обременительными или противоречащими более широким целям публичной политики. Абсурдный, но наглядный пример: сайт может требовать соблюдения условий законной платной стены, но не может включить в условия использования требование читать его контент, прыгая на одной ноге, а затем добиваться судебного принуждения этого «контракта» против человека, читавшего сайт сидя.

Allowing publishers to enforce broad restrictions on the use of public data “risks the possible creation of information monopolies that would disserve the public interest,” as one appeals court put it. This rationale has been subsequently cited by other courts to preempt contracts that conflict with federal copyright law in the context of re-use of public Web data. In X v. Bright Data, the court applied that rationale to hold that X’s terms of use were unenforceable in the context of Bright Data’s data collection, because such terms threatened to give publishers like X “free rein to decide, on any basis, who can collect and use data—data that the companies do not own, that they otherwise make publicly available to viewers, and that the companies themselves collect and use.” Along with creating “information monopolies,” allowing publishers to enforce such contracts would also result in the state-by-state patchwork of rules that uniform federal copyright standards are designed to preclude.

Позволять издателям принудительно применять широкие ограничения на использование публичных данных «несёт риск возможного создания информационных монополий, которые противоречили бы общественным интересам», как сформулировал один апелляционный суд. Эта аргументация впоследствии цитировалась другими судами для признания приоритета федерального авторского права над контрактами в контексте повторного использования публичных веб-данных. В деле X v. Bright Data суд применил эту логику, постановив, что условия использования X не подлежат принудительному исполнению в отношении сбора данных Bright Data, поскольку такие условия грозили предоставить издателям вроде X «свободу решать на любом основании, кто может собирать и использовать данные — данные, которыми сами компании не владеют, которые в остальном делают публично доступными для просмотра и которые компании сами собирают и используют». Помимо создания «информационных монополий», возможность принуждать к таким контрактам также привела бы к лоскутному набору правил по штатам, который как раз и призваны исключать единые федеральные стандарты авторского права.

While evolving laws and industry practices have helped manage these boundaries online, they have remained contested, and they are once again coming to the fore in the age of AI.

Хотя развивающееся законодательство и отраслевая практика помогали управлять этими границами в онлайне, они по-прежнему оспаривались — и снова выходят на первый план в эпоху AI.

Web publishing in the age of AI

Веб-публикации в эпоху AI

Like the rise of the Web, the rise of AI is raising questions about publishers’ rights to control information and the public’s freedom to learn.

Как и подъём Web, подъём AI поднимает вопросы о праве издателей контролировать информацию и о свободе общества учиться.

On the one hand, allowing AI developers to crawl sites for training data or otherwise access public content on behalf of users—such as by fulfilling a user request to summarize a website or highlight key information—can provide benefits for publishers. Like search engines before them, AI crawlers may also provide traffic and, in turn, monetizable value: being included in AI training corpora helps with discoverability, and discoverability then helps with monetization, brand value, and customer engagement. Publishers are moving from a world of “search engine optimization” to “AI optimization.” Because of these benefits, many website publishers want their content to be available to AI tools.

С одной стороны, разрешение разработчикам AI краулить сайты для тренировочных данных или иначе обращаться к публичному контенту от имени пользователей — например, выполняя запрос пользователя резюмировать сайт или выделить ключевую информацию — может приносить пользу издателям. Подобно поисковикам ранее, AI-краулеры тоже могут давать трафик и тем самым монетизируемую ценность: включение в обучающие корпуса AI помогает с обнаруживаемостью, а обнаруживаемость, в свою очередь, помогает с монетизацией, ценностью бренда и вовлечённостью клиентов. Издатели переходят из мира «search engine optimization» в мир «AI optimization». Из-за этих выгод многие издатели сайтов хотят, чтобы их контент был доступен AI-инструментам.

On the other hand, because generative AI and other emerging tools are nascent, so too are the opportunities. Many publishers are wary that in the new pie of AI value, the size of the slice they get will not be sufficient. Some publishers already claim that their traffic is dropping due to AI-related uses of their works, and that providing public access to their content doesn’t result in commensurate value. Absent alternative choices, publishers may lock more and more of the Web’s content behind paywalls because of fears that their content will be used to create value for others with limited returns for themselves.

С другой стороны, поскольку генеративный AI и другие новые инструменты ещё молоды, молоды и возможности. Многие издатели опасаются, что в новом пироге ценности AI их кусок окажется недостаточным. Некоторые издатели уже утверждают, что их трафик падает из-за связанных с AI способов использования их работ и что предоставление публичного доступа к их контенту не приносит соразмерной ценности. При отсутствии альтернатив издатели могут запирать всё больше контента Web за платными стенами из-за опасений, что их контент будет использоваться для создания ценности для других при ограниченной отдаче для них самих.

Some publishers are also going further, arguing that they should not only be able to restrict access to their sites, but they should be able to restrict the use of content that is otherwise accessible. Several copyright lawsuits against AI developers claim that training generative AI models on publicly available copyrighted works constitutes infringement. In effect, they argue that even when an AI model can lawfully access content on a website, it should not be permitted to learn from it. If this concept is enshrined into law, the long-standing principle underlying the freedom to learn—that you can learn from things you can lawfully access—will not apply to machine learning.

Некоторые издатели идут ещё дальше, утверждая, что они должны иметь право не только ограничивать доступ к своим сайтам, но и ограничивать использование контента, который иным образом доступен. Несколько исков по авторскому праву против разработчиков AI утверждают, что обучение генеративных AI-моделей на публично доступных охраняемых произведениях составляет нарушение. По сути, они утверждают, что даже когда AI-модель может законно получить доступ к контенту на сайте, ей не должно быть позволено учиться на нём. Если эта концепция закрепится в законе, давний принцип, лежащий в основе свободы учиться — что можно учиться на том, к чему есть законный доступ — не будет распространяться на machine learning.

What’s more, publishers are also seeking to control inference—that is, using an AI model to analyze a work found on the Web and produce an output for a user. It is already common for people to ask for an AI tool to summarize information found on a website, and new AI search tools will expand and improve these types of use cases. For instance, a tool could help a real estate firm synthesize data to understand the state of the housing market. Similarly, financial analysts can use AI to draw on myriad data sources and analyze trends. In these cases, the information is not being used to train the model; rather, the model acts on the user’s request to review and analyze the information, and provide a new, transformative output.

Более того, издатели также стремятся контролировать инференс — то есть использование AI-модели для анализа произведения, найденного в Web, и выдачи ответа пользователю. Уже привычно, что люди просят AI-инструмент резюмировать информацию, найденную на сайте, и новые AI-инструменты поиска расширят и улучшат такие сценарии. Например, инструмент может помочь риелторской компании синтезировать данные, чтобы понять состояние рынка жилья. Аналогично финансовые аналитики могут использовать AI, чтобы обращаться к множеству источников данных и анализировать тренды. В этих случаях информация не используется для обучения модели; модель действует по запросу пользователя, чтобы просмотреть и проанализировать информацию и выдать новый, преобразующий вывод.

Governing the freedom to learn in AI

Как регулировать свободу учиться в эпоху AI

Creating value in an age of AI should not be a zero sum game. Rather, just as the Web has thrived by supporting a broad ecosystem of publishers, readers, and developers building and using the Web, so too do we need to find ways for a broad ecosystem to flourish in the age of AI. AI’s generative capacity—the ability to spark new information, new value, and new product and business models—should create value for this entire ecosystem.

Создание ценности в эпоху AI не должно быть игрой с нулевой суммой. Скорее, как Web процветал, поддерживая широкую экосистему издателей, читателей и разработчиков, строящих и использующих Web, так и в эпоху AI нам нужно найти способы расцвета широкой экосистемы. Генеративная способность AI — способность порождать новую информацию, новую ценность, новые продуктовые и бизнес-модели — должна создавать ценность для всей этой экосистемы.

The need for a sustainable resolution to these tensions is acute for Little Tech. Unilaterally blocking website crawling for AI development disproportionately hurts Little Tech because it creates an additional barrier to entry for startups and entrepreneurs who will be ill equipped to reach expensive bespoke licensing agreements with powerful publishers, navigate complex access provisions in a terms of service, or gain access to large pools of private training data that make it unnecessary use publicly available internet data for training.

Потребность в устойчивом разрешении этих противоречий особенно остра для Little Tech. Одностороннее блокирование краулинга сайтов для разработки AI непропорционально вредит Little Tech, потому что создаёт дополнительный барьер входа для стартапов и предпринимателей, которые плохо приспособлены к тому, чтобы заключать дорогие индивидуальные лицензионные соглашения с влиятельными издателями, ориентироваться в сложных положениях о доступе в условиях использования или получать доступ к большим массивам частных тренировочных данных, делающим необязательным использование публично доступных интернет-данных для обучения.

Striking the right balance is important for other actors beyond Little Tech who lack the ability to purchase and license datasets. If publishers are permitted to assert unilateral control over the freedom of people to learn from information that they are otherwise allowed to access, the damage will be felt far beyond AI developers: archives like Common Crawl, researchers, and civil society organizations all derive value from lawful access to data. These organizations and their users are collateral damage; for instance, it was recently reported that The New York Times is removing its content from digital libraries like the Internet Archive, undermining the ability of researchers and to study the historical record.

Найти правильный баланс важно и для других участников помимо Little Tech, у которых нет возможности покупать и лицензировать датасеты. Если издателям позволят в одностороннем порядке решать, могут ли люди учиться на информации, к которой им в остальном разрешён доступ, ущерб ощутят далеко не только разработчики AI: архивы вроде Common Crawl, исследователи и организации гражданского общества — все они получают ценность из законного доступа к данным. Эти организации и их пользователи становятся побочным ущербом; например, недавно сообщалось, что The New York Times убирает свой контент из цифровых библиотек вроде Internet Archive, подрывая возможность исследователей изучать исторические записи.

Creating this value requires a framework to govern AI that includes three components: markets, technical standards, and public policy.

Чтобы создать эту ценность, нужна рамка для регулирования AI, состоящая из трёх компонентов: рынки, технические стандарты и публичная политика.

Market evolution

Эволюция рынков

The public’s freedom to learn is compatible with a vibrant commercial market for accessing and using content. The right for people to use publicly available works to train AI or to use AI to read and analyze those works does not preclude many other ways to make money, as is evidenced by innovation that is already occurring in the market.

Свобода общества учиться совместима с живым коммерческим рынком доступа к контенту и его использования. Право людей использовать публично доступные произведения для обучения AI или применять AI для чтения и анализа таких произведений не отменяет множества других способов зарабатывать, что подтверждается уже идущими на рынке инновациями.

For example, even as AI developers are using publicly available data for training, some AI developers are already paying for access to certain content that is not publicly accessible, particularly when the private data has specific value for the specific tool the developer is building.

Например, даже когда разработчики AI используют публично доступные данные для обучения, некоторые из них уже платят за доступ к определённому контенту, который не является публично доступным, особенно когда частные данные имеют конкретную ценность для конкретного инструмента, который разрабатывается.

In other cases, companies are licensing data for uses that go beyond what is allowed under copyright law. For instance, even though the law permits an AI developer to use publicly available work for AI training, copyright prohibits the production of infringing outputs. Because of this restriction, companies are already working to license content for inclusion in outputs, such as displaying substantial text from a news article, rather than just a summary of facts, or displaying full resolution photos from third parties. Such licensing may also enable new types of outputs, such as allowing fans to interact with famous superheroes and villains from movies or to create remixes and mash-ups of songs. To support these and other uses, various companies are exploring marketplaces and other means to facilitate these sorts of arrangements.

В других случаях компании лицензируют данные для способов использования, выходящих за рамки разрешённого авторским правом. Например, даже хотя закон позволяет разработчику AI использовать публично доступное произведение для обучения AI, авторское право запрещает создание нарушающих выводов. Из-за этого ограничения компании уже работают над лицензированием контента для включения в выводы — например, показ существенного текста из новостной статьи, а не только её фактического резюме, или показ фотографий в полном разрешении от третьих лиц. Такое лицензирование также может открывать новые виды выводов — например, позволить фанатам взаимодействовать со знаменитыми супергероями и злодеями из фильмов или создавать ремиксы и мэшапы песен. Для поддержки этих и других применений различные компании прорабатывают маркетплейсы и иные способы организовать такие договорённости.

Technical collaboration

Техническое сотрудничество

Technical standards have a role to play, too, just as they have for decades in the development of robots.txt and other Web standards. Collaboration could create voluntary standards to enable publishers to express AI-related preferences. Developers can then choose to respect these preferences, just as they have with robots.txt. Preferences might include requests to restrict particular uses, but also include guidance to AI developers to help them learn from a website more effectively. Voluntary standards—rather than legally mandated ones—are also potentially helpful insofar as they allow for flexible application of the stated preference; for instance, a library might crawl a government website, in service of their public service mission, even where the site otherwise restricts crawling.

Технические стандарты тоже играют свою роль — как уже десятилетиями играют в развитии robots.txt и других веб-стандартов. Сотрудничество могло бы породить добровольные стандарты, позволяющие издателям выражать свои предпочтения относительно AI. Разработчики могут затем выбрать уважать эти предпочтения — точно так же, как они поступали с robots.txt. Предпочтения могут включать просьбы ограничить определённые виды использования, но также и подсказки разработчикам AI, помогающие им эффективнее учиться у сайта. Добровольные стандарты, в отличие от законодательно обязательных, потенциально полезны тем, что допускают гибкое применение заявленного предпочтения; например, библиотека может краулить государственный сайт в рамках своей общественной миссии, даже если в иных случаях этот сайт ограничивает обход.

Such preference signals could take many forms. They could be attached to particular websites through something like robots.txt, attached to individual works (e.g., an image posted online) through metadata or other labels, or recorded in registries that prospective data users can easily reference. The Internet Engineering Task Force (IETF), which is responsible for the robots.txt standard, has convened an “AI preferences” working group to work through the details of what these signals might look like and how they might be implemented.

Такие сигналы предпочтений могут принимать разные формы. Их можно прикрепить к конкретным сайтам через что-то наподобие robots.txt, к отдельным произведениям (например, к опубликованному в сети изображению) через метаданные или иные метки, либо фиксировать в реестрах, к которым потенциальные пользователи данных могут легко обратиться. Internet Engineering Task Force (IETF), отвечающий за стандарт robots.txt, созвал рабочую группу «AI preferences», чтобы проработать, как такие сигналы должны выглядеть и как их реализовать.

Whatever the technical standards might be, they should work for Little Tech. That means they must not impose compliance costs or administrative hurdles that put startups at a disadvantage relative to competitors with deeper pockets and larger teams.

Какими бы ни были технические стандарты, они должны работать для Little Tech. Это значит, что они не должны налагать издержки на соответствие или административные барьеры, ставящие стартапы в невыгодное положение по сравнению с конкурентами с более глубокими карманами и большими командами.

With that in mind, technical approaches should be clear and machine-readable. Developers need an objective, standard, scalable way to identify a given preference. They shouldn’t be expected to dig deep into a website to identify a preference or to parse non-standardized language to understand it.

С учётом этого технические подходы должны быть ясными и машиночитаемыми. Разработчикам нужен объективный, стандартный, масштабируемый способ распознать конкретное предпочтение. От них не должны требовать рыться в глубинах сайта, чтобы выявить предпочтение, или разбирать нестандартизованный язык, чтобы его понять.

What’s more, standards should be carefully designed to empower publishers and users, not gatekeepers. Individual users should have controls over how their data is used, but intermediaries, such as large internet platforms or publishers hosting user-generated content, should not have the power to serve as gatekeepers to content posted by their users. Intermediaries should not be able to make choices on behalf of their users by setting default opt-outs.

Более того, стандарты должны быть тщательно спроектированы так, чтобы наделять полномочиями издателей и пользователей, а не привратников. Отдельные пользователи должны иметь контроль над тем, как используются их данные, но посредники — например, крупные интернет-платформы или издатели, размещающие пользовательский контент, — не должны иметь возможности служить привратниками для контента, опубликованного их пользователями. Посредники не должны иметь возможности делать выбор за пользователей, устанавливая отказы (opt-outs) по умолчанию.

This user-focused approach is critical. As Mike Masnick has argued, “blocking legitimate individual use of AI tools to access and analyze web content” is “not protecting creator rights—that’s breaking the fundamental promise of the web that if you publish something publicly, people should be able to access and use it.” To this end, collaboration around standards for Application Programming Interfaces (APIs) to access site data could also be a helpful approach to empowering users. In other contexts, like open banking, APIs have allowed service providers to act on behalf of a user in order to access and use their data. A user might, for instance, ask a budgeting application to access their bank account to track expenses. Similar sorts of approaches can help provide ways for AI tool developers and websites to develop mutually beneficial approaches.

Такой ориентированный на пользователя подход критически важен. Как аргументировал Mike Masnick, «блокировать законное индивидуальное использование AI-инструментов для доступа к веб-контенту и его анализа» — это «не защита прав авторов, это нарушение фундаментального обещания Web: если вы публикуете что-то публично, люди должны иметь возможность получить к этому доступ и использовать». В этой связи сотрудничество по стандартам Application Programming Interfaces (API) для доступа к данным сайтов также может быть полезным подходом к расширению прав пользователей. В других контекстах, например в open banking, API позволяют поставщикам услуг действовать от имени пользователя, чтобы получать доступ к его данным и использовать их. Пользователь может, например, попросить приложение для бюджета получить доступ к его банковскому счёту, чтобы отслеживать расходы. Аналогичные подходы могут помочь разработчикам AI-инструментов и сайтам выстраивать взаимовыгодные схемы.

Public policy guidance

Ориентиры публичной политики

Public policy also has an important role to play in ensuring that using AI does not deprive people of their freedom to learn, while also enabling some restrictions on use and unlawful access:

У публичной политики тоже есть важная роль: обеспечить, чтобы использование AI не лишало людей свободы учиться, одновременно допуская определённые ограничения использования и противодействие незаконному доступу:

Политика должна подтвердить, что AI не лишает людей свободы учиться. Люди не должны терять имеющуюся у них свободу учиться лишь потому, что они используют AI, и законодатели должны отвергать предложения, расширяющие авторское право в этом направлении. С этой целью политика должна обеспечить честные и ясные ограничения авторского права. Это важно не только в контексте обучения AI, но и когда люди используют AI, чтобы читать произведения или взаимодействовать с ними иными законными способами. Политика не должна позволять правообладателям использовать контракты, чтобы перечеркнуть права общества по авторскому праву. Сайты могут делать разный выбор относительно того, как к ним получают доступ, и применять определённые ограничения в условиях использования. Однако договорные полномочия не безграничны, и сайты в общем случае не должны иметь возможности через договор делать то, что им ограничивает авторское право. Там, где авторское право защищает права общества на определённые виды использования — например, копирование законно полученных данных для целей обучения AI, — правообладатель не должен иметь возможности отменить этот fair use. Политика должна давать издателям возможность предотвращать незаконный доступ к их сайтам. Существующие законы уже запрещают людям делать цифровой эквивалент взлома с проникновением — будь то взлом защиты, чтобы получить сигнал спутникового ТВ, или взлом сайта, защищённого паролем. В контексте AI этот принцип означает, что разработчику AI не должно быть позволено обходить платную стену лишь потому, что цель — «учиться» на данных сайта, чтобы построить AI-модель. Но законодатели должны позаботиться, чтобы термин «незаконный» был тщательно ограничен и чтобы, как отмечено выше, условия использования и другие правовые механизмы не использовались ненадлежаще, чтобы препятствовать праву на доступ и использование информации. Например, если пользователь может зайти на сайт и скопировать публичные данные, простое использование автоматизированного процесса для того же самого не должно считаться нарушением прав издателя. В более общем плане, законный доступ должен охватывать произведения, обнаруженные публично доступными онлайн, приобретённые медиа или контент, полученный через договорные отношения вроде подписок. Политика должна запрещать злоупотребление AI для создания выводов, нарушающих авторское право издателя. Если кто-то использует AI-модель, чтобы создать нарушающий вывод — например, создать новостную статью, существенно схожую с охраняемым выражением в новостной публикации, — действующее авторское право даёт правообладателю возможность добиваться защиты. При этом человеку должно быть позволено использовать AI для законных способов использования произведения — например, резюмировать статью или конвертировать текст сайта в аудио. Политика должна способствовать доступу к данным для использования в AI. Правительства уже инвестируют в датасеты и создание других материалов, полезных для AI. Например, федеральные ведомства от National Aeronautics and Space Administration (NASA) до National Institutes of Health (NIH) генерируют обширные датасеты, способные двигать AI-инновации, однако эти ресурсы часто оказываются за платными стенами или в форматах, которые сложно использовать и которые мешают эффективному применению. Правительство могло бы сыграть критическую роль в устранении этого дисбаланса — например, создав «Open Data Commons» — пулы данных, управляемые в интересах общества, — и учредив National AI Competitiveness Institute (NAICI), который размещал бы эти данные и управлял доступом к ним. Предоставляя Little Tech доступ к данным, этот подход помог бы стартапам уверенно получать ресурсы, нужные для конкуренции.

Building an equilibrium for AI

Выстраивание равновесия для AI

The advent of AI raises a fundamental question: should the freedom to learn cease to apply if humans rely on machines as instruments of learning? We argue that it should not. Upholding the freedom to learn—irrespective of whether learning occurs by a human or a machine—is vital to sustaining an open, innovative, and competitive technology ecosystem in the AI era, just as it has been throughout the history of the internet.

Появление AI ставит фундаментальный вопрос: должна ли свобода учиться переставать действовать, если люди опираются на машины как на инструменты обучения? Мы считаем, что не должна. Подтверждение свободы учиться — независимо от того, учится ли человек или машина — жизненно важно для поддержания открытой, инновационной и конкурентной технологической экосистемы в эпоху AI, как это было на протяжении всей истории интернета.

Realizing this vision will require coordinated action: markets must evolve, technologists must collaborate on voluntary standards, and policymakers must continue to affirm the freedom to learn. If we get this correct, AI can strengthen, not shrink, the Web’s founding promise: an open network where lawful access to knowledge serves as the foundation for learning, innovation, and empowerment.

Реализация этого видения потребует скоординированных действий: рынки должны развиваться, технологи — сотрудничать в выработке добровольных стандартов, а законодатели — продолжать подтверждать свободу учиться. Если мы сделаем это правильно, AI сможет укреплять, а не сужать первоначальное обещание Web: открытую сеть, где законный доступ к знаниям служит основой для обучения, инноваций и расширения возможностей.

Matt Perault

Matt Perault

is the head of artificial intelligence policy at Andreessen Horowitz, where he oversees the firm’s policy strategy on AI and helps portfolio companies navigate the AI policy landscape.

— глава политики в области искусственного интеллекта в Andreessen Horowitz, где он отвечает за стратегию фирмы в области AI-политики и помогает портфельным компаниям ориентироваться в ландшафте AI-политики.

Response to the FTC and the DOJ’s Request for Comment Concerning an Updated Guidance on Business Collaborations

Ответ на запрос FTC и DOJ о комментариях к обновлённому руководству по деловым коллаборациям

Asserting American Leadership in Open Source AI

Утверждая американское лидерство в open source AI

The Evidence Gap: Why Courts Can’t Balance State AI Regulation

Дефицит доказательств: почему суды не могут сбалансировать регулирование AI на уровне штатов

The Top 100 Gen AI Consumer Apps — 6th Edition

Топ-100 потребительских Gen AI-приложений — 6-е издание

Can AI Help Save Lives?

Может ли AI помочь спасать жизни?

Expert News by a16z

Expert News от a16z

We have built a network of experts who are deeply rooted in technology and how it’s shaping our future. Subscribe to our newsletters to receive their perspectives.

Мы выстроили сеть экспертов, глубоко погружённых в технологии и в то, как они формируют наше будущее. Подпишитесь на наши рассылки, чтобы получать их взгляды.

Views expressed in “posts” (including podcasts, videos, and social media) are those of the individual a16z personnel quoted therein and are not the views of a16z Capital Management, L.L.C. (“a16z”) or its respective affiliates. a16z Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell — or a solicitation of an offer to buy — any securities, and may not be used or relied upon in evaluating the merits of any investment.

Мнения, выраженные в «постах» (включая подкасты, видео и социальные сети), принадлежат конкретным сотрудникам a16z, которых в них цитируют, и не являются мнениями a16z Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. a16z Capital Management — инвестиционный консультант, зарегистрированный в Securities and Exchange Commission. Регистрация в качестве инвестиционного консультанта не подразумевает каких-либо особых навыков или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются ни предложением продать, ни приглашением сделать предложение о покупке каких-либо ценных бумаг, и не могут использоваться или служить опорой при оценке достоинств какой-либо инвестиции.

The contents in here — and available on any associated distribution platforms and any public a16z online social media accounts, platforms, and sites (collectively, “content distribution outlets”) — should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here or on a16z content distribution outlets are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources, including from portfolio companies of funds managed by a16z. While taken from sources believed to be reliable, a16z has not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. In addition, posts may include third-party advertisements; a16z has not reviewed such advertisements and does not endorse any advertising content contained therein. All content speaks only as of the date indicated.

Содержимое здесь — и доступное на любых связанных платформах распространения и любых публичных онлайн-аккаунтах, платформах и сайтах a16z в социальных сетях (совместно — «каналы распространения контента») — не должно толковаться как инвестиционная, юридическая, налоговая или иная консультация и не должно использоваться как опора в этом качестве. Вам следует консультироваться с собственными советниками по юридическим, деловым, налоговым и иным сопутствующим вопросам, касающимся любой инвестиции. Любые проекции, оценки, прогнозы, цели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться от мнений других людей или противоречить им. Любые графики, представленные здесь или на каналах распространения контента a16z, носят исключительно информационный характер и не должны использоваться как опора при принятии инвестиционных решений. Часть содержащейся здесь информации получена из сторонних источников, включая портфельные компании фондов под управлением a16z. Хотя источники считаются надёжными, a16z не проверял такую информацию независимо и не делает заявлений о её сохраняющейся точности или её применимости в конкретной ситуации. Кроме того, посты могут содержать рекламу третьих сторон; a16z не проверял такую рекламу и не одобряет какое-либо рекламное содержание в ней. Всё содержимое говорит лишь о состоянии на указанную дату.

Under no circumstances should any posts or other information provided on this website — or on associated content distribution outlets — be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles — which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters.

Ни при каких обстоятельствах посты или иная информация, предоставленная на этом сайте — или в связанных каналах распространения контента — не должны толковаться как предложение, побуждающее к покупке или продаже какой-либо ценной бумаги или интереса в каком-либо коллективном инвестиционном инструменте, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Их также не следует толковать как предложение оказывать инвестиционно-консультационные услуги; предложение об инвестировании в управляемый a16z коллективный инвестиционный инструмент будет сделано отдельно и только посредством конфиденциальных документов предложения конкретных коллективных инвестиционных инструментов, которые должны быть прочитаны полностью, и только тем, кто среди прочих требований соответствует определённым квалификациям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как accredited investors и qualified purchasers, как правило, считаются способными оценивать достоинства и риски потенциальных инвестиций и финансовых вопросов.

There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available here: https://a16z.com/investments/. Past results of a16z’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Excluded from this list are investments (and certain publicly traded cryptocurrencies/ digital assets) for which the issuer has not provided permission for a16z to disclose publicly. As for its investments in any cryptocurrency or token project, a16z is acting in its own financial interest, not necessarily in the interests of other token holders. a16z has no special role in any of these projects or power over their management. a16z does not undertake to continue to have any involvement in these projects other than as an investor and token holder, and other token holders should not expect that it will or rely on it to have any particular involvement.

Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты, а инвестиционные стратегии — успешны. Любая инвестиция в инструмент под управлением a16z сопряжена с высокой степенью риска, включая риск потери всей вложенной суммы. Любые упомянутые, обсуждаемые или описываемые инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в инструменты под управлением a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что будущие инвестиции будут иметь схожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен здесь: https://a16z.com/investments/. Прошлые результаты инвестиций a16z, коллективных инвестиционных инструментов или инвестиционных стратегий не обязательно указывают на будущие результаты. Из этого списка исключены инвестиции (и определённые публично торгуемые криптовалюты/цифровые активы), на публичное раскрытие которых эмитент не дал разрешения a16z. В отношении своих инвестиций в любые криптовалюты или токен-проекты a16z действует в собственных финансовых интересах, не обязательно в интересах других держателей токенов. a16z не играет особой роли ни в одном из этих проектов и не имеет полномочий по их управлению. a16z не обязуется и далее иметь какое-либо участие в этих проектах, кроме как в качестве инвестора и держателя токенов, и другим держателям токенов не следует ожидать или полагаться на то, что у фирмы будет какое-либо особое участие.

With respect to funds managed by a16z that are registered in Japan, a16z will provide to any member of the Japanese public a copy of such documents as are required to be made publicly available pursuant to Article 63 of the Financial Instruments and Exchange Act of Japan. Please contact compliance@a16z.com to request such documents.

В отношении фондов под управлением a16z, зарегистрированных в Японии, a16z предоставит любому представителю японского общества копию документов, которые должны быть публично доступны в соответствии со статьёй 63 Закона Японии о финансовых инструментах и биржах. Пожалуйста, обращайтесь по адресу compliance@a16z.com, чтобы запросить такие документы.

For other site terms of use, please go here. Additional important information about a16z, including our Form ADV Part 2A Brochure, is available at the SEC’s website: http://www.adviserinfo.sec.gov.

Прочие условия использования сайта см. здесь. Дополнительная важная информация о a16z, включая нашу брошюру Form ADV Part 2A, доступна на сайте SEC: http://www.adviserinfo.sec.gov.