newsmode
search
Меню
arrow_back Назад

Focus areas for The Anthropic Institute

auto_awesomeКраткое саммари

Anthropic объявляет исследовательскую повестку The Anthropic Institute (TAI), который использует доступ к данным изнутри передовой лаборатории, чтобы изучать влияние ИИ на мир и публиковать выводы. Повестка охватывает четыре направления: экономическая диффузия, угрозы и устойчивость, ИИ-системы «в дикой природе» и ИИ-управляемые исследования и разработки. TAI намерен делиться более детальными и частыми данными из The Anthropic Economic Index, служить системой раннего предупреждения о значимых изменениях на рынке труда и оценивать риски двойного назначения, включая кибер- и биоугрозы. Работа института будет влиять на решения Anthropic и всё активнее служить входными данными для Long-Term Benefit Trust (LTBT). Повестка обновлена 7 мая 2026 года и описывается как «живая»; желающим предлагают подать заявку на четырёхмесячную программу Anthropic Fellowship.

Focus areas for The Anthropic Institute

Направления исследований The Anthropic Institute

Focus areas for The Anthropic Institute

At The Anthropic Institute (TAI), we’ll be using the information we can access from within a frontier lab to investigate AI’s impact on the world, and sharing our learnings with the public. Here, we’re sharing the questions that drive our research agenda.

В The Anthropic Institute (TAI) мы будем использовать информацию, доступную нам изнутри передовой лаборатории, чтобы изучать влияние ИИ на мир, и делиться полученными выводами с обществом. Здесь мы рассказываем о вопросах, которые движут нашей исследовательской повесткой.

Our agenda focuses on four areas for research:

Наша повестка сосредоточена на четырёх направлениях исследований:

  • Economic diffusion
  • Threats and resilience
  • AI systems in the wild
  • AI-driven R&D
  • Экономическая диффузияУгрозы и устойчивостьИИ-системы «в дикой природе»ИИ-управляемые исследования и разработки

    In Core Views on AI Safety, we wrote that doing effective safety research required close contact with frontier AI systems. The same logic applies to doing effective research on AI’s impacts on security, the economy, and society.

    В материале Core Views on AI Safety мы писали, что эффективные исследования в области безопасности требуют тесного контакта с передовыми ИИ-системами. Та же логика применима и к эффективным исследованиям влияния ИИ на безопасность, экономику и общество.

    At Anthropic, we can see early evidence that jobs like software engineering are changing radically. We’re watching the internal economy of Anthropic start to shift, new threats emerge from the systems we build, and early signs of AI contributing to speeding up the research and development of AI itself. In order to realize the full benefits of AI progress, we want to share as much of that information as we can. We’re researching how these dynamics might shape the outside world, and how the public can help direct those changes.

    В Anthropic мы видим ранние свидетельства того, что такие профессии, как разработка ПО, радикально меняются. Мы наблюдаем, как начинает сдвигаться внутренняя экономика Anthropic, как из создаваемых нами систем возникают новые угрозы, и ранние признаки того, что ИИ ускоряет исследования и разработку самого ИИ. Чтобы в полной мере реализовать преимущества прогресса ИИ, мы хотим делиться этой информацией в максимально возможном объёме. Мы исследуем, как эта динамика может формировать внешний мир и как общество может помочь направлять эти изменения.

    At TAI, we’ll study AI's real-world impacts from our position within a frontier lab, then publish those findings, to help external organizations, governments, and the public make better decisions about AI development.

    В TAI мы будем изучать реальное влияние ИИ с нашей позиции внутри передовой лаборатории, а затем публиковать эти выводы, чтобы помочь внешним организациям, правительствам и обществу принимать более взвешенные решения о развитии ИИ.

    We’ll share research, data, and tools to make it easier for individual researchers and institutions to work on these research questions. In particular, we’ll share:

    Мы будем делиться исследованиями, данными и инструментами, чтобы отдельным исследователям и институтам было проще работать над этими вопросами. В частности, мы поделимся:

  • More granular information from The Anthropic Economic Index, at a higher cadence, about what we’re seeing in labor impacts and usage of AI. We’ll try to be an early warning signal for significant change and disruption.
  • Research on the societal areas most in need of investment in resilience in the face of new AI-enabled security risks.
  • More detailed information about how our work at Anthropic has sped up as a result of new AI tools, and ideas about the implications of potential recursive self-improvement of AI systems.
  • Более детальной информацией из The Anthropic Economic Index, публикуемой чаще, о том, что мы наблюдаем во влиянии на рынок труда и в использовании ИИ. Мы постараемся служить системой раннего предупреждения о значимых изменениях и потрясениях.Исследованиями о тех сферах общества, которые больше всего нуждаются в инвестициях в устойчивость перед лицом новых рисков безопасности, связанных с ИИ.Более подробной информацией о том, как наша работа в Anthropic ускорилась благодаря новым ИИ-инструментам, и соображениями о последствиях возможного рекурсивного самоулучшения ИИ-систем.

    TAI will shape the decisions Anthropic makes. That may look like the company sharing data with the world that it otherwise would not (like the Economic Index), or approaching how it releases technology differently (like cyber threat analyses which feed into initiatives like Project Glasswing).

    TAI будет влиять на решения, которые принимает Anthropic. Это может выражаться в том, что компания делится с миром данными, которые иначе не раскрыла бы (как Economic Index), или иначе подходит к выпуску технологий (как анализ киберугроз, который ложится в основу инициатив вроде Project Glasswing).

    We expect that work developed by The Anthropic Institute will increasingly serve as important inputs to Anthropic’s Long-Term Benefit Trust (LTBT). The LTBT’s mission is to ensure that Anthropic continually optimizes its actions for the long-term benefit of humanity. We’ve developed this research agenda with the LTBT, as well as with staff across Anthropic.

    Мы ожидаем, что работа The Anthropic Institute будет всё активнее служить важными входными данными для Long-Term Benefit Trust (LTBT) компании Anthropic. Миссия LTBT — обеспечивать, чтобы Anthropic постоянно оптимизировала свои действия ради долгосрочного блага человечества. Мы разработали эту исследовательскую повестку совместно с LTBT, а также с сотрудниками по всей Anthropic.

    This is a living agenda, rather than a fixed one. We'll continue to fine-tune these questions as evidence accumulates, and we expect new questions to emerge that aren't captured here today. We welcome feedback on this agenda, and will revise it in light of what we learn through our conversations.

    Это живая, а не фиксированная повестка. Мы продолжим уточнять эти вопросы по мере накопления данных и ожидаем, что появятся новые вопросы, не отражённые здесь сегодня. Мы приветствуем отзывы об этой повестке и будем пересматривать её в свете того, что узнаём в ходе наших обсуждений.

    If you are interested in helping us answer some of these questions, we welcome your application to become an Anthropic Fellow. The Fellowship is a four-month funded opportunity to tackle one or more of these questions with mentorship from TAI team members. You can find out more and apply to the next cohort here.

    Если вам интересно помочь нам ответить на некоторые из этих вопросов, мы будем рады вашей заявке на участие в программе Anthropic Fellow. Эта программа — четырёхмесячная финансируемая возможность поработать над одним или несколькими из этих вопросов под наставничеством членов команды TAI. Узнать больше и подать заявку на следующий набор можно здесь.

    Our research agenda:

    Наша исследовательская повестка:

    Last updated: May 7, 2026

    Последнее обновление: 7 мая 2026 г.

    Economic diffusion

    Экономическая диффузия

    It’s crucial to understand how the deployment of increasingly powerful AI systems changes the economy. We also need to develop the necessary economic data and predictive ability to choose to deploy AI in ways that benefit the public.

    Крайне важно понимать, как развёртывание всё более мощных ИИ-систем меняет экономику. Нам также необходимо развить нужные экономические данные и предсказательную способность, чтобы можно было осознанно выбирать развёртывание ИИ способами, выгодными для общества.

    To answer the questions in this pillar of our research, we’ll further develop the data within The Anthropic Economic Index. We’ll also explore other methods to sharpen our models of how powerful AI could affect society, whether by driving job loss, unprecedented economic growth, or other effects.

    Чтобы ответить на вопросы этого направления наших исследований, мы будем дальше развивать данные внутри The Anthropic Economic Index. Мы также изучим другие методы, чтобы уточнить наши модели того, как мощный ИИ может повлиять на общество — через потерю рабочих мест, беспрецедентный экономический рост или иные эффекты.

    AI adoption and diffusion

    Внедрение и диффузия ИИ

  • Who adopts AI? AI development is concentrated in a small number of companies in a small number of countries, but deployment is global. What determines whether a country, region, or city can access AI? If it can access it, how does it capture economic value from AI? What policies and business models meaningfully shift that balance? How do free or open weight models contribute to this dynamic?
  • Adoption in firms: What causes AI adoption at the firm level, and what are the consequences? How does AI change the scale at which a firm or team can be most efficient? How concentrated is AI usage across firms? How do changes in concentration of AI adoption translate into markups and labor share? If a 3-person team or company can now do what required 300 before, what happens to industrial organization? Or, if firms can more easily centralize knowledge and there are benefits from doing so at scale, will we see larger, more expansive firms with a greater incentive to systematically surveil workers?
  • Is AI a general purpose technology? Is AI following the pattern of previous “general purpose technologies,” where adoption is fastest in high-margin commercial applications, and slowest where social returns exceed private returns? Are there policies or decisions that could change these dynamics?
  • Кто внедряет ИИ? Разработка ИИ сосредоточена в небольшом числе компаний в небольшом числе стран, но развёртывание носит глобальный характер. Что определяет, может ли страна, регион или город получить доступ к ИИ? А если может, то как извлекает из ИИ экономическую ценность? Какие политики и бизнес-модели значимо смещают этот баланс? Как бесплатные модели или модели с открытыми весами влияют на эту динамику?Внедрение в компаниях: Что вызывает внедрение ИИ на уровне компании и каковы его последствия? Как ИИ меняет масштаб, при котором компания или команда наиболее эффективна? Насколько концентрированно использование ИИ между компаниями? Как изменения в концентрации внедрения ИИ выливаются в наценки и долю труда в доходе? Если команда или компания из 3 человек теперь может делать то, что раньше требовало 300, что происходит с организацией отраслей? Или, если компаниям проще централизовать знания и есть выгоды от этого в масштабе, увидим ли мы более крупные, более экспансивные компании с большим стимулом систематически следить за работниками?Является ли ИИ технологией общего назначения? Следует ли ИИ модели предыдущих «технологий общего назначения», где внедрение быстрее всего идёт в высокомаржинальных коммерческих приложениях и медленнее всего там, где общественная отдача превышает частную? Существуют ли политики или решения, способные изменить эту динамику?

    Productivity and economic growth

    Производительность и экономический рост

  • Productivity growth: What impact will AI have on the rate of innovation and productivity growth across the economy?
  • Sharing the gains: What pre- or re-distributive mechanisms could effectively spread the gains from AI development and deployment more broadly?
  • Transaction costs in markets: How does AI affect systems of exchange and transaction costs in marketplaces? When does access to agents able to negotiate on your behalf improve market efficiency and equitable outcomes? When does it not?
  • Рост производительности: Какое влияние ИИ окажет на темпы инноваций и рост производительности в экономике?Распределение выгод: Какие пред- или перераспределительные механизмы могли бы эффективно распространить выгоды от разработки и развёртывания ИИ более широко?Транзакционные издержки на рынках: Как ИИ влияет на системы обмена и транзакционные издержки на рынках? Когда доступ к агентам, способным вести переговоры от вашего имени, повышает эффективность рынка и справедливость исходов? А когда нет?

    Broad labor market impacts

    Широкое влияние на рынок труда

  • AI and jobs: How will AI change jobs and employment in different parts of the economy? What new tasks and jobs could emerge as AI automates existing parts of the economy? How will these changes vary across regions and countries? Our Anthropic Economic Index Survey will provide monthly signals of how people see AI affecting their work, and what they expect for the future. We’re also updating the Economic Index to share more high-frequency, granular data.
  • Can AI diffusion be modulated? Central banks seek to moderate inflation through “dials” like the policy rate and forward guidance. Are there analogous dials that AI companies (at an industry level, in partnership with government) might turn to control the rate of AI diffusion on a sector-by-sector basis? Would there be a clear public benefit to turning them?
  • ИИ и рабочие места: Как ИИ изменит рабочие места и занятость в разных частях экономики? Какие новые задачи и профессии могут появиться по мере того, как ИИ автоматизирует существующие части экономики? Как эти изменения будут различаться по регионам и странам? Наш Anthropic Economic Index Survey будет ежемесячно давать сигналы о том, как люди воспринимают влияние ИИ на свою работу и чего они ожидают в будущем. Мы также обновляем Economic Index, чтобы делиться более высокочастотными и детализированными данными.Можно ли модулировать диффузию ИИ? Центральные банки стремятся сдерживать инфляцию с помощью «рычагов» вроде ключевой ставки и опережающих указаний (forward guidance). Существуют ли аналогичные рычаги, которые ИИ-компании (на уровне отрасли, в партнёрстве с государством) могли бы повернуть, чтобы контролировать темпы диффузии ИИ по секторам? Была бы очевидная общественная выгода от того, чтобы их повернуть?

    The future of jobs and workplaces

    Будущее профессий и рабочих мест

  • Worker views of their jobs: How are workers across the economy experiencing changes in their professions? How much influence do they have over these changes, and can 'worker' power be preserved or transformed?
  • The professional pipeline: Many professions rely on junior roles (like paralegals, junior analysts, and associate developers) to serve as training for the senior practitioners of the future. If AI absorbs the tasks that historically built expertise, how do people become experts in the first place? What does this mean for the long-term supply of senior judgment in a field?
  • Studying for the future: What should people study today to be well positioned for the future? What are the professions of the future? How does AI change what it means to learn something and to develop expertise?
  • The role of paid work: If AI substantially reduces the centrality of paid work in human life, what conditions will allow people to reallocate their time and effort toward other sources of meaning, and what can we learn from historical or contemporary populations where work has been scarce or optional? How do societies navigate this transition?
  • Взгляды работников на свою работу: Как работники по всей экономике переживают изменения в своих профессиях? Какое влияние они имеют на эти изменения и можно ли сохранить или преобразовать «власть работника»?Профессиональный конвейер: Многие профессии опираются на младшие роли (например, помощники юристов, младшие аналитики и младшие разработчики), которые служат обучением для будущих старших специалистов. Если ИИ возьмёт на себя задачи, исторически формировавшие экспертизу, то как люди вообще будут становиться экспертами? Что это означает для долгосрочного предложения зрелого профессионального суждения в той или иной области?Учёба ради будущего: Что людям стоит изучать сегодня, чтобы быть хорошо подготовленными к будущему? Каковы профессии будущего? Как ИИ меняет то, что значит чему-то учиться и развивать экспертизу?Роль оплачиваемого труда: Если ИИ существенно снизит центральную роль оплачиваемого труда в человеческой жизни, какие условия позволят людям перераспределить своё время и усилия в сторону других источников смысла, и чему мы можем научиться у исторических или современных сообществ, где работа была дефицитной или необязательной? Как общества проходят через этот переход?

    Threats and resilience

    Угрозы и устойчивость

    AI systems tend to advance many capabilities at once, including dual-use capabilities. An AI system that gets better at biology also gets better at creating biological weapons. AI systems which are performant at computer programming also get better at hacking into computers. If we can better understand the potential for threats to be exacerbated by AI systems, society can more easily become resilient to this changed threat landscape.

    ИИ-системы, как правило, развивают множество способностей одновременно, в том числе способности двойного назначения. ИИ-система, которая становится лучше в биологии, также становится лучше в создании биологического оружия. ИИ-системы, эффективные в программировании, также становятся лучше во взломе компьютеров. Если мы сможем лучше понять потенциал усиления угроз ИИ-системами, обществу будет легче стать устойчивым к этому изменившемуся ландшафту угроз.

    We're asking these questions to help develop partnerships to improve the world's resilience in the face of transformative AI, and to develop early warning systems for new threats that may emerge. Many of these questions will drive the research agenda of our Frontier Red Team.

    Мы задаём эти вопросы, чтобы помочь развитию партнёрств для повышения устойчивости мира перед лицом трансформирующего ИИ и для создания систем раннего предупреждения о новых возникающих угрозах. Многие из этих вопросов будут двигать исследовательскую повестку нашей Frontier Red Team.

    Assessing risk and dual-use capabilities:

    Оценка риска и способностей двойного назначения:

  • Dual-use technology: Powerful AI is inherently dual-use: the same tools that improve health and education can enable surveillance and repression. Can we build observability tools to understand whether and how this is happening?
  • Pricing risk appropriately: What are the effective, market-driven approaches to improve societal resilience to anticipated threats from AI systems? Can we develop new ways of pricing risk, or technical tools and human organizations to improve resilience ahead of the arrival of predictable threats (like improved AI cyberattack capabilities)?
  • Offense-defense balance: Will AI-enabled capabilities structurally benefit the attacker in domains like cyber and bio? When AI is applied in more conventional domains, like increasing integration into command and control systems, does it benefit the attacker? More generally, how will AI change the character of human conflict?
  • Технологии двойного назначения: Мощный ИИ по своей природе имеет двойное назначение: те же инструменты, что улучшают здравоохранение и образование, могут обеспечивать слежку и репрессии. Можем ли мы создать инструменты наблюдаемости, чтобы понимать, происходит ли это и как именно?Корректное ценообразование риска: Каковы эффективные, рыночные подходы к повышению устойчивости общества к ожидаемым угрозам со стороны ИИ-систем? Можем ли мы разработать новые способы ценообразования риска или технические инструменты и человеческие организации для повышения устойчивости заблаговременно до прихода предсказуемых угроз (вроде улучшенных способностей ИИ к кибератакам)?Баланс нападения и защиты: Будут ли способности, усиленные ИИ, структурно давать преимущество атакующему в таких областях, как кибер и био? Когда ИИ применяется в более традиционных сферах, например при растущей интеграции в системы командования и управления, даёт ли это преимущество атакующему? В более общем смысле, как ИИ изменит характер человеческих конфликтов?

    Establishing risk mitigations:

    Создание механизмов снижения риска:

  • Planning for crisis scenarios: During the Cold War, the American president had a hotline directly to the Kremlin, for use in the event of a nuclear crisis. What geopolitical infrastructure would be needed in the event of a crisis scenario involving AI systems? This infrastructure might not necessarily be state-to-state, but could be company-to-state or company-to-company.
  • Faster defensive mechanisms: AI capabilities can advance in months. Regulatory, insurance, and infrastructure responses operate on timescales of years. How do we close that gap? Can defensive mechanisms—like automated patching, AI-enabled threat detection, or pre-positioned response capabilities match the tempo and scale of AI-enabled offense? Or is the asymmetry structural? And how do we roll these defensive mechanisms out as effectively as possible?
  • Планирование кризисных сценариев: Во время холодной войны у американского президента была горячая линия напрямую с Кремлём — на случай ядерного кризиса. Какая геополитическая инфраструктура понадобилась бы в случае кризисного сценария с участием ИИ-систем? Эта инфраструктура не обязательно должна быть «государство — государство»; она может быть «компания — государство» или «компания — компания».Более быстрые защитные механизмы: Способности ИИ могут продвигаться за месяцы. Регуляторные, страховые и инфраструктурные реакции действуют в масштабах лет. Как нам сократить этот разрыв? Могут ли защитные механизмы — вроде автоматического патчинга, обнаружения угроз с помощью ИИ или заранее размещённых средств реагирования — соответствовать темпу и масштабу усиленного ИИ нападения? Или эта асимметрия структурна? И как развернуть эти защитные механизмы максимально эффективно?

    Intelligence capabilities for surveillance

    Разведывательные способности для слежки

  • AI’s effect on surveillance: How does AI change how surveillance works? Will it make surveillance cheaper, or more effective, or both?
  • Влияние ИИ на слежку: Как ИИ меняет работу слежки? Сделает ли он слежку дешевле, или эффективнее, или и то, и другое?

    AI systems in the wild

    ИИ-системы «в дикой природе»

    The interaction of people and organizations with AI systems will be a major source of societal change. Understanding the ways AI systems might alter the people and institutions that interact with them is a core focus area for our Societal Impacts team. To study these changes, we are advancing our existing tools and building new ones to carry out our research, ranging from software for better observability of our platform to tools for conducting large-scale qualitative surveys.

    Взаимодействие людей и организаций с ИИ-системами станет крупным источником общественных изменений. Понимание того, как ИИ-системы могут менять людей и институты, которые с ними взаимодействуют, — ключевое направление работы нашей команды Societal Impacts. Чтобы изучать эти изменения, мы развиваем существующие инструменты и создаём новые для проведения исследований — от ПО для лучшей наблюдаемости нашей платформы до инструментов для проведения масштабных качественных опросов.

    The impact of AI to individuals and societies:

    Влияние ИИ на отдельных людей и общества:

  • Group epistemology: When a large fraction of a population consults the same few models, what happens to our epistemology? Can we find ways to measure large-scale changes in beliefs, writing style, and problem-solving approaches that are attributable to shared AI use?
  • Critical thinking: As AI systems become more capable and more trusted, how do we detect and avoid the degradation of human critical thinking skills that may come from increasing deference to AI judgment?
  • Technological interfaces: The interfaces for technologies can determine how people interact with them—televisions make people passive viewers, and computers can make it easier for people to be generative creators. What interfaces can be built to cause AI systems to improve and promote human agency?
  • Managing human-AI systems: How might humans manage teams composed of a mixture of humans and AI systems effectively? And how might this be inverted—how might AI systems manage teams that consist of humans, AIs, or some combination thereof?
  • Групповая эпистемология: Когда значительная доля населения обращается к одним и тем же немногим моделям, что происходит с нашей эпистемологией? Можем ли мы найти способы измерять масштабные изменения в убеждениях, стиле письма и подходах к решению задач, обусловленные совместным использованием ИИ?Критическое мышление: По мере того как ИИ-системы становятся более способными и вызывают больше доверия, как нам выявлять и предотвращать деградацию навыков критического мышления у людей, которая может возникнуть из-за растущего полагания на суждения ИИ?Технологические интерфейсы: Интерфейсы технологий могут определять, как люди с ними взаимодействуют: телевизоры делают людей пассивными зрителями, а компьютеры могут облегчать людям роль созидающих творцов. Какие интерфейсы можно построить, чтобы ИИ-системы улучшали и продвигали человеческую субъектность (agency)? Управление человеко-ИИ-системами: Как люди могут эффективно управлять командами, состоящими из смеси людей и ИИ-систем? И как это может быть перевёрнуто — как ИИ-системы могут управлять командами, состоящими из людей, ИИ или их сочетания?

    Identifying significant impacts from AI:

    Выявление значимых эффектов от ИИ:

  • Behavioral effects: In the same way that social media led to behavioral changes in people, AI may shape human behavior. What kinds of monitoring or measurement can inform researchers about this dynamic?
  • Enabling research: Are there transparency regimes and tools that can enable a broad set of people, not just frontier AI companies, to easily study real-world AI usage?
  • Поведенческие эффекты: Подобно тому, как социальные сети привели к поведенческим изменениям у людей, ИИ может формировать человеческое поведение. Какие виды мониторинга или измерения могут информировать исследователей об этой динамике?Обеспечение возможности исследований: Существуют ли режимы прозрачности и инструменты, которые позволили бы широкому кругу людей, а не только передовым ИИ-компаниям, легко изучать реальное использование ИИ?

    Understanding and governing AI models:

    Понимание ИИ-моделей и управление ими:

  • System “values”: What are the expressed “values” of AI systems and how do these relate to how these systems were trained? More specifically, how can we measure the influence that an AI “constitution” has on behavior of the model once deployed? We’ll extend our previous research on these questions.
  • Governing autonomous agents: What aspects of existing laws, governance systems, and accountability mechanisms could be adapted to autonomous AI agents? For example, how naval law treats abandoned ships has relevance to how the law might treat agents that run without human oversight. Conversely, are there aspects of existing law which already apply to AI agents and shouldn’t?
  • Reliability of agents: What aspects of autonomous AI agents could be adapted to fit into existing laws, governance systems, and accountability mechanisms? For example, can we ensure AI agents have a unique identity that they reliably output, even in the absence of direct human control?
  • AI governance of AI: How effectively can we use AI to govern AI systems? What are areas of AI oversight where humans either have a comparative advantage or a legal or normative requirement to be 'in the loop'?
  • Agent interactions: What kinds of norms emerge in how AI agents interact with one another? How might different agents express different preferences, and how might these influence other agents?
  • «Ценности» систем: Каковы выражаемые «ценности» ИИ-систем и как они связаны с тем, как эти системы обучались? Если конкретнее, как мы можем измерить влияние «конституции» ИИ на поведение модели после развёртывания? Мы расширим наши предыдущие исследования по этим вопросам.Управление автономными агентами: Какие аспекты существующих законов, систем управления и механизмов подотчётности можно было бы адаптировать к автономным ИИ-агентам? Например, то, как морское право обходится с брошенными судами, имеет отношение к тому, как право могло бы обходиться с агентами, работающими без человеческого надзора. И наоборот, есть ли аспекты существующего права, которые уже применимы к ИИ-агентам, но не должны быть?Надёжность агентов: Какие аспекты автономных ИИ-агентов можно адаптировать так, чтобы они вписывались в существующие законы, системы управления и механизмы подотчётности? Например, можем ли мы обеспечить, чтобы ИИ-агенты обладали уникальной идентичностью, которую они надёжно выдают, даже в отсутствие прямого человеческого контроля?ИИ-управление ИИ: Насколько эффективно мы можем использовать ИИ для управления ИИ-системами? В каких областях надзора за ИИ у людей есть сравнительное преимущество либо юридическое или нормативное требование быть «в контуре» (in the loop)?Взаимодействие агентов: Какие нормы возникают в том, как ИИ-агенты взаимодействуют друг с другом? Как разные агенты могут выражать разные предпочтения и как это может влиять на других агентов?

    AI-driven R&D

    ИИ-управляемые исследования и разработки

    As AI systems get more powerful, scientists are using them to carry out more of their research. This means that more scientific research is occurring autonomously or semi-autonomously with less and less active oversight from humans. In AI research itself, increasingly powerful systems may be used to help develop successor versions of themselves. We sometimes call this “AI-driven AI R&D.”

    По мере того как ИИ-системы становятся мощнее, учёные используют их для выполнения всё большей части своих исследований. Это означает, что всё больше научных исследований происходит автономно или полуавтономно при всё меньшем активном надзоре со стороны людей. В самих исследованиях ИИ всё более мощные системы могут использоваться для помощи в разработке своих преемников. Иногда мы называем это «ИИ-управляемыми исследованиями и разработками ИИ».

    AI-driven AI R&D may be a “natural dividend” of making smarter and more capable systems. In the same way that advances in coding capabilities have led to dual-use cyber capabilities, and advances in scientific capabilities may lead to dual-use bio capabilities, advances in complex technical work may naturally yield AI systems which are capable of developing AI systems.

    ИИ-управляемые исследования и разработки ИИ могут оказаться «естественным дивидендом» создания более умных и более способных систем. Подобно тому как успехи в способностях к программированию привели к кибер-способностям двойного назначения, а успехи в научных способностях могут привести к био-способностям двойного назначения, успехи в сложной технической работе могут естественным образом порождать ИИ-системы, способные разрабатывать ИИ-системы.

    AI-driven AI R&D holds within itself the potential for significant danger. As policymakers assess the levers they can pull, it will be crucial to understand how the rate of AI progress is changing, and whether AI research might start to see a compounding return.

    ИИ-управляемые исследования и разработки ИИ таят в себе потенциал значительной опасности. По мере того как политики оценивают доступные им рычаги, будет крайне важно понимать, как меняется темп прогресса ИИ, и может ли исследование ИИ начать давать накапливающуюся отдачу.

    AI for AI R&D

    ИИ для исследований и разработок ИИ

  • Governance of AI R&D: If AI systems are being used to autonomously develop and improve themselves, how do humans exercise meaningful visibility into and control over these systems? What will eventually govern these systems?
  • Fire drill scenarios: How do we run a "fire drill" for an intelligence explosion? What would a tabletop exercise look like that actually tests the decision-making of lab leadership, boards, and governments?
  • Telemetry for AI R&D: How can we measure the aggregate speed of AI research and development? What sorts of telemetry and underlying technical affordances must exist in order to gather this information? How might metrics relating to AI R&D serve as early warning signals for recursive self-improvement?
  • Controlling AI acceleration: If an intelligence explosion was upon us, what intervention points would facilitate slowing or otherwise changing the rate of the explosion? Assuming humans can intervene, which entities should wield this capacity—governments? Companies?
  • Управление исследованиями и разработками ИИ: Если ИИ-системы используются для автономной разработки и улучшения самих себя, как люди сохраняют осмысленную видимость этих систем и контроль над ними? Что в конечном счёте будет управлять этими системами?Сценарии «пожарных учений»: Как провести «пожарные учения» на случай интеллектуального взрыва? Как выглядела бы штабная игра (tabletop exercise), которая действительно проверяет процесс принятия решений руководством лабораторий, советами директоров и правительствами?Телеметрия для исследований и разработок ИИ: Как нам измерять совокупную скорость исследований и разработок ИИ? Какие виды телеметрии и базовых технических возможностей должны существовать, чтобы собирать эту информацию? Как метрики, связанные с исследованиями и разработками ИИ, могли бы служить сигналами раннего предупреждения о рекурсивном самоулучшении? Контроль ускорения ИИ: Если интеллектуальный взрыв уже наступил, какие точки вмешательства помогли бы замедлить или иначе изменить темп взрыва? Если предположить, что люди могут вмешаться, то какие субъекты должны обладать этой возможностью — правительства? Компании?

    AI for R&D in general—that is, AI-driven research in other fields:

    ИИ для исследований и разработок в целом — то есть ИИ-управляемые исследования в других областях:

  • The tech tree: AI is speeding up some sciences far faster than others, depending on data availability, evaluation signals, and how much knowledge is tacit or institutionally gated. How uneven is this gradient, and what does the changing composition of scientific progress imply for which human problems get solved first?
  • The jagged frontier: Model capabilities are stronger in some domains than in others. Domains with large positive externalities—like drug discovery and materials science—receive less investment than their value warrants. Markets steer the direction of model improvement according to private return, but can we improve how models perform to address social externalities?
  • Дерево технологий: ИИ ускоряет одни науки гораздо быстрее, чем другие, в зависимости от доступности данных, оценочных сигналов и того, насколько знание является неявным или институционально закрытым. Насколько неравномерен этот градиент и что меняющийся состав научного прогресса означает для того, какие человеческие проблемы решаются в первую очередь?Зазубренный фронтир: Способности моделей сильнее в одних областях, чем в других. Области с большими положительными внешними эффектами — вроде разработки лекарств и материаловедения — получают меньше инвестиций, чем оправдывает их ценность. Рынки направляют развитие моделей в соответствии с частной отдачей, но можем ли мы улучшить то, как модели работают, для решения задач с социальными внешними эффектами?

    Related content

    Связанные материалы

    2028: Two scenarios for global AI leadership

    2028: Два сценария глобального лидерства в ИИ

    Our views on the AI competition between the US and China.

    Наши взгляды на конкуренцию в области ИИ между США и Китаем.

    Teaching Claude why

    Обучаем Claude понимать «почему»

    New research on how we've reduced agentic misalignment.

    Новое исследование о том, как мы снизили агентную рассогласованность (agentic misalignment).

    Natural Language Autoencoders: Turning Claude’s thoughts into text

    Natural Language Autoencoders: превращаем мысли Claude в текст

    AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

    ИИ-модели вроде Claude говорят словами, но мыслят числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.