Anthropic Education Report: The AI Fluency Index

Отчёт Anthropic Education: Индекс ИИ-грамотности

Люди встраивают ИИ-инструменты в свои повседневные привычки с темпом, который ещё год назад было бы трудно предсказать. Но само по себе внедрение мало что говорит нам о влиянии этих инструментов. Ещё один, не менее важный вопрос: по мере того как ИИ становится частью повседневной жизни, развивают ли люди навыки, чтобы использовать его хорошо?

Предыдущие отчёты Anthropic Education изучали, как студенты университетов и преподаватели используют Claude. Мы выяснили, что студенты применяют его для создания отчётов и анализа результатов лабораторных работ; преподаватели — для подготовки учебных материалов и автоматизации рутинной работы. Но мы знаем, что любой человек, который использует ИИ, скорее всего, становится лучше в том, что он делает. Нам захотелось изучить это глубже и понять, как люди, использующие ИИ, со временем развивают «грамотность» в работе с этой технологией.

В этом отчёте мы начинаем отвечать на этот вопрос. Мы отслеживаем наличие или отсутствие таксономии моделей поведения, которые мы считаем отражением ИИ-грамотности, на большой выборке анонимизированных диалогов.

В соответствии с нашим недавним Экономическим индексом, мы обнаруживаем, что самое распространённое проявление ИИ-грамотности — аугментативное: восприятие ИИ как партнёра по мышлению, а не полное делегирование работы. Более того, такие диалоги демонстрируют более чем вдвое больше моделей поведения ИИ-грамотности, чем быстрые диалоги в формате коротких обменов репликами.

Но мы также обнаруживаем, что когда ИИ создаёт артефакты — включая приложения, код, документы или интерактивные инструменты — пользователи реже ставят под сомнение его рассуждения (-3,1 процентного пункта) или выявляют недостающий контекст (-5,2 п.п.). Это согласуется со схожими закономерностями, которые мы наблюдали в нашем недавнем исследовании навыков программирования.

Эти первоначальные результаты дают нам отправную точку, которую мы можем использовать для изучения развития ИИ-грамотности со временем.

Измерение ИИ-грамотности

Чтобы количественно оценить ИИ-грамотность, мы используем фреймворк 4D AI Fluency, разработанный профессорами Rick Dakan и Joseph Feller в сотрудничестве с Anthropic. Этот фреймворк помогает нам определить 24 конкретные модели поведения, которые мы считаем примерами безопасного и эффективного взаимодействия человека и ИИ.

Из этих 24 моделей поведения 11 (перечисленных на графике ниже) напрямую наблюдаемы, когда люди взаимодействуют с Claude на Claude.ai или Claude Code. Остальные 13 (включая такие вещи, как честность в отношении роли ИИ в работе или учёт последствий распространения результатов, созданных ИИ) происходят за пределами чат-интерфейса Claude.ai, поэтому нам гораздо сложнее их отследить. Эти ненаблюдаемые модели поведения, возможно, относятся к одним из самых значимых измерений ИИ-грамотности, поэтому в будущей работе мы планируем использовать качественные методы для их оценки.

Для этого исследования мы сосредоточились на 11 напрямую наблюдаемых моделях поведения. Мы использовали наш инструмент анализа, сохраняющий конфиденциальность, чтобы изучить 9830 диалогов, включавших несколько обменов репликами с Claude на Claude.ai в течение 7-дневного окна в январе 2026 года.1 Затем мы измерили наличие или отсутствие 11 моделей поведения; каждый диалог мог демонстрировать признаки нескольких моделей поведения. Мы оценили надёжность нашей выборки, проверив, согласуются ли наши результаты по каждому дню недели и по разным языкам в нашей выборке (мы обнаружили, что согласуются).2 В итоге это и дало нам Индекс ИИ-грамотности: базовое измерение того, как люди взаимодействуют с ИИ сегодня, и основу для отслеживания того, как эти модели поведения эволюционируют со временем по мере изменения моделей.

Результаты

В нашем первом исследовании мы обнаружили две основные закономерности в использовании Claude: сильную связь между ИИ-грамотностью и итеративным уточнением через более длинные диалоги с Claude, а также изменения в fluency-поведении пользователей при программировании или создании других результатов.

Грамотность тесно связана с диалогами, в которых проявляются итерации и уточнение

Одна из самых сильных закономерностей в данных — связь между итеративным уточнением и любой другой моделью поведения ИИ-грамотности. 85,7% диалогов в нашей выборке демонстрировали итерации и уточнение: пользователи опирались на предыдущие обмены репликами, чтобы доработать свою работу, вместо того чтобы принять первый ответ и перейти к новой задаче. В таких диалогах наблюдались существенно более высокие показатели других fluency-поведений, как показано на графике ниже:

В среднем диалоги с итерациями и уточнением демонстрируют на 2,67 fluency-поведений больше — примерно вдвое выше неитеративного показателя в 1,33. Это особенно заметно для fluency-поведений, связанных с оценкой результатов Claude. В диалогах с итерациями и уточнением пользователи в 5,6 раза чаще ставят под сомнение рассуждения Claude и в 4 раза чаще выявляют недостающий контекст.

При создании результатов пользователи становятся более директивными, но менее критичными в оценке

12,3% диалогов в нашей выборке были связаны с артефактами, включая код, документы, интерактивные инструменты и другие результаты. В этих диалогах люди взаимодействовали с ИИ совсем иначе.

В частности, мы обнаружили существенно более высокие показатели поведения, относящегося к более широким темам «описания» и «делегирования». Например, в таких диалогах пользователи чаще уточняют свою цель (+14,7 п.п.), задают формат (+14,5 п.п.), приводят примеры (+13,4 п.п.) и итерируют (+9,7 п.п.) по сравнению с диалогами без артефактов. Иными словами, они делают больше для того, чтобы направить ИИ в самом начале своей работы.

Но эта директивность не соответствует более высокому уровню оценки или критического осмысления. На самом деле — наоборот: в диалогах, где создаются артефакты, пользователи реже выявляют недостающий контекст (-5,2 п.п.), проверяют факты (-3,7 п.п.) или ставят под сомнение рассуждения модели, прося её объяснить своё обоснование (-3,1 п.п.). Наш Экономический индекс показывает, что — что неудивительно — именно с самыми сложными задачами Claude справляется хуже всего, поэтому это представляется особенно примечательным.

У этой закономерности есть несколько возможных объяснений. Возможно, дело в том, что Claude создаёт отшлифованные, выглядящие функциональными результаты, для которых не кажется необходимым задавать дополнительные вопросы: если работа выглядит завершённой, пользователи могут так к ней и относиться. Но также возможно, что диалоги с артефактами связаны с задачами, где фактологическая точность важна меньше, чем эстетика или функциональность (например, проектирование интерфейса в противоположность написанию юридического анализа). Или же пользователи могут оценивать артефакты через каналы, которые мы не можем наблюдать — запуская код, тестируя приложение в другом месте, делясь черновиком с коллегой — а не выражая свою оценку в рамках того же исходного диалога.

Каким бы ни было объяснение, на эту закономерность стоит обратить внимание. По мере того как ИИ-модели становятся всё более способными производить отшлифованно выглядящие результаты, способность критически оценивать эти результаты — будь то в прямом диалоге или иными способами — будет становиться более ценной, а не менее.

Развитие собственной ИИ-грамотности

Ограничения

У этого исследования есть важные оговорки:

Ограничения выборки: Наша выборка отражает пользователей Claude.ai, которые вели многошаговые диалоги в течение одной недели в январе 2026 года. Поскольку мы считаем, что это всё ещё относительно ранняя стадия распространения ИИ-инструментов, эти пользователи, вероятно, смещены в сторону ранних последователей, которые уже комфортно чувствуют себя с ИИ — то есть тех, кто может не представлять более широкую популяцию. Нашу выборку следует понимать как базовую точку отсчёта для этой популяции, а не как универсальный эталон. Поскольку данные собраны за одну неделю, они также не способны уловить какие-либо сезонные или продольные эффекты. И поскольку исследование сосредоточено на Claude.ai, мы не фиксируем, как пользователи взаимодействуют с другими ИИ-платформами.Частичный охват фреймворка: В этом исследовании мы оценили только 11 из 24 поведенческих индикаторов, которые напрямую наблюдаемы в диалогах на Claude.ai. Все модели поведения, связанные с ответственным и этичным использованием результатов ИИ, происходят за пределами этих диалогов и не фиксируются.Бинарная классификация: Для каждого диалога в нашей выборке мы классифицируем каждую модель поведения как присутствующую или отсутствующую. Но это, вероятно, упускает существенные нюансы — такие как спорные или частичные проявления моделей поведения или пересекающиеся сигналы между ними.Неявные модели поведения: Пользователи могут демонстрировать fluency-поведение мысленно (например, проверяя утверждения Claude по собственным знаниям), не выражая этого в диалоге. Это представляется особенно актуальным для наших данных об артефактах — пользователи могут оценивать результаты Claude через тестирование и практическое использование, а не через видимое в диалоге поведение.Корреляционные выводы: Выявленные нами связи носят корреляционный характер. Мы не знаем, вызывает ли одна модель поведения другую, или же обе отражают некий общий лежащий в основе фактор, такой как сложность задачи или предпочтения пользователя.

Взгляд в будущее

Это исследование даёт нам базовую точку отсчёта, которую мы можем использовать для оценки того, как ИИ-грамотность меняется со временем. По мере того как возможности ИИ развиваются, а внедрение растёт, мы стремимся выяснить, развивают ли пользователи более сложные модели поведения, какие навыки возникают естественным образом с опытом, а какие потребуют более целенаправленного развития.

В будущей работе мы планируем расширить наш анализ в нескольких направлениях. Во-первых, мы планируем провести «когортные анализы», сравнивая новых пользователей с опытными, чтобы понять, как знакомство с ИИ коррелирует с развитием грамотности. Во-вторых, мы планируем использовать качественные методы исследования для оценки моделей поведения, которые напрямую не наблюдаемы в диалогах на Claude.ai. И в-третьих, мы стремимся изучить причинно-следственные вопросы, которые поднимает эта работа — например, ведёт ли поощрение итеративных диалогов к более глубокой критической оценке, или существуют ли другие вмешательства, которые могли бы поощрять это более эффективно.

Кроме того, мы хотели бы изучить fluency-поведение в Claude Code — платформе, которой пользуются в основном разработчики программного обеспечения. В рамках подготовки к этому исследованию мы провели предварительный анализ, который выявил согласованность между диалогами в Claude Code и диалогами в Claude.ai. Но это пока предварительные данные, и совершенно иная база пользователей и функциональность Claude Code предполагают, что необходимо более существенное исследование.

Мы ожидаем, что природа ИИ-грамотности будет существенно развиваться и эволюционировать со временем. С помощью этого и будущих исследований мы стремимся сделать это развитие видимым, измеримым и применимым на практике.

Bibtex

Если вы хотите процитировать эту публикацию, можете использовать следующий ключ Bibtex:

@online{swanson2026aifluency, author = {Kristen Swanson, Drew Bent, and Zoe Ludwig and Rick Dakan and Joe Feller}, title = {Anthropic Education Report: The AI Fluency Index}, date = {2026-02-16}, year = {2026}, url = {https://www.anthropic.com/news/anthropic-education-report-the-ai-fluency-index}, }

Благодарности

Kristen Swanson разработала исследование, руководила анализом и написала этот отчёт. Zoe Ludwig и Drew Bent внесли вклад в согласование фреймворка, формулировки и рецензирование. Фреймворк 4D для ИИ-грамотности был разработан Rick Dakan и Joe Feller. Zack Lee обеспечил техническую поддержку. Hanah Ho помогла визуализировать данные. Keir Bradwell, Rebecca Hiscott, Ryan Donegan и Sarah Pollack обеспечили коммуникационное рецензирование и руководство.

Сноски

1 При исследовании того, как люди используют ИИ-модели, защита конфиденциальности пользователей имеет первостепенное значение. Для этого проекта мы использовали наш инструмент анализа, сохраняющий конфиденциальность, который обеспечивает выявление паттернов использования ИИ «снизу вверх», сводя диалоги пользователей к высокоуровневым сводкам использования, таким как «отладить код» или «объяснить экономические концепции». Для этого анализа мы запустили 11 отдельных бинарных классификаторов (по одному на каждый поведенческий индикатор), используя Claude Sonnet 4 для поведенческой классификации и Claude Haiku 3.5 для определения языка. Это означает, что один диалог мог указывать на несколько поведенческих индикаторов ИИ-грамотности. Диалоги были отфильтрованы до содержательных обменов с несколькими репликами с помощью отборщика, который исключал приветствия, односложные обмены, тестовые сообщения и чистую болтовню. Ручная проверка 200 чатов, которые были отсеяны, показала, что чаты подобного характера не соответствовали ни одному из индикаторов ИИ-грамотности, поэтому мы уверены, что отборщик не повлиял на относительные ранжирования наблюдаемых в исследовании fluency-поведений. В анализе не фигурирует никакой персонально идентифицируемой информации.

2 Поведенческие индикаторы рассчитывались по недельной выборке (20–26 января 2025 года) и оставались стабильными изо дня в день, причём большинство моделей поведения варьировались всего на 1–5 процентных пунктов. По субботам показатели некоторых моделей поведения были немного ниже (например, итерации и уточнение составляли 81,4% в субботу по сравнению с пиком в будний день в 87,9%), что указывает на умеренные различия между непринуждённым и целенаправленным использованием, но ни один день не показал значимого структурного отклонения. Показатели также были согласованы по шести языкам (английский, французский, испанский, китайский, японский и немецкий), причём большинство моделей поведения варьировались на 3 процентных пункта или менее между языковыми группами. В совокупности эти результаты позволяют предположить, что зафиксированные здесь поведенческие паттерны отражают устойчивые привычки в том, как люди взаимодействуют с ИИ, а не являются артефактами времени, дня недели или языкового и культурного контекста.

Связанные материалы

2028: два сценария глобального лидерства в ИИ

Наши взгляды на конкуренцию в области ИИ между США и Китаем.

Учим Claude понимать «почему»

Новое исследование о том, как мы снизили агентную рассогласованность.

Natural Language Autoencoders: превращение мыслей Claude в текст

ИИ-модели вроде Claude разговаривают словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.