How AI assistance impacts the formation of coding skills

Как помощь ИИ влияет на формирование навыков программирования

Исследования показывают, что ИИ помогает людям выполнять часть своей работы быстрее. В наблюдательном исследовании данных Claude.ai мы обнаружили, что ИИ может ускорять некоторые задачи на 80%. Но не сопровождается ли этот рост продуктивности компромиссами? Другие исследования показывают, что при использовании помощи ИИ люди становятся менее вовлечёнными в свою работу и снижают усилия, которые в неё вкладывают, — иначе говоря, перекладывают своё мышление на ИИ.

Неясно, может ли такое когнитивное перекладывание помешать людям развивать навыки в процессе работы или — в случае программирования — понимать системы, которые они создают. Наше последнее исследование, рандомизированное контролируемое испытание с участием разработчиков ПО, изучает этот потенциальный недостаток использования ИИ в работе.

У этого вопроса широкие последствия — для того, как проектировать ИИ-продукты, способствующие обучению, как организациям выстраивать политику в отношении ИИ, а также для устойчивости общества в целом, среди прочего. Мы сосредоточились на программировании — области, где инструменты ИИ стремительно стали стандартом. Здесь ИИ создаёт потенциальное противоречие: по мере того как программирование становится всё более автоматизированным и ускоряет работу, людям по-прежнему будут нужны навыки, чтобы отлавливать ошибки, направлять результат и в конечном счёте обеспечивать контроль над ИИ, развёрнутым в средах с высокими ставками. Даёт ли ИИ короткий путь одновременно к развитию навыков и повышению эффективности? Или прирост продуктивности от помощи ИИ подрывает развитие навыков?

В рамках рандомизированного контролируемого испытания мы изучали: 1) как быстро разработчики ПО осваивали новый навык (в данном случае — Python-библиотеку) с помощью ИИ и без неё; и 2) делало ли использование ИИ их менее склонными понимать код, который они только что написали.

Мы обнаружили, что использование помощи ИИ привело к статистически значимому снижению уровня освоения. На тесте, охватывавшем концепции, которые они применяли всего за несколько минут до этого, участники из группы с ИИ набрали на 17% меньше, чем те, кто писал код вручную, — это эквивалент почти двух буквенных оценок. Использование ИИ немного ускорило выполнение задачи, но это не достигло порога статистической значимости.

Важно, что использование помощи ИИ не обязательно вело к более низкому результату. То, как человек использовал ИИ, влияло на то, сколько информации он усваивал. Участники, продемонстрировавшие более глубокое освоение, использовали помощь ИИ не только для написания кода, но и для формирования понимания в процессе — будь то через уточняющие вопросы, запрос объяснений или постановку концептуальных вопросов во время самостоятельного программирования.

Дизайн исследования

Мы набрали 52 (в основном начинающих) инженеров-программистов, каждый из которых использовал Python как минимум раз в неделю на протяжении более года. Мы также убедились, что они хотя бы немного знакомы с помощью ИИ в программировании и не знакомы с Trio — Python-библиотекой, на которой были основаны наши задачи.

Мы разделили исследование на три части: разминку; основную задачу, состоящую из написания двух разных функций с использованием Trio (что требует понимания концепций асинхронного программирования — навыка, который часто осваивается в профессиональной среде); и тест. Мы сообщили участникам, что после задачи будет тест, но призвали их работать как можно быстрее.

Мы спроектировали задачу по программированию так, чтобы она имитировала то, как человек может осваивать новый инструмент по самостоятельному руководству. Каждому участнику давались описание задачи, стартовый код и краткое объяснение концепций Trio, необходимых для её решения. Мы использовали онлайн-платформу для программирования с ИИ-ассистентом на боковой панели, который имел доступ к коду участников и в любой момент мог выдать правильный код по запросу.1

Дизайн оценивания

При разработке дизайна оценивания мы опирались на исследования в области преподавания информатики, чтобы выделить четыре типа вопросов, обычно используемых для оценки освоения навыков программирования:

Отладка: способность выявлять и диагностировать ошибки в коде. Этот навык критически важен для обнаружения того, что код, сгенерированный ИИ, неверен, и понимания, почему он не работает.Чтение кода: способность читать и понимать, что делает код. Этот навык позволяет людям понимать и проверять написанный ИИ код перед развёртыванием.Написание кода: способность писать или выбирать правильный подход к написанию кода. Низкоуровневое написание кода, например запоминание синтаксиса функций, будет менее важным по мере дальнейшей интеграции инструментов ИИ для программирования, чем высокоуровневое проектирование систем.Концептуальный: способность понимать основные принципы, лежащие в основе инструментов и библиотек. Концептуальное понимание критически важно для оценки того, использует ли сгенерированный ИИ код подходящие паттерны проектирования ПО, соответствующие тому, как библиотека задумана для использования.

Наша оценка в наибольшей степени была сосредоточена на задачах по отладке, чтению кода и концептуальных вопросах, поскольку мы сочли их наиболее важными для обеспечения контроля над тем, что всё чаще, вероятно, будет кодом, сгенерированным ИИ.

Результаты

В среднем участники из группы с ИИ заканчивали примерно на две минуты быстрее, хотя разница не была статистически значимой. Однако наблюдалась значимая разница в результатах теста: группа с ИИ набрала в среднем 50% против 67% в группе, писавшей код вручную, — что эквивалентно почти двум буквенным оценкам (Cohen's d=0.738, p=0.01). Наибольший разрыв в результатах между двумя группами пришёлся на вопросы по отладке, что говорит о том, что способность понимать, когда код неверен и почему он не работает, может быть особой зоной беспокойства, если ИИ препятствует развитию навыков программирования.

Качественный анализ: режимы взаимодействия с ИИ

Нам было особенно интересно понять, как участники выполняли разработанные нами задачи. В рамках качественного анализа мы вручную аннотировали записи экранов, чтобы определить, сколько времени участники тратили на составление запросов, какие типы вопросов задавали, какие ошибки допускали и сколько времени активно занимались написанием кода.

Одним из удивительных результатов оказалось то, сколько времени участники тратили на взаимодействие с ИИ-ассистентом. Некоторые тратили до 11 минут (30% от всего отведённого времени) на составление до 15 запросов. Это помогло объяснить, почему в среднем участники с ИИ заканчивали быстрее, хотя прирост продуктивности не был статистически значимым. Мы ожидаем, что ИИ с большей вероятностью значимо повышает продуктивность при использовании на повторяющихся или знакомых задачах.

Неудивительно, что участники группы без ИИ сталкивались с большим числом ошибок. Среди них были ошибки в синтаксисе и в концепциях Trio, причём последние напрямую соотносились с темами, проверявшимися в оценивании. Наша гипотеза состоит в том, что участники, столкнувшиеся с большим числом ошибок Trio (а именно контрольная группа), вероятно, улучшили свои навыки отладки, самостоятельно разрешая эти ошибки.

Затем мы сгруппировали участников по тому, как они взаимодействовали с ИИ, выявив различные паттерны, приводившие к разным результатам по времени выполнения и обучению.

Паттерны взаимодействия с низкими результатами: паттерны с низкими результатами в целом включали сильную зависимость от ИИ — либо в генерации кода, либо в отладке. Средние результаты теста в этой группе были ниже 40%. Они демонстрировали меньше самостоятельного мышления и больше когнитивного перекладывания. Мы дополнительно разделили их на:

Делегирование ИИ (n=4): участники этой группы полностью полагались на ИИ в написании кода и выполнении задачи. Они выполняли задачу быстрее всех и сталкивались с малым числом ошибок или вовсе без них.Прогрессирующая зависимость от ИИ (n=4): участники этой группы начинали с одного-двух вопросов, но в итоге передавали всё написание кода ИИ-ассистенту. Они плохо справились с тестом во многом из-за того, что не освоили ни одной из концепций второй задачи.Итеративная отладка с ИИ (n=4): участники этой группы полагались на ИИ в отладке или проверке своего кода. Они задавали больше вопросов, но использовали ассистента для решения проблем, а не для прояснения собственного понимания. В результате они показали слабые результаты и к тому же медленнее выполняли две задачи.

Паттерны взаимодействия с высокими результатами: к паттернам с высокими результатами теста мы относили поведение, при котором средний результат теста составлял 65% или выше. Участники этих кластеров использовали ИИ как для генерации кода, так и для концептуальных запросов.

Генерация, затем понимание (n=2): участники этой группы сначала генерировали код, а затем вручную копировали или вставляли его в свою работу. После генерации кода они задавали ИИ-ассистенту уточняющие вопросы для улучшения понимания. Эти участники не были особенно быстрыми при использовании ИИ, но показали более высокий уровень понимания на тесте. Интересно, что этот подход выглядел почти так же, как у группы делегирования ИИ, за исключением того, что они использовали ИИ для проверки собственного понимания.Гибрид код-объяснение (n=3): участники этой группы составляли гибридные запросы, в которых просили сгенерировать код вместе с объяснениями сгенерированного кода. Чтение и осмысление запрошенных объяснений занимало больше времени, но способствовало их пониманию.Концептуальное исследование (n=7): участники этой группы задавали только концептуальные вопросы и опирались на улучшившееся понимание для выполнения задачи. Хотя эта группа сталкивалась со множеством ошибок, они также самостоятельно их разрешали. В среднем этот режим был самым быстрым среди паттернов с высокими результатами и вторым по скорости в целом, после делегирования ИИ.

Наш качественный анализ не устанавливает причинно-следственной связи между паттернами взаимодействия и результатами обучения, но он указывает на поведение, ассоциированное с разными результатами обучения.

Заключение

Наши результаты говорят о том, что агрессивное внедрение ИИ в рабочую среду, особенно в сфере разработки ПО, сопряжено с компромиссами. Выводы подчёркивают, что не всякая опора на ИИ одинакова: то, как мы взаимодействуем с ИИ в стремлении быть эффективными, влияет на то, сколько мы усваиваем. В условиях нехватки времени и организационного давления начинающие разработчики или другие специалисты могут полагаться на ИИ, чтобы выполнить задачи как можно быстрее, ценой развития навыков — и, что особенно важно, способности отлаживать проблемы, когда что-то идёт не так.

Хотя эти результаты предварительны, они указывают на важные соображения по мере того, как компании переходят к большему соотношению написанного ИИ кода к написанному человеком. Выгоды в продуктивности могут достигаться ценой навыков, необходимых для валидации написанного ИИ кода, если развитие навыков начинающих инженеров было заторможено использованием ИИ с самого начала. Менеджерам следует осознанно продумывать, как разворачивать инструменты ИИ в масштабе, и рассматривать системы или продуманные проектные решения, которые гарантируют, что инженеры продолжают учиться в процессе работы — и тем самым способны осуществлять осмысленный контроль над системами, которые они создают.

Для начинающих работников в разработке ПО или любой другой отрасли наше исследование можно рассматривать как небольшое свидетельство в пользу ценности осознанного развития навыков при работе с инструментами ИИ. Когнитивное усилие — и даже мучительное застревание — вероятно, важно для формирования мастерства. Этот урок применим и к тому, как люди выбирают работать с ИИ и какие инструменты используют. Крупные LLM-сервисы также предоставляют режимы обучения (например, режимы Learning и Explanatory в Claude Code или Study Mode в ChatGPT), призванные способствовать пониманию. Знание того, как люди учатся при использовании ИИ, может также помочь определить, как мы его проектируем; помощь ИИ должна позволять людям работать эффективнее и одновременно развивать новые навыки.

Предыдущие исследования давали смешанные результаты относительно того, помогает ли ИИ продуктивности программирования или мешает ей. Наше собственное исследование показало, что ИИ может сокращать время выполнения некоторых рабочих задач на 80% — результат, который может показаться противоречащим представленным здесь выводам. Но эти два исследования задают разные вопросы и используют разные методы: наша более ранняя наблюдательная работа измеряла продуктивность на задачах, где у участников уже были соответствующие навыки, а это исследование рассматривает, что происходит, когда люди осваивают что-то новое. Возможно, что ИИ одновременно ускоряет продуктивность на хорошо развитых навыках и затрудняет освоение новых, хотя для понимания этой взаимосвязи нужны дальнейшие исследования.

Это исследование — лишь первый шаг к выяснению того, как сотрудничество человека и ИИ влияет на опыт работников. Наша выборка была относительно небольшой, а наша оценка измеряла понимание вскоре после задачи по программированию. Предсказывает ли немедленный результат теста долгосрочное развитие навыков — важный вопрос, который это исследование не разрешает. Остаётся множество нерешённых вопросов, которые, как мы надеемся, изучат будущие исследования, например влияние ИИ на задачи помимо программирования, ослабевает ли этот эффект в долгосрочной перспективе по мере того, как инженеры развивают большую беглость, и отличается ли помощь ИИ от помощи человека в процессе обучения.

В конечном счёте, чтобы учесть развитие навыков в присутствии ИИ, нам нужен более широкий взгляд на влияние ИИ на работников. В рабочей среде, дополненной ИИ, прирост продуктивности важен, но важно и долгосрочное развитие той экспертизы, от которой этот прирост зависит.

Подробности см. в полной статье.

Благодарности

Этот проект возглавили Judy Hanwen Shen и Alex Tamkin. Редакторскую поддержку этого поста в блоге оказали Jake Eaton, Stuart Ritchie и Sarah Pollack.

Мы хотели бы поблагодарить Ethan Perez, Miranda Zhang и Henry Sleight за то, что они сделали этот проект возможным в рамках программы Anthropic Safety Fellows Program. Мы также хотели бы поблагодарить Matthew Jörke, Juliette Woodrow, Sarah Wu, Elizabeth Childs, Roshni Sahoo, Nate Rush, Julian Michael и Rose Wang за отзывы по дизайну эксперимента.

@misc{aiskillformation2026, author = {Shen, Judy Hanwen and Tamkin, Alex}, title = {How AI Impacts Skill Formation}, year = {2026}, eprint = {2601.20245}, archivePrefix = {arXiv}, primaryClass = {cs.LG}, eprinttype = {arxiv} }

Сноски

Важно, что эта конфигурация отличается от агентных продуктов для программирования, таких как Claude Code; мы ожидаем, что влияние подобных программ на развитие навыков, вероятно, будет более выраженным, чем результаты, представленные здесь.

Связанные материалы

2028: два сценария глобального лидерства в области ИИ

Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.

Обучая Claude почему

Новое исследование о том, как мы снизили агентную рассогласованность.

Natural Language Autoencoders: превращение мыслей Claude в текст

ИИ-модели вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.