How AI assistance impacts the formation of coding skills

How AI assistance impacts the formation of coding skills

Как помощь ИИ влияет на формирование навыков программирования

Research shows AI helps people do parts of their job faster. In an observational study of Claude.ai data, we found AI can speed up some tasks by 80%. But does this increased productivity come with trade-offs? Other research shows that when people use AI assistance, they become less engaged with their work and reduce the effort they put into doing it—in other words, they offload their thinking to AI.

Исследования показывают, что ИИ помогает людям выполнять часть своей работы быстрее. В наблюдательном исследовании данных Claude.ai мы обнаружили, что ИИ может ускорять некоторые задачи на 80%. Но не сопровождается ли этот рост продуктивности компромиссами? Другие исследования показывают, что при использовании помощи ИИ люди становятся менее вовлечёнными в свою работу и снижают усилия, которые в неё вкладывают, — иначе говоря, перекладывают своё мышление на ИИ.

It’s unclear whether this cognitive offloading can prevent people from growing their skills on the job, or—in the case of coding—understanding the systems they’re building. Our latest study, a randomized controlled trial with software developers as participants, investigates this potential downside of using AI at work.

Неясно, может ли такое когнитивное перекладывание помешать людям развивать навыки в процессе работы или — в случае программирования — понимать системы, которые они создают. Наше последнее исследование, рандомизированное контролируемое испытание с участием разработчиков ПО, изучает этот потенциальный недостаток использования ИИ в работе.

This question has broad implications—for how to design AI products that facilitate learning, for how workplaces should approach AI policies, and for broader societal resilience, among others. We focused on coding, a field where AI tools have rapidly become standard. Here, AI creates a potential tension: as coding grows more automated and speeds up work, humans will still need the skills to catch errors, guide output, and ultimately provide oversight for AI deployed in high-stakes environments. Does AI provide a shortcut to both skill development and increased efficiency? Or do productivity increases from AI assistance undermine skill development?

У этого вопроса широкие последствия — для того, как проектировать ИИ-продукты, способствующие обучению, как организациям выстраивать политику в отношении ИИ, а также для устойчивости общества в целом, среди прочего. Мы сосредоточились на программировании — области, где инструменты ИИ стремительно стали стандартом. Здесь ИИ создаёт потенциальное противоречие: по мере того как программирование становится всё более автоматизированным и ускоряет работу, людям по-прежнему будут нужны навыки, чтобы отлавливать ошибки, направлять результат и в конечном счёте обеспечивать контроль над ИИ, развёрнутым в средах с высокими ставками. Даёт ли ИИ короткий путь одновременно к развитию навыков и повышению эффективности? Или прирост продуктивности от помощи ИИ подрывает развитие навыков?

In a randomized controlled trial, we examined 1) how quickly software developers picked up a new skill (in this case, a Python library) with and without AI assistance; and 2) whether using AI made them less likely to understand the code they’d just written.

В рамках рандомизированного контролируемого испытания мы изучали: 1) как быстро разработчики ПО осваивали новый навык (в данном случае — Python-библиотеку) с помощью ИИ и без неё; и 2) делало ли использование ИИ их менее склонными понимать код, который они только что написали.

We found that using AI assistance led to a statistically significant decrease in mastery. On a quiz that covered concepts they’d used just a few minutes before, participants in the AI group scored 17% lower than those who coded by hand, or the equivalent of nearly two letter grades. Using AI sped up the task slightly, but this didn’t reach the threshold of statistical significance.

Мы обнаружили, что использование помощи ИИ привело к статистически значимому снижению уровня освоения. На тесте, охватывавшем концепции, которые они применяли всего за несколько минут до этого, участники из группы с ИИ набрали на 17% меньше, чем те, кто писал код вручную, — это эквивалент почти двух буквенных оценок. Использование ИИ немного ускорило выполнение задачи, но это не достигло порога статистической значимости.

Importantly, using AI assistance didn’t guarantee a lower score. How someone used AI influenced how much information they retained. The participants who showed stronger mastery used AI assistance not just to produce code but to build comprehension while doing so—whether by asking follow-up questions, requesting explanations, or posing conceptual questions while coding independently.

Важно, что использование помощи ИИ не обязательно вело к более низкому результату. То, как человек использовал ИИ, влияло на то, сколько информации он усваивал. Участники, продемонстрировавшие более глубокое освоение, использовали помощь ИИ не только для написания кода, но и для формирования понимания в процессе — будь то через уточняющие вопросы, запрос объяснений или постановку концептуальных вопросов во время самостоятельного программирования.

Study design

Дизайн исследования

We recruited 52 (mostly junior) software engineers, each of whom had been using Python at least once a week for over a year. We also made sure they were at least somewhat familiar with AI coding assistance, and were unfamiliar with Trio, the Python library on which our tasks were based.

Мы набрали 52 (в основном начинающих) инженеров-программистов, каждый из которых использовал Python как минимум раз в неделю на протяжении более года. Мы также убедились, что они хотя бы немного знакомы с помощью ИИ в программировании и не знакомы с Trio — Python-библиотекой, на которой были основаны наши задачи.

We split the study into three parts: a warm-up; the main task consisting of coding two different features using Trio (which requires understanding concepts related to asynchronous programming, a skill often learned in a professional setting); and a quiz. We told participants that a quiz would follow the task, but encouraged them to work as quickly as possible.

Мы разделили исследование на три части: разминку; основную задачу, состоящую из написания двух разных функций с использованием Trio (что требует понимания концепций асинхронного программирования — навыка, который часто осваивается в профессиональной среде); и тест. Мы сообщили участникам, что после задачи будет тест, но призвали их работать как можно быстрее.

We designed the coding task to mimic how someone might learn a new tool through a self-guided tutorial. Each participant was given a problem description, starter code, and a brief explanation of the Trio concepts needed to solve it. We used an online coding platform with an AI assistant in the sidebar which had access to participants’ code and could at any time produce the correct code if asked.¹

Мы спроектировали задачу по программированию так, чтобы она имитировала то, как человек может осваивать новый инструмент по самостоятельному руководству. Каждому участнику давались описание задачи, стартовый код и краткое объяснение концепций Trio, необходимых для её решения. Мы использовали онлайн-платформу для программирования с ИИ-ассистентом на боковой панели, который имел доступ к коду участников и в любой момент мог выдать правильный код по запросу.1

Evaluation design

Дизайн оценивания

In our evaluation design, we drew on research in computer science education to identify four types of questions commonly used to assess mastery of coding skills:

При разработке дизайна оценивания мы опирались на исследования в области преподавания информатики, чтобы выделить четыре типа вопросов, обычно используемых для оценки освоения навыков программирования:

Отладка: способность выявлять и диагностировать ошибки в коде. Этот навык критически важен для обнаружения того, что код, сгенерированный ИИ, неверен, и понимания, почему он не работает.Чтение кода: способность читать и понимать, что делает код. Этот навык позволяет людям понимать и проверять написанный ИИ код перед развёртыванием.Написание кода: способность писать или выбирать правильный подход к написанию кода. Низкоуровневое написание кода, например запоминание синтаксиса функций, будет менее важным по мере дальнейшей интеграции инструментов ИИ для программирования, чем высокоуровневое проектирование систем.Концептуальный: способность понимать основные принципы, лежащие в основе инструментов и библиотек. Концептуальное понимание критически важно для оценки того, использует ли сгенерированный ИИ код подходящие паттерны проектирования ПО, соответствующие тому, как библиотека задумана для использования.

Our assessment focused most heavily on debugging, code reading, and conceptual problems, as we considered these the most important for providing oversight of what is increasingly likely to be AI-generated code.

Наша оценка в наибольшей степени была сосредоточена на задачах по отладке, чтению кода и концептуальных вопросах, поскольку мы сочли их наиболее важными для обеспечения контроля над тем, что всё чаще, вероятно, будет кодом, сгенерированным ИИ.

Results

Результаты

On average, participants in the AI group finished about two minutes faster, although the difference was not statistically significant. There was, however, a significant difference in test scores: the AI group averaged 50% on the quiz, compared to 67% in the hand-coding group—or the equivalent of nearly two letter grades (Cohen's d=0.738, p=0.01). The largest gap in scores between the two groups was on debugging questions, suggesting that the ability to understand when code is incorrect and why it fails may be a particular area of concern if AI impedes coding development.

В среднем участники из группы с ИИ заканчивали примерно на две минуты быстрее, хотя разница не была статистически значимой. Однако наблюдалась значимая разница в результатах теста: группа с ИИ набрала в среднем 50% против 67% в группе, писавшей код вручную, — что эквивалентно почти двум буквенным оценкам (Cohen's d=0.738, p=0.01). Наибольший разрыв в результатах между двумя группами пришёлся на вопросы по отладке, что говорит о том, что способность понимать, когда код неверен и почему он не работает, может быть особой зоной беспокойства, если ИИ препятствует развитию навыков программирования.

Qualitative analysis: AI interaction modes

Качественный анализ: режимы взаимодействия с ИИ

We were particularly interested in understanding how participants went about completing the tasks we designed. In our qualitative analysis, we manually annotated screen recordings to identify how much time participants spent composing queries, what types of questions they asked, the types of errors they made, and how much time they spent actively coding.

Нам было особенно интересно понять, как участники выполняли разработанные нами задачи. В рамках качественного анализа мы вручную аннотировали записи экранов, чтобы определить, сколько времени участники тратили на составление запросов, какие типы вопросов задавали, какие ошибки допускали и сколько времени активно занимались написанием кода.

One surprising result was how much time participants spent interacting with the AI assistant. Several took up to 11 minutes (30% of the total time allotted) composing up to 15 queries. This helped to explain why, on average, participants using AI finished faster although the productivity improvement was not statistically significant. We expect AI would be more likely to significantly increase productivity when used on repetitive or familiar tasks.

Одним из удивительных результатов оказалось то, сколько времени участники тратили на взаимодействие с ИИ-ассистентом. Некоторые тратили до 11 минут (30% от всего отведённого времени) на составление до 15 запросов. Это помогло объяснить, почему в среднем участники с ИИ заканчивали быстрее, хотя прирост продуктивности не был статистически значимым. Мы ожидаем, что ИИ с большей вероятностью значимо повышает продуктивность при использовании на повторяющихся или знакомых задачах.

Unsurprisingly, participants in the No AI group encountered more errors. These included errors in syntax and in Trio concepts, the latter of which mapped directly to topics tested on the evaluation. Our hypothesis is that the participants who encountered more Trio errors (namely, the control group) likely improved their debugging skills through resolving these errors independently.

Неудивительно, что участники группы без ИИ сталкивались с большим числом ошибок. Среди них были ошибки в синтаксисе и в концепциях Trio, причём последние напрямую соотносились с темами, проверявшимися в оценивании. Наша гипотеза состоит в том, что участники, столкнувшиеся с большим числом ошибок Trio (а именно контрольная группа), вероятно, улучшили свои навыки отладки, самостоятельно разрешая эти ошибки.

We then grouped participants by how they interacted with AI, identifying distinct patterns that led to different outcomes in completion time and learning.

Затем мы сгруппировали участников по тому, как они взаимодействовали с ИИ, выявив различные паттерны, приводившие к разным результатам по времени выполнения и обучению.

Low-scoring interaction patterns: The low-scoring patterns generally involved a heavy reliance on AI, either through code generation or debugging. The average quiz scores in this group were less than 40%. They showed less independent thinking and more cognitive offloading. We further separated them into:

Паттерны взаимодействия с низкими результатами: паттерны с низкими результатами в целом включали сильную зависимость от ИИ — либо в генерации кода, либо в отладке. Средние результаты теста в этой группе были ниже 40%. Они демонстрировали меньше самостоятельного мышления и больше когнитивного перекладывания. Мы дополнительно разделили их на:

Делегирование ИИ (n=4): участники этой группы полностью полагались на ИИ в написании кода и выполнении задачи. Они выполняли задачу быстрее всех и сталкивались с малым числом ошибок или вовсе без них.Прогрессирующая зависимость от ИИ (n=4): участники этой группы начинали с одного-двух вопросов, но в итоге передавали всё написание кода ИИ-ассистенту. Они плохо справились с тестом во многом из-за того, что не освоили ни одной из концепций второй задачи.Итеративная отладка с ИИ (n=4): участники этой группы полагались на ИИ в отладке или проверке своего кода. Они задавали больше вопросов, но использовали ассистента для решения проблем, а не для прояснения собственного понимания. В результате они показали слабые результаты и к тому же медленнее выполняли две задачи.

High-scoring interaction patterns: We considered high-scoring quiz patterns to be behaviors where the average quiz score was 65% or higher. Participants in these clusters used AI both for code generation and conceptual queries.

Паттерны взаимодействия с высокими результатами: к паттернам с высокими результатами теста мы относили поведение, при котором средний результат теста составлял 65% или выше. Участники этих кластеров использовали ИИ как для генерации кода, так и для концептуальных запросов.

Генерация, затем понимание (n=2): участники этой группы сначала генерировали код, а затем вручную копировали или вставляли его в свою работу. После генерации кода они задавали ИИ-ассистенту уточняющие вопросы для улучшения понимания. Эти участники не были особенно быстрыми при использовании ИИ, но показали более высокий уровень понимания на тесте. Интересно, что этот подход выглядел почти так же, как у группы делегирования ИИ, за исключением того, что они использовали ИИ для проверки собственного понимания.Гибрид код-объяснение (n=3): участники этой группы составляли гибридные запросы, в которых просили сгенерировать код вместе с объяснениями сгенерированного кода. Чтение и осмысление запрошенных объяснений занимало больше времени, но способствовало их пониманию.Концептуальное исследование (n=7): участники этой группы задавали только концептуальные вопросы и опирались на улучшившееся понимание для выполнения задачи. Хотя эта группа сталкивалась со множеством ошибок, они также самостоятельно их разрешали. В среднем этот режим был самым быстрым среди паттернов с высокими результатами и вторым по скорости в целом, после делегирования ИИ.

Our qualitative analysis does not draw a causal link between interaction patterns and learning outcomes, but it does point to behaviors associated with different learning outcomes.

Наш качественный анализ не устанавливает причинно-следственной связи между паттернами взаимодействия и результатами обучения, но он указывает на поведение, ассоциированное с разными результатами обучения.

Conclusion

Заключение

Our results suggest that incorporating AI aggressively into the workplace, particularly with respect to software engineering, comes with trade-offs. The findings highlight that not all AI-reliance is the same: the way we interact with AI while trying to be efficient affects how much we learn. Given time constraints and organizational pressures, junior developers or other professionals may rely on AI to complete tasks as fast as possible at the cost of skill development—and notably the ability to debug issues when something goes wrong.

Наши результаты говорят о том, что агрессивное внедрение ИИ в рабочую среду, особенно в сфере разработки ПО, сопряжено с компромиссами. Выводы подчёркивают, что не всякая опора на ИИ одинакова: то, как мы взаимодействуем с ИИ в стремлении быть эффективными, влияет на то, сколько мы усваиваем. В условиях нехватки времени и организационного давления начинающие разработчики или другие специалисты могут полагаться на ИИ, чтобы выполнить задачи как можно быстрее, ценой развития навыков — и, что особенно важно, способности отлаживать проблемы, когда что-то идёт не так.

Though preliminary, these results suggest important considerations as companies transition to a greater ratio of AI-written to human-written code. Productivity benefits may come at the cost of skills necessary to validate AI-written code if junior engineers’ skill development has been stunted by using AI in the first place. Managers should think intentionally about how to deploy AI tools at scale, and consider systems or intentional design choices that ensure engineers continue to learn as they work—and are thus able to exercise meaningful oversight over the systems they build.

Хотя эти результаты предварительны, они указывают на важные соображения по мере того, как компании переходят к большему соотношению написанного ИИ кода к написанному человеком. Выгоды в продуктивности могут достигаться ценой навыков, необходимых для валидации написанного ИИ кода, если развитие навыков начинающих инженеров было заторможено использованием ИИ с самого начала. Менеджерам следует осознанно продумывать, как разворачивать инструменты ИИ в масштабе, и рассматривать системы или продуманные проектные решения, которые гарантируют, что инженеры продолжают учиться в процессе работы — и тем самым способны осуществлять осмысленный контроль над системами, которые они создают.

For novice workers in software engineering or any other industry, our study can be viewed as a small piece of evidence toward the value of intentional skill development with AI tools. Cognitive effort—and even getting painfully stuck—is likely important for fostering mastery. This is also a lesson that applies to how individuals choose to work with AI, and which tools they use. Major LLM services also provide learning modes (e.g., Claude Code Learning and Explanatory mode or ChatGPT Study Mode) designed to foster understanding. Knowing how people learn when using AI can also help guide how we design it; AI assistance should enable humans to work more efficiently and develop new skills at the same time.

Для начинающих работников в разработке ПО или любой другой отрасли наше исследование можно рассматривать как небольшое свидетельство в пользу ценности осознанного развития навыков при работе с инструментами ИИ. Когнитивное усилие — и даже мучительное застревание — вероятно, важно для формирования мастерства. Этот урок применим и к тому, как люди выбирают работать с ИИ и какие инструменты используют. Крупные LLM-сервисы также предоставляют режимы обучения (например, режимы Learning и Explanatory в Claude Code или Study Mode в ChatGPT), призванные способствовать пониманию. Знание того, как люди учатся при использовании ИИ, может также помочь определить, как мы его проектируем; помощь ИИ должна позволять людям работать эффективнее и одновременно развивать новые навыки.

Prior studies have found mixed results on whether AI helps or hinders coding productivity. Our own research found that AI can reduce the time it takes to complete some work tasks by 80%—a result that may seem in tension with the findings presented here. But the two studies ask different questions and use different methods: our earlier observational work measured productivity on tasks where participants already had the relevant skills, while this study examines what happens when people are learning something new. It is possible that AI both accelerates productivity on well-developed skills and hinders the acquisition of new ones, though more research is needed to understand this relationship.

Предыдущие исследования давали смешанные результаты относительно того, помогает ли ИИ продуктивности программирования или мешает ей. Наше собственное исследование показало, что ИИ может сокращать время выполнения некоторых рабочих задач на 80% — результат, который может показаться противоречащим представленным здесь выводам. Но эти два исследования задают разные вопросы и используют разные методы: наша более ранняя наблюдательная работа измеряла продуктивность на задачах, где у участников уже были соответствующие навыки, а это исследование рассматривает, что происходит, когда люди осваивают что-то новое. Возможно, что ИИ одновременно ускоряет продуктивность на хорошо развитых навыках и затрудняет освоение новых, хотя для понимания этой взаимосвязи нужны дальнейшие исследования.

This study is only a first step towards uncovering how human-AI collaboration affects the experience of workers. Our sample was relatively small, and our assessment measured comprehension shortly after the coding task. Whether immediate quiz performance predicts longer-term skill development is an important question this study does not resolve. There remain many unanswered questions we hope future studies will investigate, for example the effects of AI on tasks beyond coding, whether this effect dissipates longitudinally as engineers develop greater fluency, and whether AI assistance differs from human assistance while learning.

Это исследование — лишь первый шаг к выяснению того, как сотрудничество человека и ИИ влияет на опыт работников. Наша выборка была относительно небольшой, а наша оценка измеряла понимание вскоре после задачи по программированию. Предсказывает ли немедленный результат теста долгосрочное развитие навыков — важный вопрос, который это исследование не разрешает. Остаётся множество нерешённых вопросов, которые, как мы надеемся, изучат будущие исследования, например влияние ИИ на задачи помимо программирования, ослабевает ли этот эффект в долгосрочной перспективе по мере того, как инженеры развивают большую беглость, и отличается ли помощь ИИ от помощи человека в процессе обучения.

Ultimately, to accommodate skill development in the presence of AI, we need a more expansive view of the impacts of AI on workers. In an AI-augmented workplace, productivity gains matter, but so does the long-term development of the expertise those gains depend on.

В конечном счёте, чтобы учесть развитие навыков в присутствии ИИ, нам нужен более широкий взгляд на влияние ИИ на работников. В рабочей среде, дополненной ИИ, прирост продуктивности важен, но важно и долгосрочное развитие той экспертизы, от которой этот прирост зависит.

Read the full paper for details.

Подробности см. в полной статье.

Acknowledgments

Благодарности

This project was led by Judy Hanwen Shen and Alex Tamkin. Editorial support for this blog post was provided by Jake Eaton, Stuart Ritchie, and Sarah Pollack.

Этот проект возглавили Judy Hanwen Shen и Alex Tamkin. Редакторскую поддержку этого поста в блоге оказали Jake Eaton, Stuart Ritchie и Sarah Pollack.

We would like to thank Ethan Perez, Miranda Zhang, and Henry Sleight for making this project possible through the Anthropic Safety Fellows Program. We would also like to thank Matthew Jörke, Juliette Woodrow, Sarah Wu, Elizabeth Childs, Roshni Sahoo, Nate Rush, Julian Michael, and Rose Wang for experimental design feedback.

Мы хотели бы поблагодарить Ethan Perez, Miranda Zhang и Henry Sleight за то, что они сделали этот проект возможным в рамках программы Anthropic Safety Fellows Program. Мы также хотели бы поблагодарить Matthew Jörke, Juliette Woodrow, Sarah Wu, Elizabeth Childs, Roshni Sahoo, Nate Rush, Julian Michael и Rose Wang за отзывы по дизайну эксперимента.

@misc{aiskillformation2026, author = {Shen, Judy Hanwen and Tamkin, Alex}, title = {How AI Impacts Skill Formation}, year = {2026}, eprint = {2601.20245}, archivePrefix = {arXiv}, primaryClass = {cs.LG}, eprinttype = {arxiv} }

@misc{aiskillformation2026, author = {Shen, Judy Hanwen and Tamkin, Alex}, title = {How AI Impacts Skill Formation}, year = {2026}, eprint = {2601.20245}, archivePrefix = {arXiv}, primaryClass = {cs.LG}, eprinttype = {arxiv} }

Footnotes

Сноски

Важно, что эта конфигурация отличается от агентных продуктов для программирования, таких как Claude Code; мы ожидаем, что влияние подобных программ на развитие навыков, вероятно, будет более выраженным, чем результаты, представленные здесь.

Related content

Связанные материалы

2028: Two scenarios for global AI leadership

2028: два сценария глобального лидерства в области ИИ

Our views on the AI competition between the US and China.

Наши взгляды на конкуренцию в сфере ИИ между США и Китаем.

Teaching Claude why

Обучая Claude почему

New research on how we've reduced agentic misalignment.

Новое исследование о том, как мы снизили агентную рассогласованность.

Natural Language Autoencoders: Turning Claude’s thoughts into text

Natural Language Autoencoders: превращение мыслей Claude в текст

AI models like Claude talk in words but think in numbers. In this study we train Claude to translate its thoughts into human-readable text.

ИИ-модели вроде Claude говорят словами, но думают числами. В этом исследовании мы обучаем Claude переводить свои мысли в понятный человеку текст.