Post-apocalyptic education
Итан Моллик констатирует, что Homework Apocalypse уже наступил: по репрезентативному опросу, 82% студентов и 72% школьников в США используют AI для учёбы, причём 56% — для письменных заданий. Учителя цепляются за Иллюзию обнаружения — ни специальные детекторы, ни сами педагоги не способны надёжно распознать AI-тексты, а GPT-4 ошибается в 95% случаев при попытке отличить человеческий текст от машинного. Студенты страдают от Иллюзорного знания: эксперимент в турецкой школе показал, что использование стандартного ChatGPT повышает оценки за домашку, но снижает результаты финального экзамена на 17%. При этом версия с tutor-промптом не вредила обучению, а исследование курса программирования в Stanford даже зафиксировало рост экзаменационных оценок. 59% учителей считают AI полезным для обучения, и качественное исследование показывает, что максимум пользы получают те, кто применяет AI и для подготовки материалов, и для собственного мышления. Путь вперёд — использовать AI как co-intelligence, разрабатывая промпты (вроде симуляторов), которые вскрывают Иллюзорное знание и заставляют учеников думать, а не списывать.
Post-apocalyptic education
Постапокалиптическое образование
What comes after the Homework Apocalypse
Что наступает после Homework Apocalypse
Last summer, I wrote about the Homework Apocalypse, the coming reality where AI could complete most traditional homework assignments, rendering them ineffective as learning tools and assessment measures. My prophecy has come true, and AI can now ace most tests. Yet remarkably little has changed as a result, even as AI use became nearly universal among students.
Прошлым летом я писал о Homework Apocalypse — надвигающейся реальности, в которой AI сможет выполнять большую часть традиционных домашних заданий, обесценивая их как инструмент обучения и оценки. Моё пророчество сбылось: AI теперь способен сдать большинство тестов на отлично. И всё же на удивление мало что изменилось, хотя использование AI среди студентов стало почти повсеместным.
As of eight months ago, a representative survey in the US found that 82% of undergraduates and 72% of K12 students had used AI for school. That is extraordinarily rapid adoption. Of the students using AI, 56% used it for help with writing assignments, and 45% for completing other types of schoolwork. The survey found many positive uses of AI as well, which we will return to, but, for now, let’s focus on the question of AI assistance on homework. Students don’t always see getting AI help as cheating (they are simply getting answers to some tricky problem or a challenging part of an essay), but many teachers do.
Восемь месяцев назад репрезентативный опрос в США показал, что 82% студентов и 72% школьников K12 уже использовали AI для учёбы. Это экстраординарно быстрое внедрение. Среди студентов, использующих AI, 56% применяли его для помощи с письменными заданиями, а 45% — для выполнения других видов школьных работ. Опрос выявил и множество положительных применений AI, к которым мы ещё вернёмся, но сейчас сосредоточимся на вопросе AI-помощи с домашкой. Студенты не всегда считают получение помощи от AI читерством (они просто получают ответы на какую-то каверзную задачу или сложную часть эссе), но многие учителя считают именно так.
To be clear, AI is not the root cause of cheating. Cheating happens because schoolwork is hard and high stakes. And schoolwork is hard and high stakes because learning is not always fun and forms of extrinsic motivation, like grades, are often required to get people to learn. People are exquisitely good at figuring out ways to avoid things they don’t like to do, and, as a major new analysis shows, most people don’t like mental effort. So, they delegate some of that effort to the AI. In general, I am in favor of delegating tasks to AI (the subject of my new class on MasterClass), but education is different - the effort is the point.
Уточню: AI не является корневой причиной списывания. Списывание происходит потому, что школьные задания тяжелы и имеют высокие ставки. А тяжелы и сопряжены с высокими ставками они потому, что учёба не всегда увлекательна и формы внешней мотивации, такие как оценки, часто необходимы, чтобы заставить людей учиться. Люди великолепно умеют находить способы избегать того, чего они не любят, а, как показывает крупный новый анализ, большинство людей не любят умственных усилий. Поэтому они делегируют часть этих усилий AI. В целом я выступаю за делегирование задач AI (тема моего нового курса на MasterClass), но образование — это другое: усилие и есть суть.
This is not a new problem. One of the first uses of any new technology has always been to get help with homework. A study of thousands of students at Rutgers found that when they did their homework in 2008, it improved test grades for 86% of them (see, homework really does help!), but homework only helped 45% of students in 2017. Why? The rise of the Internet. By 2017, a majority of students were copying internet answers, rather than doing the work themselves.
Это не новая проблема. Одним из первых применений любой новой технологии всегда было получение помощи с домашкой. Исследование тысяч студентов в Rutgers показало, что в 2008 году выполнение домашних заданий улучшало результаты тестов у 86% из них (видите, домашка действительно помогает!), но в 2017 году она помогала только 45% студентов. Почему? Распространение интернета. К 2017 году большинство студентов копировали ответы из интернета вместо того, чтобы делать работу самостоятельно.
The Homework Apocalypse has already happened and may even have happened before generative AI! Why are more people not seeing this as an emergency? I think it has to do with two illusions.
Homework Apocalypse уже произошёл и, возможно, случился ещё до появления генеративного AI! Почему же это не воспринимается как чрезвычайная ситуация? Я думаю, дело в двух иллюзиях.
The Illusions
Иллюзии
The first illusion is the Detection Illusion: teachers believe they can still easily detect AI use, and therefore can prevent it from being used in schoolwork. This Detection Illusion leads educators to rely on outdated assessment methods, believing they can easily spot AI-generated work when in reality, the technology has far surpassed our ability to consistently identify it:
Первая иллюзия — Иллюзия обнаружения: учителя верят, что всё ещё легко могут распознать использование AI и потому могут предотвратить его применение в учебных работах. Эта Иллюзия обнаружения заставляет педагогов опираться на устаревшие методы оценивания, считая, что они без труда заметят сгенерированную AI работу, тогда как на деле технология давно превзошла нашу способность стабильно её идентифицировать:
No specialized AI detectors can detect AI writing with high accuracy and without the risk of false positives, especially after multiple rounds of prompting. Even watermarks won’t help much.
People can’t detect AI writing well. Editors at top linguistics journals couldn’t. Teachers couldn’t (though they thought they could - the Illusion again). While simple AI writing might be detectable (“delve,” anyone?), there are plenty of ways to disguise “AI writing” styles through simples prompting. In fact, well-prompted AI writing is judged more human than human writing by readers.
You can’t ask an AI to detect AI writing (even though people keep trying). When asked if something written by a human was written by an AI, GPT-4 gets it wrong 95% of the time.
Никакие специализированные AI-детекторы не способны определять AI-тексты с высокой точностью и без риска ложноположительных срабатываний, особенно после нескольких раундов промптинга. Даже водяные знаки тут мало помогут. Люди плохо распознают AI-тексты. Редакторы ведущих лингвистических журналов не смогли. Учителя не смогли (хотя думали, что могут — снова та же Иллюзия). Простой AI-текст ещё, может быть, и заметен («delve», кто-нибудь?), но существует множество способов замаскировать стиль «AI-письма» простыми приёмами промптинга. Более того, хорошо запромптированный AI-текст читатели оценивают как более «человеческий», чем написанный людьми. Нельзя попросить AI распознать AI-текст (хотя люди продолжают пытаться). На вопрос, написан ли человеческий текст AI, GPT-4 ошибается в 95% случаев.
There are still options that preserve old assignments. Teachers can return to in-class writing, asking students to demonstrate their skills in person, or other techniques that might mitigate AI cheating through close monitoring. But, for the vast majority of teachers, doing so requires adjustment and changes that have yet to be made. To date, few have actually reacted to the shattering of the illusion of AI detection by shifting how they approach teaching and assessment.
Остаются ещё варианты, позволяющие сохранить старые форматы заданий. Учителя могут вернуться к письму в классе, прося студентов продемонстрировать свои навыки лично, или к другим методам, способным смягчить AI-читерство через плотный контроль. Но для подавляющего большинства учителей это требует адаптации и изменений, которых пока не произошло. На сегодняшний день мало кто действительно отреагировал на крушение иллюзии обнаружения AI, перестроив подход к преподаванию и оцениванию.
While teachers grapple with the Detection Illusion, students face their own misconception: Illusory Knowledge. They don’t actually realize that getting help with homework is undermining their learning. After all, they are getting advice and answers from the AI that help them solve problems, which feels like fluency. As the authors of the study at Rutgers wrote: “There is no reason to believe that the students are aware that their homework strategy lowers their exam score... they make the commonsense inference that any study strategy that raises their homework quiz score raises their exam score as well.”
Пока учителя бьются с Иллюзией обнаружения, у студентов своя ошибка восприятия — Иллюзорное знание. Они на самом деле не осознают, что получение помощи с домашкой подрывает их обучение. Ведь они получают от AI советы и ответы, которые помогают решать задачи, и это создаёт ощущение свободного владения материалом. Как писали авторы исследования в Rutgers: «Нет оснований полагать, что студенты осознают, что их стратегия выполнения домашки снижает их экзаменационный балл… они делают здравомысленный вывод, что любая учебная стратегия, повышающая их балл за домашнюю работу, повысит и их экзаменационный балл».
The same thing appears to be happening with AI, as a study by some of my colleagues at Penn discovered. They conducted an experiment at a high school in Turkey where some students were given access to GPT-4 to help with homework, either through the standard ChatGPT interface (no prompt engineering) or using ChatGPT with a tutor prompt. Student homework scores shot up, but the use of unprompted standard ChatGPT to help with homework undermined learning by acting like a crutch. Even though students thought they learned a lot from using ChatGPT, they actually learned less - scoring 17% worse on their final exam.
То же самое, судя по всему, происходит и с AI, как обнаружило исследование моих коллег из Penn. Они провели эксперимент в одной из школ в Турции, где часть учеников получила доступ к GPT-4 для помощи с домашкой — либо через стандартный интерфейс ChatGPT (без prompt engineering), либо через ChatGPT с tutor-промптом. Оценки за домашку резко выросли, но использование непромптированного стандартного ChatGPT для помощи с домашкой подрывало обучение, работая как костыль. Хотя ученики думали, что многому научились с помощью ChatGPT, на самом деле они усвоили меньше — итоговый экзамен они написали на 17% хуже.
Despite this, the survey I quoted earlier found that 59% of teachers see AI as positive for learning, and I don’t think they are wrong. While just using AI as a crutch can hurt learning, more careful use of AI is different. We can see signs of this in the Turkey study, which found that giving students a GPT with a basic tutor prompt for ChatGPT, instead of having them use ChatGPT on their own, boosted homework scores without lowering final exam grades. Plus, a study done in a massive programming class at Stanford that found use of ChatGPT led to increased, not decreased, exam grades.
Несмотря на это, опрос, который я цитировал выше, показал, что 59% учителей считают AI полезным для обучения, и я не думаю, что они ошибаются. Использование AI просто как костыля может вредить обучению, но более осознанное применение AI — это другое дело. Признаки этого видны в турецком исследовании: когда студентам давали GPT с базовым tutor-промптом для ChatGPT вместо самостоятельного использования ChatGPT, их оценки за домашку росли без снижения итоговых экзаменационных баллов. К тому же исследование в массовом курсе программирования в Stanford показало, что использование ChatGPT привело к росту, а не падению экзаменационных оценок.
And, of course, students are not using AI just to do their homework. They are getting aid in understanding complex topics, brainstorming ideas, refreshing their knowledge, creating new forms of creative work, getting feedback, getting advice, and so much more. Focusing just on the question of homework, and the illusions it fosters, can discourage us from making progress.
И, разумеется, студенты используют AI не только чтобы делать домашку. Они получают помощь в понимании сложных тем, генерации идей, освежении знаний, создании новых форм творческой работы, получении обратной связи, советов и многом другом. Если сосредоточиться только на вопросе домашних заданий и порождаемых им иллюзиях, мы рискуем перестать видеть прогресс.
Encouraging, not replacing, thinking
Поощрять, а не заменять мышление
To do so we need to center teachers in the process of using AI, rather than just leaving AI to students (or to those who dream of replacing teachers entirely). We know that almost three-quarters of teachers are already using AI for work, but we have just started to learn the most effective ways for teachers to use AI. A recent deep qualitative study of teachers found that teachers who used AI for both output (create a worksheet, develop a quiz) and to help with input (help me think through what makes a Great American novel, give me ways to explain positive and negative numbers) get more value than if they use AI for producing output alone. This points to a useful path forward in AI for education, using it as a co-intelligence and tool for helping humans do better thinking.
Чтобы этого добиться, нужно поместить учителей в центр процесса использования AI, а не оставлять AI на откуп студентам (или тем, кто мечтает заменить учителей целиком). Мы знаем, что почти три четверти учителей уже применяют AI в работе, но мы только начинаем понимать, какие способы использования AI наиболее эффективны. Недавнее глубокое качественное исследование учителей показало, что педагоги, использующие AI и для output (создать рабочий лист, разработать тест), и для помощи с input (помоги мне обдумать, что делает Great American novel великим; дай способы объяснить положительные и отрицательные числа), получают больше пользы, чем те, кто использует AI только для производства output. Это указывает на полезный путь развития AI в образовании — применение его как co-intelligence и инструмента, помогающего людям думать лучше.
Increasingly, AI is being used in the same way for students, pushing them to think, rather than use AI as a crutch. For example, we have released multiple prompts, all under a free Creative Commons license, that instructors can customize or modify for their classrooms (here is deep dive into one of them - a simulator prompt). These sorts of prompts are designed to expose Illusory Knowledge, forcing students to confront what they know and don’t know. Many other educators are designing similar exercises. In doing so, we can take advantage of what makes AI so promising for teaching - its ability to produce customized learning experiences that meet students where they are, and which are broadly accessible in ways that past forms of educational technology never were.
Всё чаще AI используется в том же ключе и для студентов — подталкивая их к размышлению, а не превращая AI в костыль. Например, мы опубликовали целый ряд промптов под свободной лицензией Creative Commons, которые преподаватели могут адаптировать или модифицировать под свои классы (вот подробный разбор одного из них — промпта-симулятора). Подобные промпты предназначены для того, чтобы вскрыть Иллюзорное знание, заставляя студентов столкнуться с тем, что они знают и чего не знают. Многие другие педагоги разрабатывают похожие упражнения. Так мы можем использовать то, что делает AI таким перспективным для преподавания, — его способность создавать персонализированные учебные ситуации, встречающие студентов там, где они находятся, и широко доступные так, как никогда не были доступны прошлые формы образовательных технологий.
The integration of AI in education is not a future possibility—it's our present reality. This shift demands more than passive acceptance or futile resistance. It requires a fundamental reimagining of how we teach, learn, and assess knowledge. As AI becomes an integral part of the educational landscape, our focus must evolve. The goal isn't to outsmart AI or to pretend it doesn't exist, but to harness its potential to enhance education while mitigating the downside. The question now is not whether AI will change education, but how we will shape that change to create a more effective, equitable, and engaging learning environment for all.
Интеграция AI в образование — это не возможное будущее, а наша нынешняя реальность. Этот сдвиг требует большего, чем пассивное принятие или бесполезное сопротивление. Он требует фундаментального переосмысления того, как мы преподаём, учимся и оцениваем знания. По мере того как AI становится неотъемлемой частью образовательного ландшафта, наш фокус должен меняться. Цель не в том, чтобы перехитрить AI или притвориться, что его нет, а в том, чтобы использовать его потенциал для усиления образования, одновременно смягчая его минусы. Вопрос теперь не в том, изменит ли AI образование, а в том, как мы сформируем эти изменения, чтобы создать более эффективную, справедливую и увлекательную учебную среду для всех.
