Post-apocalyptic education
Итан Моллик констатирует, что Homework Apocalypse уже наступил: по репрезентативному опросу, 82% студентов и 72% школьников в США используют AI для учёбы, причём 56% — для письменных заданий. Учителя цепляются за Иллюзию обнаружения — ни специальные детекторы, ни сами педагоги не способны надёжно распознать AI-тексты, а GPT-4 ошибается в 95% случаев при попытке отличить человеческий текст от машинного. Студенты страдают от Иллюзорного знания: эксперимент в турецкой школе показал, что использование стандартного ChatGPT повышает оценки за домашку, но снижает результаты финального экзамена на 17%. При этом версия с tutor-промптом не вредила обучению, а исследование курса программирования в Stanford даже зафиксировало рост экзаменационных оценок. 59% учителей считают AI полезным для обучения, и качественное исследование показывает, что максимум пользы получают те, кто применяет AI и для подготовки материалов, и для собственного мышления. Путь вперёд — использовать AI как co-intelligence, разрабатывая промпты (вроде симуляторов), которые вскрывают Иллюзорное знание и заставляют учеников думать, а не списывать.
Постапокалиптическое образование
Что наступает после Homework Apocalypse
Прошлым летом я писал о Homework Apocalypse — надвигающейся реальности, в которой AI сможет выполнять большую часть традиционных домашних заданий, обесценивая их как инструмент обучения и оценки. Моё пророчество сбылось: AI теперь способен сдать большинство тестов на отлично. И всё же на удивление мало что изменилось, хотя использование AI среди студентов стало почти повсеместным.
Восемь месяцев назад репрезентативный опрос в США показал, что 82% студентов и 72% школьников K12 уже использовали AI для учёбы. Это экстраординарно быстрое внедрение. Среди студентов, использующих AI, 56% применяли его для помощи с письменными заданиями, а 45% — для выполнения других видов школьных работ. Опрос выявил и множество положительных применений AI, к которым мы ещё вернёмся, но сейчас сосредоточимся на вопросе AI-помощи с домашкой. Студенты не всегда считают получение помощи от AI читерством (они просто получают ответы на какую-то каверзную задачу или сложную часть эссе), но многие учителя считают именно так.
Уточню: AI не является корневой причиной списывания. Списывание происходит потому, что школьные задания тяжелы и имеют высокие ставки. А тяжелы и сопряжены с высокими ставками они потому, что учёба не всегда увлекательна и формы внешней мотивации, такие как оценки, часто необходимы, чтобы заставить людей учиться. Люди великолепно умеют находить способы избегать того, чего они не любят, а, как показывает крупный новый анализ, большинство людей не любят умственных усилий. Поэтому они делегируют часть этих усилий AI. В целом я выступаю за делегирование задач AI (тема моего нового курса на MasterClass), но образование — это другое: усилие и есть суть.
Это не новая проблема. Одним из первых применений любой новой технологии всегда было получение помощи с домашкой. Исследование тысяч студентов в Rutgers показало, что в 2008 году выполнение домашних заданий улучшало результаты тестов у 86% из них (видите, домашка действительно помогает!), но в 2017 году она помогала только 45% студентов. Почему? Распространение интернета. К 2017 году большинство студентов копировали ответы из интернета вместо того, чтобы делать работу самостоятельно.
Homework Apocalypse уже произошёл и, возможно, случился ещё до появления генеративного AI! Почему же это не воспринимается как чрезвычайная ситуация? Я думаю, дело в двух иллюзиях.
Иллюзии
Первая иллюзия — Иллюзия обнаружения: учителя верят, что всё ещё легко могут распознать использование AI и потому могут предотвратить его применение в учебных работах. Эта Иллюзия обнаружения заставляет педагогов опираться на устаревшие методы оценивания, считая, что они без труда заметят сгенерированную AI работу, тогда как на деле технология давно превзошла нашу способность стабильно её идентифицировать:
Никакие специализированные AI-детекторы не способны определять AI-тексты с высокой точностью и без риска ложноположительных срабатываний, особенно после нескольких раундов промптинга. Даже водяные знаки тут мало помогут. Люди плохо распознают AI-тексты. Редакторы ведущих лингвистических журналов не смогли. Учителя не смогли (хотя думали, что могут — снова та же Иллюзия). Простой AI-текст ещё, может быть, и заметен («delve», кто-нибудь?), но существует множество способов замаскировать стиль «AI-письма» простыми приёмами промптинга. Более того, хорошо запромптированный AI-текст читатели оценивают как более «человеческий», чем написанный людьми. Нельзя попросить AI распознать AI-текст (хотя люди продолжают пытаться). На вопрос, написан ли человеческий текст AI, GPT-4 ошибается в 95% случаев.
Остаются ещё варианты, позволяющие сохранить старые форматы заданий. Учителя могут вернуться к письму в классе, прося студентов продемонстрировать свои навыки лично, или к другим методам, способным смягчить AI-читерство через плотный контроль. Но для подавляющего большинства учителей это требует адаптации и изменений, которых пока не произошло. На сегодняшний день мало кто действительно отреагировал на крушение иллюзии обнаружения AI, перестроив подход к преподаванию и оцениванию.
Пока учителя бьются с Иллюзией обнаружения, у студентов своя ошибка восприятия — Иллюзорное знание. Они на самом деле не осознают, что получение помощи с домашкой подрывает их обучение. Ведь они получают от AI советы и ответы, которые помогают решать задачи, и это создаёт ощущение свободного владения материалом. Как писали авторы исследования в Rutgers: «Нет оснований полагать, что студенты осознают, что их стратегия выполнения домашки снижает их экзаменационный балл… они делают здравомысленный вывод, что любая учебная стратегия, повышающая их балл за домашнюю работу, повысит и их экзаменационный балл».
То же самое, судя по всему, происходит и с AI, как обнаружило исследование моих коллег из Penn. Они провели эксперимент в одной из школ в Турции, где часть учеников получила доступ к GPT-4 для помощи с домашкой — либо через стандартный интерфейс ChatGPT (без prompt engineering), либо через ChatGPT с tutor-промптом. Оценки за домашку резко выросли, но использование непромптированного стандартного ChatGPT для помощи с домашкой подрывало обучение, работая как костыль. Хотя ученики думали, что многому научились с помощью ChatGPT, на самом деле они усвоили меньше — итоговый экзамен они написали на 17% хуже.
Несмотря на это, опрос, который я цитировал выше, показал, что 59% учителей считают AI полезным для обучения, и я не думаю, что они ошибаются. Использование AI просто как костыля может вредить обучению, но более осознанное применение AI — это другое дело. Признаки этого видны в турецком исследовании: когда студентам давали GPT с базовым tutor-промптом для ChatGPT вместо самостоятельного использования ChatGPT, их оценки за домашку росли без снижения итоговых экзаменационных баллов. К тому же исследование в массовом курсе программирования в Stanford показало, что использование ChatGPT привело к росту, а не падению экзаменационных оценок.
И, разумеется, студенты используют AI не только чтобы делать домашку. Они получают помощь в понимании сложных тем, генерации идей, освежении знаний, создании новых форм творческой работы, получении обратной связи, советов и многом другом. Если сосредоточиться только на вопросе домашних заданий и порождаемых им иллюзиях, мы рискуем перестать видеть прогресс.
Поощрять, а не заменять мышление
Чтобы этого добиться, нужно поместить учителей в центр процесса использования AI, а не оставлять AI на откуп студентам (или тем, кто мечтает заменить учителей целиком). Мы знаем, что почти три четверти учителей уже применяют AI в работе, но мы только начинаем понимать, какие способы использования AI наиболее эффективны. Недавнее глубокое качественное исследование учителей показало, что педагоги, использующие AI и для output (создать рабочий лист, разработать тест), и для помощи с input (помоги мне обдумать, что делает Great American novel великим; дай способы объяснить положительные и отрицательные числа), получают больше пользы, чем те, кто использует AI только для производства output. Это указывает на полезный путь развития AI в образовании — применение его как co-intelligence и инструмента, помогающего людям думать лучше.
Всё чаще AI используется в том же ключе и для студентов — подталкивая их к размышлению, а не превращая AI в костыль. Например, мы опубликовали целый ряд промптов под свободной лицензией Creative Commons, которые преподаватели могут адаптировать или модифицировать под свои классы (вот подробный разбор одного из них — промпта-симулятора). Подобные промпты предназначены для того, чтобы вскрыть Иллюзорное знание, заставляя студентов столкнуться с тем, что они знают и чего не знают. Многие другие педагоги разрабатывают похожие упражнения. Так мы можем использовать то, что делает AI таким перспективным для преподавания, — его способность создавать персонализированные учебные ситуации, встречающие студентов там, где они находятся, и широко доступные так, как никогда не были доступны прошлые формы образовательных технологий.
Интеграция AI в образование — это не возможное будущее, а наша нынешняя реальность. Этот сдвиг требует большего, чем пассивное принятие или бесполезное сопротивление. Он требует фундаментального переосмысления того, как мы преподаём, учимся и оцениваем знания. По мере того как AI становится неотъемлемой частью образовательного ландшафта, наш фокус должен меняться. Цель не в том, чтобы перехитрить AI или притвориться, что его нет, а в том, чтобы использовать его потенциал для усиления образования, одновременно смягчая его минусы. Вопрос теперь не в том, изменит ли AI образование, а в том, как мы сформируем эти изменения, чтобы создать более эффективную, справедливую и увлекательную учебную среду для всех.
