The Lesson to Unlearn

Декабрь 2019

Самое вредное, чему вы научились в школе, не было чем-то усвоенным на каком-то конкретном уроке. Это было умение получать хорошие оценки.

Когда я учился в колледже, один особенно увлечённый аспирант-философ как-то сказал мне, что его никогда не волновала оценка, которую он получит на курсе, — только то, чему он на нём научится. Это запомнилось мне, потому что я лишь однажды слышал, чтобы кто-то говорил подобное.

Для меня, как и для большинства студентов, измерение того, чему я учусь, полностью затмевало само обучение в колледже. Я был довольно прилежным; меня искренне интересовало большинство курсов, которые я слушал, и я усердно работал. И всё же намного усерднее всего я работал, когда готовился к экзамену.

В теории экзамены — это именно то, что подразумевает их название: проверка того, чему вы научились на курсе. В теории вам не нужно готовиться к экзамену по предмету больше, чем готовиться к анализу крови. В теории вы учитесь, проходя курс, посещая лекции, выполняя чтение и/или задания, а экзамен, который следует за этим, всего лишь измеряет, насколько хорошо вы усвоили материал.

На практике, как известно почти каждому, кто это читает, всё настолько иначе, что слышать такое объяснение того, как задумывались курсы и экзамены, всё равно что слышать этимологию слова, значение которого полностью изменилось. На практике фраза «готовиться к экзамену» была почти избыточной, потому что именно тогда человек по-настоящему и учился. Разница между прилежными и нерадивыми студентами заключалась в том, что первые усердно готовились к экзаменам, а вторые — нет. Никто не сидел ночами напролёт через две недели после начала семестра.

Хотя я был прилежным студентом, почти вся работа, которую я делал в школе, была направлена на то, чтобы получить за что-то хорошую оценку.

Многим покажется странным, что в предыдущем предложении есть слово «хотя». Разве я не просто утверждаю тавтологию? Разве не в этом и состоит прилежный студент — в том, чтобы быть круглым отличником? Вот насколько глубоко смешение обучения с оценками проникло в нашу культуру.

Так ли уж плохо, если обучение смешивается с оценками? Да, это плохо. И лишь спустя десятилетия после колледжа, когда я руководил Y Combinator, я осознал, насколько это плохо.

Конечно, ещё студентом я знал, что готовиться к экзамену — это далеко не то же самое, что по-настоящему учиться. По крайней мере, вы не удерживаете в голове знания, которые втиснули туда в ночь перед экзаменом. Но проблема хуже этого. Настоящая проблема в том, что большинство экзаменов даже близко не измеряют то, что должны.

Если бы экзамены действительно были проверкой знаний, всё было бы не так плохо. Хорошие оценки и обучение сходились бы — просто с небольшим опозданием. Проблема в том, что почти все экзамены, которые дают студентам, ужасно поддаются «взлому». Большинство тех, кто получал хорошие оценки, это знают — и знают настолько хорошо, что перестали даже задумываться об этом. Вы поймёте это, когда осознаете, насколько наивно звучит поступать иначе.

Предположим, вы слушаете курс по средневековой истории, и приближается итоговый экзамен. Итоговый экзамен должен быть проверкой ваших знаний по средневековой истории, верно? Так что если у вас есть пара дней до экзамена, то лучший способ провести это время — если вы хотите хорошо сдать экзамен — это, конечно же, прочитать лучшие книги о средневековой истории, какие сможете найти. Тогда вы будете много об этом знать и хорошо сдадите экзамен.

Нет, нет, нет, говорят про себя опытные студенты. Если вы просто прочитаете хорошие книги по средневековой истории, большая часть того, что вы узнали, не попадётся на экзамене. Читать нужно не хорошие книги, а конспекты лекций и заданную литературу по этому курсу. И даже бо́льшую часть этого можно проигнорировать, потому что беспокоиться нужно лишь о том, что может всплыть в качестве экзаменационного вопроса. Вы ищете чётко очерченные фрагменты информации. Если в одной из заданных книг есть интересное отступление по какому-то тонкому вопросу, его можно спокойно проигнорировать, потому что это не то, из чего можно сделать экзаменационный вопрос. Но если профессор говорит вам, что у Схизмы 1378 года было три глубинные причины или что у Чёрной смерти было три главных последствия, — их вам лучше знать. И были ли они на самом деле причинами или последствиями — не имеет значения. Для целей этого курса именно они таковыми и являются.

В университете часто ходят по рукам копии старых экзаменов, и это ещё сильнее сужает то, что вам нужно выучить. Помимо понимания того, какие вопросы задаёт этот профессор, вы нередко получаете и сами экзаменационные вопросы. Многие профессора используют их повторно. Преподавая курс 10 лет, трудно этого не делать — по крайней мере, ненамеренно.

На некоторых курсах у вашего профессора будет какая-то своя политическая повестка, и если так, вам тоже придётся ей подыгрывать. Необходимость в этом разнится. На курсах по математике, точным наукам или инженерии это требуется редко, но на другом конце спектра есть курсы, где без этого не получить хорошей оценки.

Получить хорошую оценку по курсу о чём-то настолько отличается от того, чтобы много узнать об этом, что вам приходится выбирать одно из двух, — и нельзя винить студентов, если они выбирают оценки. Все судят о них по оценкам — магистерские программы, работодатели, стипендиальные фонды, даже их собственные родители.

Мне нравилось учиться, и мне действительно доставляли удовольствие некоторые работы и программы, которые я написал в колледже. Но садился ли я когда-нибудь, сдав работу по какому-то курсу, чтобы написать ещё одну просто ради удовольствия? Конечно, нет. У меня были дедлайны по другим курсам. Если когда-либо доходило до выбора между обучением и оценками, я выбирал оценки. Я пришёл в колледж не для того, чтобы учиться плохо.

Каждый, кому важны хорошие оценки, вынужден играть в эту игру, иначе его обгонят те, кто играет. А в элитных университетах это означает почти всех, ведь тот, кому хорошие оценки безразличны, скорее всего, вообще там не оказался бы. В результате студенты соревнуются в том, чтобы максимизировать разрыв между обучением и получением хороших оценок.

Почему экзамены так плохи? Точнее, почему они так легко взламываются? Любой опытный программист мог бы ответить на это. Насколько взламываема программа, автор которой не уделил никакого внимания защите от взлома? Обычно она дырявая, как дуршлаг.

Взламываемость — это состояние по умолчанию для любого теста, навязанного авторитетом. Причина, по которой даваемые вам экзамены так стабильно плохи — так стабильно далеки от измерения того, что они должны измерять, — попросту в том, что люди, их создающие, не приложили особых усилий, чтобы защитить их от взлома.

Но нельзя винить преподавателей за то, что их экзамены взламываемы. Их работа — учить, а не создавать невзламываемые тесты. Настоящая проблема — в оценках, или, точнее, в том, что оценки перегружены. Если бы оценки были всего лишь способом для учителей сказать студентам, что они делают правильно, а что нет, — как тренер даёт советы спортсмену, — у студентов не возникало бы соблазна взламывать экзамены. Но, к несчастью, начиная с определённого возраста оценки становятся чем-то большим, чем советы. С определённого возраста, когда вас чему-то учат, вас обычно одновременно и оценивают.

Я использовал университетские экзамены в качестве примера, но они на самом деле наименее взламываемы. Все тесты, которые большинство людей проходят на протяжении всей жизни, по меньшей мере столь же плохи, включая самый впечатляющий из всех — тест, открывающий дорогу в колледж. Если бы поступление в колледж сводилось лишь к тому, чтобы качество ума человека было измерено приёмными комиссиями так, как учёные измеряют массу объекта, мы могли бы просто сказать подросткам «учитесь побольше» — и на этом всё. О том, насколько плохо поступление в колледж как тест, можно судить по тому, насколько непохоже на школу это звучит. На практике причудливо специфический характер того, что приходится делать амбициозным детям в старшей школе, прямо пропорционален взламываемости поступления в колледж. Предметы, которые вам неинтересны и которые сводятся в основном к зубрёжке; случайные «внеклассные активности», в которых нужно участвовать, чтобы показать свою «разносторонность»; стандартизированные тесты, искусственные, как шахматы; «эссе», которое нужно написать, предположительно метя в какую-то очень конкретную цель, но какую — вам не говорят.

Помимо того, что этот тест плох тем, что он делает с детьми, он плох и в том смысле, что очень легко взламывается. Настолько легко, что для его взлома выросли целые индустрии. Это явная цель компаний по подготовке к тестам и консультантов по поступлению, но это также существенная часть функции частных школ.

Почему именно этот тест так легко взламывается? Думаю, из-за того, что он измеряет. Хотя расхожая версия гласит, что путь к поступлению в хороший колледж — быть очень умным, приёмные комиссии элитных колледжей не ищут только это и не утверждают, что ищут. Что же они ищут? Они ищут людей, которые не просто умны, а достойны восхищения в каком-то более общем смысле. И как же измеряется эта более общая достойность восхищения? Приёмная комиссия её чувствует. Иными словами, они принимают тех, кто им нравится.

Так что поступление в колледж — это проверка того, отвечаете ли вы вкусам некоторой группы людей. Что ж, разумеется, такой тест будет взламываемым. И поскольку он одновременно и очень взламываем, и (как считается) на кону многое, его взламывают как ничто другое. Вот почему он так сильно и так надолго искажает вашу жизнь.

Неудивительно, что старшеклассники часто чувствуют отчуждение. Форма их жизни совершенно искусственна.

Но трата вашего времени впустую — не самое худшее, что делает с вами образовательная система. Самое худшее — то, что она приучает вас: способ победить — это взламывать плохие тесты. Это гораздо более тонкая проблема, которую я не распознавал, пока не увидел, как это происходит с другими людьми.

Когда я начал консультировать основателей стартапов в Y Combinator, особенно молодых, меня озадачивало то, как они всегда, казалось, всё переусложняют. Как, спрашивали они, привлечь деньги? В чём фокус, чтобы венчурные инвесторы захотели в вас вложиться? Лучший способ заставить VC захотеть в вас вложиться, объяснял я, — это на самом деле быть хорошей инвестицией. Даже если бы вам удалось обманом заставить VC вложиться в плохой стартап, вы обманули бы и самих себя. Вы вкладываете время в ту же компанию, в которую просите их вложить деньги. Если это не хорошая инвестиция, то зачем вы вообще этим занимаетесь?

О, говорили они, а затем, после паузы, чтобы переварить это откровение, спрашивали: что делает стартап хорошей инвестицией?

И тогда я объяснял, что делает стартап многообещающим — не только в глазах инвесторов, но и на самом деле — это рост. В идеале в выручке, а если не получается, то в использовании. Что им нужно было сделать — это набрать много пользователей.

Как набрать много пользователей? У них были всевозможные идеи на этот счёт. Им нужен был громкий запуск, который обеспечит им «известность». Им нужны были влиятельные люди, которые о них расскажут. Они даже знали, что запускаться нужно во вторник, потому что именно тогда получаешь больше всего внимания.

Нет, объяснял я, не так набирают много пользователей. Способ набрать много пользователей — это сделать продукт по-настоящему отличным. Тогда люди не только будут им пользоваться, но и рекомендовать его друзьям, так что ваш рост станет экспоненциальным, как только вы его запустите.

В этот момент я уже сказал основателям нечто, что, казалось бы, должно быть совершенно очевидным: что хорошую компанию делают, делая хороший продукт. И всё же их реакция была чем-то вроде той, что, должно быть, испытали многие физики, впервые услышав о теории относительности: смесь изумления её кажущейся гениальностью с подозрением, что нечто столь странное просто не может быть верным. Хорошо, говорили они послушно. А не могли бы вы познакомить нас с таким-то влиятельным человеком? И помните, мы хотим запуститься во вторник.

Иногда основателям требовались годы, чтобы осознать эти простые уроки. И не потому, что они были ленивы или глупы. Просто они, казалось, были слепы к тому, что находилось прямо перед ними.

Почему, спрашивал я себя, они всегда всё так усложняют? И вот однажды я понял, что это не риторический вопрос.

Почему основатели завязывались в узлы, делая не то, что нужно, когда ответ был прямо у них перед глазами? Потому что именно этому их и приучили. Их образование научило их, что способ победить — взломать тест. Причём даже не сказав им, что их этому приучают. Те, кто помоложе, недавние выпускники, никогда не сталкивались с неискусственным тестом. Они думали, что именно так устроен мир: что первое, что ты делаешь, столкнувшись с любого рода вызовом, — это вычисляешь, в чём фокус для взлома теста. Вот почему разговор всегда начинался с того, как привлечь деньги, ведь это считывалось как тест. Это было в конце YC. К этому прилагались цифры, и бо́льшие цифры казались лучше. Это наверняка и есть тест.

Безусловно, есть большие сегменты мира, где способ победить — это взломать тест. Это явление не ограничивается школами. И некоторые люди, то ли в силу идеологии, то ли по незнанию, утверждают, что это верно и для стартапов. Но это не так. На самом деле одна из самых поразительных черт стартапов — то, в какой степени здесь побеждаешь, просто делая хорошую работу. Есть пограничные случаи, как и во всём, но в целом ты побеждаешь, набирая пользователей, а пользователям важно одно: делает ли продукт то, что им нужно.

Почему мне понадобилось так много времени, чтобы понять, почему основатели переусложняют стартапы? Потому что я не осознавал явно, что школы приучают нас побеждать, взламывая плохие тесты. И не только их — меня тоже! Меня тоже приучили взламывать плохие тесты, и я не осознавал этого вплоть до того момента, как прошли десятилетия.

Я жил так, будто осознавал это, но не понимая почему. Например, я избегал работы в крупных компаниях. Но если бы вы спросили почему, я бы ответил, что потому что они фальшивы, или бюрократичны. Или просто противны. Я никогда не понимал, насколько моя неприязнь к крупным компаниям была вызвана тем, что в них побеждаешь, взламывая плохие тесты.

Точно так же то, что тесты были невзламываемы, во многом и притягивало меня к стартапам. Но опять же, я не осознавал этого явно.

Я, по сути, достиг методом последовательных приближений того, что, возможно, имеет решение в замкнутой форме. Я постепенно избавился от своей выучки взламывать плохие тесты, не зная, что делаю это. Мог бы человек, только что вышедший из школы, изгнать этого демона, просто узнав его имя и сказав «изыди»? Кажется, попробовать стоит.

Уже одно лишь то, что мы открыто говорим об этом явлении, скорее всего, улучшит положение, потому что бо́льшая часть его силы исходит из того, что мы принимаем его как должное. Стоит его заметить — и оно кажется слоном в комнате, но это довольно хорошо замаскированный слон. Явление настолько старое и настолько повсеместное. И оно попросту результат недосмотра. Никто не задумывал, чтобы всё было так. Это просто то, что происходит, когда соединяешь обучение с оценками, конкуренцией и наивным предположением о невзламываемости.

Было ошеломляюще осознать, что две вещи, над которыми я ломал голову больше всего, — фальшивость старшей школы и трудность заставить основателей увидеть очевидное — имеют одну и ту же причину. Редко бывает, чтобы такой большой блок вставал на место так поздно.

Обычно, когда это происходит, у этого есть следствия во множестве разных областей, и этот случай, похоже, не исключение. Например, это подсказывает и то, что образование можно было бы устроить лучше, и то, как его можно было бы исправить. Но это также подсказывает возможный ответ на вопрос, который, кажется, есть у всех крупных компаний: как нам стать больше похожими на стартап? Я не собираюсь сейчас прослеживать все следствия. То, на чём я хочу здесь сосредоточиться, — это что это означает для отдельных людей.

Для начала это означает, что у большинства амбициозных детей, выпускающихся из колледжа, есть нечто, от чего им, возможно, захочется отучиться. Но это также меняет то, как вы смотрите на мир. Вместо того чтобы рассматривать все разные виды работы, которой занимаются люди, и думать о них смутно как о более или менее привлекательных, теперь вы можете задать очень конкретный вопрос, который рассортирует их интересным образом: в какой степени в этом виде работы побеждают за счёт взлома плохих тестов?

Помогло бы, если бы существовал способ быстро распознавать плохие тесты. Есть ли тут закономерность? Оказывается, есть.

Тесты можно разделить на два вида: те, что навязаны авторитетами, и те, что нет. Тесты, не навязанные авторитетами, по своей природе невзламываемы — в том смысле, что никто не претендует на то, что они проверяют что-то большее, чем проверяют на самом деле. Футбольный матч, например, — это просто проверка того, кто победит, а не того, какая команда лучше. Об этом можно судить по тому, что комментаторы иногда говорят потом, что победила лучшая команда. Тогда как тесты, навязанные авторитетами, обычно являются прокси для чего-то ещё. Экзамен по предмету должен измерять не просто то, насколько хорошо вы справились с этим конкретным экзаменом, а то, насколько много вы усвоили на курсе. И в то время как тесты, не навязанные авторитетами, по своей природе невзламываемы, тесты, навязанные авторитетами, нужно сделать невзламываемыми. Обычно их таковыми не делают. Так что в качестве первого приближения плохие тесты примерно эквивалентны тестам, навязанным авторитетами.

Возможно, вам и вправду нравится побеждать, взламывая плохие тесты. Видимо, некоторым нравится. Но держу пари, что большинству людей, обнаруживающих себя за такой работой, она не по душе. Они просто принимают как должное, что мир так устроен, — если только не захочешь всё бросить и стать каким-нибудь хиппи-ремесленником.

Подозреваю, что многие люди подспудно предполагают, будто работа в области с плохими тестами — это цена, которую платишь за большие деньги. Но это, могу вас заверить, неправда. Когда-то это было правдой. В середине двадцатого века, когда экономика состояла из олигополий, единственным путём наверх было играть по их правилам. Но сейчас это не так. Теперь есть способы разбогатеть, делая хорошую работу, и отчасти именно поэтому люди гораздо больше воодушевлены идеей разбогатеть, чем раньше. Когда я был ребёнком, можно было либо стать инженером и делать классные вещи, либо заработать кучу денег, став «руководителем». Теперь можно заработать кучу денег, делая классные вещи.

Взлом плохих тестов теряет значение по мере того, как связь между работой и авторитетом размывается. Размывание этой связи — один из важнейших трендов, происходящих сейчас, и мы видим его последствия почти в любом виде работы, которой занимаются люди. Стартапы — один из самых заметных примеров, но почти то же самое мы видим и в писательстве. Писателям больше не нужно подчиняться издателям и редакторам, чтобы добраться до читателей; теперь они могут идти напрямую.

Чем больше я думаю над этим вопросом, тем оптимистичнее становлюсь. Это, похоже, одна из тех ситуаций, когда мы не осознаём, насколько что-то нас сдерживало, пока это не устранят. И я могу предвидеть, как вся фальшивая конструкция рушится. Представьте, что происходит, когда всё больше и больше людей начинают спрашивать себя, хотят ли они побеждать, взламывая плохие тесты, и решают, что не хотят. Те виды работы, где побеждаешь, взламывая плохие тесты, будут лишены притока талантов, а те, где побеждаешь, делая хорошую работу, увидят приток самых амбициозных людей. И по мере того как взлом плохих тестов будет уменьшаться в значимости, образование станет развиваться так, чтобы перестать приучать нас к этому. Представьте, как мог бы выглядеть мир, если бы это произошло.

Это урок, от которого нужно отучиться не только отдельным людям, но и обществу, и мы будем поражены той энергией, что высвободится, когда мы это сделаем.

Примечания

[1] Если использование тестов исключительно для измерения обучения звучит невозможно утопично, то именно так уже всё устроено в Lambda School. В Lambda School нет оценок. Ты либо выпускаешься, либо нет. Единственная цель тестов — решить на каждом этапе учебной программы, можешь ли ты перейти к следующему. Так что, по сути, вся школа работает по принципу «зачёт/незачёт».

[2] Если бы итоговый экзамен состоял из долгой беседы с профессором, к нему можно было бы подготовиться, читая хорошие книги по средневековой истории. Бо́льшая часть взламываемости тестов в учебных заведениях обусловлена тем, что один и тот же тест приходится давать большому числу студентов.

[3] Обучение — это наивный алгоритм получения хороших оценок.

[4] Хакинг имеет несколько смыслов. Есть узкий смысл, в котором он означает скомпрометировать что-то. Именно в этом смысле взламывают плохой тест. Но есть и другой, более общий смысл, означающий найти неожиданное решение задачи, часто за счёт того, что думаешь о ней иначе. Хакинг в этом смысле — чудесная вещь. И действительно, некоторые из приёмов, которые люди используют на плохих тестах, впечатляюще изобретательны; проблема не столько в хакинге, сколько в том, что, поскольку тесты взламываемы, они не проверяют того, что должны.

[5] Люди, отбирающие стартапы в Y Combinator, похожи на приёмные комиссии, за тем исключением, что их критерии отбора не произвольны, а отточены очень плотной петлёй обратной связи. Если вы принимаете плохой стартап или отвергаете хороший, вы обычно узнаёте об этом самое позднее в течение года-двух, а часто и в течение месяца.

[6] Уверен, приёмные комиссии устали читать заявки от детей, у которых, кажется, нет никакой личности, кроме готовности казаться такими, какими они должны казаться, чтобы их приняли. Чего они не осознают, так это того, что они в некотором смысле смотрятся в зеркало. Отсутствие подлинности у абитуриентов — это отражение произвольности процесса приёма. Диктатор с тем же успехом мог бы жаловаться на отсутствие искренности у окружающих его людей.

[7] Под хорошей работой я имею в виду не нравственно хорошую, а хорошую в том смысле, в каком хороший мастер делает хорошую работу.

[8] Есть пограничные случаи, когда трудно сказать, к какой категории относится тест. Например, привлечение венчурного капитала — это как поступление в колледж или как продажа клиенту?

[9] Заметьте, что хороший тест — это всего лишь тест, который невзламываем. «Хороший» здесь означает не нравственно хороший, а хороший в смысле «хорошо работающий». Разница между областями с плохими и хорошими тестами не в том, что первые плохи, а вторые хороши, а в том, что первые фальшивы, а вторые — нет. Но эти две характеристики не независимы. Как сказала Tara Ploughman, путь от хорошего к злу пролегает через фальшивое.

[10] Люди, считающие, что недавний рост экономического неравенства вызван изменениями в налоговой политике, кажутся весьма наивными всякому, у кого есть опыт в стартапах. Сейчас богатеют не те, кто богател раньше, и они становятся гораздо богаче, чем могла бы сделать их одна лишь экономия на налогах.

[11] Заметка для тигриных родителей: вы можете думать, что приучаете своих детей побеждать, но если вы приучаете их побеждать, взламывая плохие тесты, то вы, как это часто делают родители, готовите их к прошедшей войне.

Благодарности Austen Allred, Trevor Blackwell, Patrick Collison, Jessica Livingston, Robert Morris и Harj Taggar за чтение черновиков этого текста.