The Lesson to Unlearn

December 2019

Декабрь 2019

The most damaging thing you learned in school wasn't something you
learned in any specific class. It was learning to get good grades.

Самое вредное, чему вы научились в школе, не было чем-то усвоенным на каком-то конкретном уроке. Это было умение получать хорошие оценки.

When I was in college, a particularly earnest philosophy grad student
once told me that he never cared what grade he got in a class, only
what he learned in it. This stuck in my mind because it was the
only time I ever heard anyone say such a thing.

Когда я учился в колледже, один особенно увлечённый аспирант-философ как-то сказал мне, что его никогда не волновала оценка, которую он получит на курсе, — только то, чему он на нём научится. Это запомнилось мне, потому что я лишь однажды слышал, чтобы кто-то говорил подобное.

For me, as for most students, the measurement of what I was learning
completely dominated actual learning in college. I was fairly
earnest; I was genuinely interested in most of the classes I took,
and I worked hard. And yet I worked by far the hardest when I was
studying for a test.

Для меня, как и для большинства студентов, измерение того, чему я учусь, полностью затмевало само обучение в колледже. Я был довольно прилежным; меня искренне интересовало большинство курсов, которые я слушал, и я усердно работал. И всё же намного усерднее всего я работал, когда готовился к экзамену.

In theory, tests are merely what their name implies: tests of what
you've learned in the class. In theory you shouldn't have to prepare
for a test in a class any more than you have to prepare for a blood
test. In theory you learn from taking the class, from going to the
lectures and doing the reading and/or assignments, and the test
that comes afterward merely measures how well you learned.

В теории экзамены — это именно то, что подразумевает их название: проверка того, чему вы научились на курсе. В теории вам не нужно готовиться к экзамену по предмету больше, чем готовиться к анализу крови. В теории вы учитесь, проходя курс, посещая лекции, выполняя чтение и/или задания, а экзамен, который следует за этим, всего лишь измеряет, насколько хорошо вы усвоили материал.

In practice, as almost everyone reading this will know, things are
so different that hearing this explanation of how classes and tests
are meant to work is like hearing the etymology of a word whose
meaning has changed completely. In practice, the phrase "studying
for a test" was almost redundant, because that was when one really
studied. The difference between diligent and slack students was
that the former studied hard for tests and the latter didn't. No
one was pulling all-nighters two weeks into the semester.

На практике, как известно почти каждому, кто это читает, всё настолько иначе, что слышать такое объяснение того, как задумывались курсы и экзамены, всё равно что слышать этимологию слова, значение которого полностью изменилось. На практике фраза «готовиться к экзамену» была почти избыточной, потому что именно тогда человек по-настоящему и учился. Разница между прилежными и нерадивыми студентами заключалась в том, что первые усердно готовились к экзаменам, а вторые — нет. Никто не сидел ночами напролёт через две недели после начала семестра.

Even though I was a diligent student, almost all the work I did in
school was aimed at getting a good grade on something.

Хотя я был прилежным студентом, почти вся работа, которую я делал в школе, была направлена на то, чтобы получить за что-то хорошую оценку.

To many people, it would seem strange that the preceding sentence
has a "though" in it. Aren't I merely stating a tautology? Isn't
that what a diligent student is, a straight-A student? That's how
deeply the conflation of learning with grades has infused our
culture.

Многим покажется странным, что в предыдущем предложении есть слово «хотя». Разве я не просто утверждаю тавтологию? Разве не в этом и состоит прилежный студент — в том, чтобы быть круглым отличником? Вот насколько глубоко смешение обучения с оценками проникло в нашу культуру.

Is it so bad if learning is conflated with grades? Yes, it is bad.
And it wasn't till decades after college, when I was running Y Combinator, that I realized how bad it is.

Так ли уж плохо, если обучение смешивается с оценками? Да, это плохо. И лишь спустя десятилетия после колледжа, когда я руководил Y Combinator, я осознал, насколько это плохо.

I knew of course when I was a student that studying for a test is
far from identical with actual learning. At the very least, you
don't retain knowledge you cram into your head the night before an
exam. But the problem is worse than that. The real problem is that
most tests don't come close to measuring what they're supposed to.

Конечно, ещё студентом я знал, что готовиться к экзамену — это далеко не то же самое, что по-настоящему учиться. По крайней мере, вы не удерживаете в голове знания, которые втиснули туда в ночь перед экзаменом. Но проблема хуже этого. Настоящая проблема в том, что большинство экзаменов даже близко не измеряют то, что должны.

If tests truly were tests of learning, things wouldn't be so bad.
Getting good grades and learning would converge, just a little late.
The problem is that nearly all tests given to students are terribly
hackable. Most people who've gotten good grades know this, and know
it so well they've ceased even to question it. You'll see when you
realize how naive it sounds to act otherwise.

Если бы экзамены действительно были проверкой знаний, всё было бы не так плохо. Хорошие оценки и обучение сходились бы — просто с небольшим опозданием. Проблема в том, что почти все экзамены, которые дают студентам, ужасно поддаются «взлому». Большинство тех, кто получал хорошие оценки, это знают — и знают настолько хорошо, что перестали даже задумываться об этом. Вы поймёте это, когда осознаете, насколько наивно звучит поступать иначе.

Suppose you're taking a class on medieval history and the final
exam is coming up. The final exam is supposed to be a test of your
knowledge of medieval history, right? So if you have a couple days
between now and the exam, surely the best way to spend the time,
if you want to do well on the exam, is to read the best books you
can find about medieval history. Then you'll know a lot about it,
and do well on the exam.

Предположим, вы слушаете курс по средневековой истории, и приближается итоговый экзамен. Итоговый экзамен должен быть проверкой ваших знаний по средневековой истории, верно? Так что если у вас есть пара дней до экзамена, то лучший способ провести это время — если вы хотите хорошо сдать экзамен — это, конечно же, прочитать лучшие книги о средневековой истории, какие сможете найти. Тогда вы будете много об этом знать и хорошо сдадите экзамен.

No, no, no, experienced students are saying to themselves. If you
merely read good books on medieval history, most of the stuff you
learned wouldn't be on the test. It's not good books you want to
read, but the lecture notes and assigned reading in this class.
And even most of that you can ignore, because you only have to worry
about the sort of thing that could turn up as a test question.
You're looking for sharply-defined chunks of information. If one
of the assigned readings has an interesting digression on some
subtle point, you can safely ignore that, because it's not the sort
of thing that could be turned into a test question. But if the
professor tells you that there were three underlying causes of the
Schism of 1378, or three main consequences of the Black Death, you'd
better know them. And whether they were in fact the causes or
consequences is beside the point. For the purposes of this class
they are.

Нет, нет, нет, говорят про себя опытные студенты. Если вы просто прочитаете хорошие книги по средневековой истории, большая часть того, что вы узнали, не попадётся на экзамене. Читать нужно не хорошие книги, а конспекты лекций и заданную литературу по этому курсу. И даже бо́льшую часть этого можно проигнорировать, потому что беспокоиться нужно лишь о том, что может всплыть в качестве экзаменационного вопроса. Вы ищете чётко очерченные фрагменты информации. Если в одной из заданных книг есть интересное отступление по какому-то тонкому вопросу, его можно спокойно проигнорировать, потому что это не то, из чего можно сделать экзаменационный вопрос. Но если профессор говорит вам, что у Схизмы 1378 года было три глубинные причины или что у Чёрной смерти было три главных последствия, — их вам лучше знать. И были ли они на самом деле причинами или последствиями — не имеет значения. Для целей этого курса именно они таковыми и являются.

At a university there are often copies of old exams floating around,
and these narrow still further what you have to learn. As well as
learning what kind of questions this professor asks, you'll often
get actual exam questions. Many professors re-use them. After
teaching a class for 10 years, it would be hard not to, at least
inadvertently.

В университете часто ходят по рукам копии старых экзаменов, и это ещё сильнее сужает то, что вам нужно выучить. Помимо понимания того, какие вопросы задаёт этот профессор, вы нередко получаете и сами экзаменационные вопросы. Многие профессора используют их повторно. Преподавая курс 10 лет, трудно этого не делать — по крайней мере, ненамеренно.

In some classes, your professor will have had some sort of political
axe to grind, and if so you'll have to grind it too. The need for
this varies. In classes in math or the hard sciences or engineering
it's rarely necessary, but at the other end of the spectrum there
are classes where you couldn't get a good grade without it.

На некоторых курсах у вашего профессора будет какая-то своя политическая повестка, и если так, вам тоже придётся ей подыгрывать. Необходимость в этом разнится. На курсах по математике, точным наукам или инженерии это требуется редко, но на другом конце спектра есть курсы, где без этого не получить хорошей оценки.

Getting a good grade in a class on x is so different from learning
a lot about x that you have to choose one or the other, and you
can't blame students if they choose grades. Everyone judges them
by their grades — graduate programs, employers, scholarships, even
their own parents.

Получить хорошую оценку по курсу о чём-то настолько отличается от того, чтобы много узнать об этом, что вам приходится выбирать одно из двух, — и нельзя винить студентов, если они выбирают оценки. Все судят о них по оценкам — магистерские программы, работодатели, стипендиальные фонды, даже их собственные родители.

I liked learning, and I really enjoyed some of the papers and
programs I wrote in college. But did I ever, after turning in a
paper in some class, sit down and write another just for fun? Of
course not. I had things due in other classes. If it ever came to
a choice of learning or grades, I chose grades. I hadn't come to
college to do badly.

Мне нравилось учиться, и мне действительно доставляли удовольствие некоторые работы и программы, которые я написал в колледже. Но садился ли я когда-нибудь, сдав работу по какому-то курсу, чтобы написать ещё одну просто ради удовольствия? Конечно, нет. У меня были дедлайны по другим курсам. Если когда-либо доходило до выбора между обучением и оценками, я выбирал оценки. Я пришёл в колледж не для того, чтобы учиться плохо.

Anyone who cares about getting good grades has to play this game,
or they'll be surpassed by those who do. And at elite universities,
that means nearly everyone, since someone who didn't care about
getting good grades probably wouldn't be there in the first place.
The result is that students compete to maximize the difference
between learning and getting good grades.

Каждый, кому важны хорошие оценки, вынужден играть в эту игру, иначе его обгонят те, кто играет. А в элитных университетах это означает почти всех, ведь тот, кому хорошие оценки безразличны, скорее всего, вообще там не оказался бы. В результате студенты соревнуются в том, чтобы максимизировать разрыв между обучением и получением хороших оценок.

Why are tests so bad? More precisely, why are they so hackable?
Any experienced programmer could answer that. How hackable is
software whose author hasn't paid any attention to preventing it
from being hacked? Usually it's as porous as a colander.

Почему экзамены так плохи? Точнее, почему они так легко взламываются? Любой опытный программист мог бы ответить на это. Насколько взламываема программа, автор которой не уделил никакого внимания защите от взлома? Обычно она дырявая, как дуршлаг.

Hackable is the default for any test imposed by an authority. The
reason the tests you're given are so consistently bad — so consistently
far from measuring what they're supposed to measure — is simply
that the people creating them haven't made much effort to prevent
them from being hacked.

Взламываемость — это состояние по умолчанию для любого теста, навязанного авторитетом. Причина, по которой даваемые вам экзамены так стабильно плохи — так стабильно далеки от измерения того, что они должны измерять, — попросту в том, что люди, их создающие, не приложили особых усилий, чтобы защитить их от взлома.

But you can't blame teachers if their tests are hackable. Their job
is to teach, not to create unhackable tests. The real problem is
grades, or more precisely, that grades have been overloaded. If
grades were merely a way for teachers to tell students what they
were doing right and wrong, like a coach giving advice to an athlete,
students wouldn't be tempted to hack tests. But unfortunately after
a certain age grades become more than advice. After a certain age,
whenever you're being taught, you're usually also being judged.

Но нельзя винить преподавателей за то, что их экзамены взламываемы. Их работа — учить, а не создавать невзламываемые тесты. Настоящая проблема — в оценках, или, точнее, в том, что оценки перегружены. Если бы оценки были всего лишь способом для учителей сказать студентам, что они делают правильно, а что нет, — как тренер даёт советы спортсмену, — у студентов не возникало бы соблазна взламывать экзамены. Но, к несчастью, начиная с определённого возраста оценки становятся чем-то большим, чем советы. С определённого возраста, когда вас чему-то учат, вас обычно одновременно и оценивают.

I've used college tests as an example, but those are actually the
least hackable. All the tests most students take their whole lives
are at least as bad, including, most spectacularly of all, the test
that gets them into college. If getting into college were merely a
matter of having the quality of one's mind measured by admissions
officers the way scientists measure the mass of an object, we could
tell teenage kids "learn a lot" and leave it at that. You can tell
how bad college admissions are, as a test, from how unlike high
school that sounds. In practice, the freakishly specific nature of
the stuff ambitious kids have to do in high school is directly
proportionate to the hackability of college admissions. The classes
you don't care about that are mostly memorization, the random
"extracurricular activities" you have to participate in to show
you're "well-rounded," the standardized tests as artificial as
chess, the "essay" you have to write that's presumably meant to hit
some very specific target, but you're not told what.

Я использовал университетские экзамены в качестве примера, но они на самом деле наименее взламываемы. Все тесты, которые большинство людей проходят на протяжении всей жизни, по меньшей мере столь же плохи, включая самый впечатляющий из всех — тест, открывающий дорогу в колледж. Если бы поступление в колледж сводилось лишь к тому, чтобы качество ума человека было измерено приёмными комиссиями так, как учёные измеряют массу объекта, мы могли бы просто сказать подросткам «учитесь побольше» — и на этом всё. О том, насколько плохо поступление в колледж как тест, можно судить по тому, насколько непохоже на школу это звучит. На практике причудливо специфический характер того, что приходится делать амбициозным детям в старшей школе, прямо пропорционален взламываемости поступления в колледж. Предметы, которые вам неинтересны и которые сводятся в основном к зубрёжке; случайные «внеклассные активности», в которых нужно участвовать, чтобы показать свою «разносторонность»; стандартизированные тесты, искусственные, как шахматы; «эссе», которое нужно написать, предположительно метя в какую-то очень конкретную цель, но какую — вам не говорят.

As well as being bad in what it does to kids, this test is also bad
in the sense of being very hackable. So hackable that whole industries
have grown up to hack it. This is the explicit purpose of test-prep
companies and admissions counsellors, but it's also a significant
part of the function of private schools.

Помимо того, что этот тест плох тем, что он делает с детьми, он плох и в том смысле, что очень легко взламывается. Настолько легко, что для его взлома выросли целые индустрии. Это явная цель компаний по подготовке к тестам и консультантов по поступлению, но это также существенная часть функции частных школ.

Why is this particular test so hackable? I think because of what
it's measuring. Although the popular story is that the way to get
into a good college is to be really smart, admissions officers at
elite colleges neither are, nor claim to be, looking only for that.
What are they looking for? They're looking for people who are not
simply smart, but admirable in some more general sense. And how
is this more general admirableness measured? The admissions officers
feel it. In other words, they accept who they like.

Почему именно этот тест так легко взламывается? Думаю, из-за того, что он измеряет. Хотя расхожая версия гласит, что путь к поступлению в хороший колледж — быть очень умным, приёмные комиссии элитных колледжей не ищут только это и не утверждают, что ищут. Что же они ищут? Они ищут людей, которые не просто умны, а достойны восхищения в каком-то более общем смысле. И как же измеряется эта более общая достойность восхищения? Приёмная комиссия её чувствует. Иными словами, они принимают тех, кто им нравится.

So what college admissions is a test of is whether you suit the
taste of some group of people. Well, of course a test like that is
going to be hackable. And because it's both very hackable and there's
(thought to be) a lot at stake, it's hacked like nothing else.
That's why it distorts your life so much for so long.

Так что поступление в колледж — это проверка того, отвечаете ли вы вкусам некоторой группы людей. Что ж, разумеется, такой тест будет взламываемым. И поскольку он одновременно и очень взламываем, и (как считается) на кону многое, его взламывают как ничто другое. Вот почему он так сильно и так надолго искажает вашу жизнь.

It's no wonder high school students often feel alienated. The shape
of their lives is completely artificial.

Неудивительно, что старшеклассники часто чувствуют отчуждение. Форма их жизни совершенно искусственна.

But wasting your time is not the worst thing the educational system
does to you. The worst thing it does is to train you that the way
to win is by hacking bad tests. This is a much subtler problem
that I didn't recognize until I saw it happening to other people.

Но трата вашего времени впустую — не самое худшее, что делает с вами образовательная система. Самое худшее — то, что она приучает вас: способ победить — это взламывать плохие тесты. Это гораздо более тонкая проблема, которую я не распознавал, пока не увидел, как это происходит с другими людьми.

When I started advising startup founders at Y Combinator, especially
young ones, I was puzzled by the way they always seemed to make
things overcomplicated. How, they would ask, do you raise money?
What's the trick for making venture capitalists want to invest in
you? The best way to make VCs want to invest in you, I would explain,
is to actually be a good investment. Even if you could trick VCs
into investing in a bad startup, you'd be tricking yourselves too.
You're investing time in the same company you're asking them to
invest money in. If it's not a good investment, why are you even
doing it?

Когда я начал консультировать основателей стартапов в Y Combinator, особенно молодых, меня озадачивало то, как они всегда, казалось, всё переусложняют. Как, спрашивали они, привлечь деньги? В чём фокус, чтобы венчурные инвесторы захотели в вас вложиться? Лучший способ заставить VC захотеть в вас вложиться, объяснял я, — это на самом деле быть хорошей инвестицией. Даже если бы вам удалось обманом заставить VC вложиться в плохой стартап, вы обманули бы и самих себя. Вы вкладываете время в ту же компанию, в которую просите их вложить деньги. Если это не хорошая инвестиция, то зачем вы вообще этим занимаетесь?

Oh, they'd say, and then after a pause to digest this revelation,
they'd ask: What makes a startup a good investment?

О, говорили они, а затем, после паузы, чтобы переварить это откровение, спрашивали: что делает стартап хорошей инвестицией?

So I would explain that what makes a startup promising, not just
in the eyes of investors but in fact, is
growth.
Ideally in revenue,
but failing that in usage. What they needed to do was get lots of
users.

И тогда я объяснял, что делает стартап многообещающим — не только в глазах инвесторов, но и на самом деле — это рост. В идеале в выручке, а если не получается, то в использовании. Что им нужно было сделать — это набрать много пользователей.

How does one get lots of users? They had all kinds of ideas about
that. They needed to do a big launch that would get them "exposure."
They needed influential people to talk about them. They even knew
they needed to launch on a tuesday, because that's when one gets
the most attention.

Как набрать много пользователей? У них были всевозможные идеи на этот счёт. Им нужен был громкий запуск, который обеспечит им «известность». Им нужны были влиятельные люди, которые о них расскажут. Они даже знали, что запускаться нужно во вторник, потому что именно тогда получаешь больше всего внимания.

No, I would explain, that is not how to get lots of users. The way
you get lots of users is to make the product really great. Then
people will not only use it but recommend it to their friends, so
your growth will be exponential once you
get it started.

Нет, объяснял я, не так набирают много пользователей. Способ набрать много пользователей — это сделать продукт по-настоящему отличным. Тогда люди не только будут им пользоваться, но и рекомендовать его друзьям, так что ваш рост станет экспоненциальным, как только вы его запустите.

At this point I've told the founders something you'd think would
be completely obvious: that they should make a good company by
making a good product. And yet their reaction would be something
like the reaction many physicists must have had when they first
heard about the theory of relativity: a mixture of astonishment at
its apparent genius, combined with a suspicion that anything so
weird couldn't possibly be right. Ok, they would say, dutifully.
And could you introduce us to such-and-such influential person? And
remember, we want to launch on Tuesday.

В этот момент я уже сказал основателям нечто, что, казалось бы, должно быть совершенно очевидным: что хорошую компанию делают, делая хороший продукт. И всё же их реакция была чем-то вроде той, что, должно быть, испытали многие физики, впервые услышав о теории относительности: смесь изумления её кажущейся гениальностью с подозрением, что нечто столь странное просто не может быть верным. Хорошо, говорили они послушно. А не могли бы вы познакомить нас с таким-то влиятельным человеком? И помните, мы хотим запуститься во вторник.

It would sometimes take founders years to grasp these simple lessons.
And not because they were lazy or stupid. They just seemed blind
to what was right in front of them.

Иногда основателям требовались годы, чтобы осознать эти простые уроки. И не потому, что они были ленивы или глупы. Просто они, казалось, были слепы к тому, что находилось прямо перед ними.

Why, I would ask myself, do they always make things so complicated?
And then one day I realized this was not a rhetorical question.

Почему, спрашивал я себя, они всегда всё так усложняют? И вот однажды я понял, что это не риторический вопрос.

Why did founders tie themselves in knots doing the wrong things
when the answer was right in front of them? Because that was what
they'd been trained to do. Their education had taught them that the
way to win was to hack the test. And without even telling them they
were being trained to do this. The younger ones, the recent graduates,
had never faced a non-artificial test. They thought this was just
how the world worked: that the first thing you did, when facing any
kind of challenge, was to figure out what the trick was for hacking
the test. That's why the conversation would always start with how
to raise money, because that read as the test. It came at the end
of YC. It had numbers attached to it, and higher numbers seemed to
be better. It must be the test.

Почему основатели завязывались в узлы, делая не то, что нужно, когда ответ был прямо у них перед глазами? Потому что именно этому их и приучили. Их образование научило их, что способ победить — взломать тест. Причём даже не сказав им, что их этому приучают. Те, кто помоложе, недавние выпускники, никогда не сталкивались с неискусственным тестом. Они думали, что именно так устроен мир: что первое, что ты делаешь, столкнувшись с любого рода вызовом, — это вычисляешь, в чём фокус для взлома теста. Вот почему разговор всегда начинался с того, как привлечь деньги, ведь это считывалось как тест. Это было в конце YC. К этому прилагались цифры, и бо́льшие цифры казались лучше. Это наверняка и есть тест.

There are certainly big chunks of the world where the way to win
is to hack the test. This phenomenon isn't limited to schools. And
some people, either due to ideology or ignorance, claim that this
is true of startups too. But it isn't. In fact, one of the most
striking things about startups is the degree to which you win by
simply doing good work. There are edge cases, as there are in
anything, but in general you win by getting users, and what users
care about is whether the product does what they want.

Безусловно, есть большие сегменты мира, где способ победить — это взломать тест. Это явление не ограничивается школами. И некоторые люди, то ли в силу идеологии, то ли по незнанию, утверждают, что это верно и для стартапов. Но это не так. На самом деле одна из самых поразительных черт стартапов — то, в какой степени здесь побеждаешь, просто делая хорошую работу. Есть пограничные случаи, как и во всём, но в целом ты побеждаешь, набирая пользователей, а пользователям важно одно: делает ли продукт то, что им нужно.

Why did it take me so long to understand why founders made startups
overcomplicated? Because I hadn't realized explicitly that schools
train us to win by hacking bad tests. And not just them, but me!
I'd been trained to hack bad tests too, and hadn't realized it till
decades later.

Почему мне понадобилось так много времени, чтобы понять, почему основатели переусложняют стартапы? Потому что я не осознавал явно, что школы приучают нас побеждать, взламывая плохие тесты. И не только их — меня тоже! Меня тоже приучили взламывать плохие тесты, и я не осознавал этого вплоть до того момента, как прошли десятилетия.

I had lived as if I realized it, but without knowing why. For
example, I had avoided working for big companies. But if you'd asked
why, I'd have said it was because they were bogus, or bureaucratic.
Or just yuck. I never understood how much of my dislike of big
companies was due to the fact that you win by hacking bad tests.

Я жил так, будто осознавал это, но не понимая почему. Например, я избегал работы в крупных компаниях. Но если бы вы спросили почему, я бы ответил, что потому что они фальшивы, или бюрократичны. Или просто противны. Я никогда не понимал, насколько моя неприязнь к крупным компаниям была вызвана тем, что в них побеждаешь, взламывая плохие тесты.

Similarly, the fact that the tests were unhackable was a lot of
what attracted me to startups. But again, I hadn't realized that
explicitly.

Точно так же то, что тесты были невзламываемы, во многом и притягивало меня к стартапам. Но опять же, я не осознавал этого явно.

I had in effect achieved by successive approximations something
that may have a closed-form solution. I had gradually undone my
training in hacking bad tests without knowing I was doing it. Could
someone coming out of school banish this demon just by knowing its
name, and saying begone? It seems worth trying.

Я, по сути, достиг методом последовательных приближений того, что, возможно, имеет решение в замкнутой форме. Я постепенно избавился от своей выучки взламывать плохие тесты, не зная, что делаю это. Мог бы человек, только что вышедший из школы, изгнать этого демона, просто узнав его имя и сказав «изыди»? Кажется, попробовать стоит.

Merely talking explicitly about this phenomenon is likely to make
things better, because much of its power comes from the fact that
we take it for granted. After you've noticed it, it seems the
elephant in the room, but it's a pretty well camouflaged elephant.
The phenomenon is so old, and so pervasive. And it's simply the
result of neglect. No one meant things to be this way. This is just
what happens when you combine learning with grades, competition,
and the naive assumption of unhackability.

Уже одно лишь то, что мы открыто говорим об этом явлении, скорее всего, улучшит положение, потому что бо́льшая часть его силы исходит из того, что мы принимаем его как должное. Стоит его заметить — и оно кажется слоном в комнате, но это довольно хорошо замаскированный слон. Явление настолько старое и настолько повсеместное. И оно попросту результат недосмотра. Никто не задумывал, чтобы всё было так. Это просто то, что происходит, когда соединяешь обучение с оценками, конкуренцией и наивным предположением о невзламываемости.

It was mind-blowing to realize that two of the things I'd puzzled
about the most — the bogusness of high school, and the difficulty
of getting founders to see the obvious — both had the same cause.
It's rare for such a big block to slide into place so late.

Было ошеломляюще осознать, что две вещи, над которыми я ломал голову больше всего, — фальшивость старшей школы и трудность заставить основателей увидеть очевидное — имеют одну и ту же причину. Редко бывает, чтобы такой большой блок вставал на место так поздно.

Usually when that happens it has implications in a lot of different
areas, and this case seems no exception. For example, it suggests
both that education could be done better, and how you might fix it.
But it also suggests a potential answer to the question all big
companies seem to have: how can we be more like a startup? I'm not
going to chase down all the implications now. What I want to focus
on here is what it means for individuals.

Обычно, когда это происходит, у этого есть следствия во множестве разных областей, и этот случай, похоже, не исключение. Например, это подсказывает и то, что образование можно было бы устроить лучше, и то, как его можно было бы исправить. Но это также подсказывает возможный ответ на вопрос, который, кажется, есть у всех крупных компаний: как нам стать больше похожими на стартап? Я не собираюсь сейчас прослеживать все следствия. То, на чём я хочу здесь сосредоточиться, — это что это означает для отдельных людей.

To start with, it means that most ambitious kids graduating from
college have something they may want to unlearn. But it also changes
how you look at the world. Instead of looking at all the different
kinds of work people do and thinking of them vaguely as more or
less appealing, you can now ask a very specific question that will
sort them in an interesting way: to what extent do you win at this
kind of work by hacking bad tests?

Для начала это означает, что у большинства амбициозных детей, выпускающихся из колледжа, есть нечто, от чего им, возможно, захочется отучиться. Но это также меняет то, как вы смотрите на мир. Вместо того чтобы рассматривать все разные виды работы, которой занимаются люди, и думать о них смутно как о более или менее привлекательных, теперь вы можете задать очень конкретный вопрос, который рассортирует их интересным образом: в какой степени в этом виде работы побеждают за счёт взлома плохих тестов?

It would help if there was a way to recognize bad tests quickly.
Is there a pattern here? It turns out there is.

Помогло бы, если бы существовал способ быстро распознавать плохие тесты. Есть ли тут закономерность? Оказывается, есть.

Tests can be divided into two kinds: those that are imposed by
authorities, and those that aren't. Tests that aren't imposed by
authorities are inherently unhackable, in the sense that no one is
claiming they're tests of anything more than they actually test. A
football match, for example, is simply a test of who wins, not which
team is better. You can tell that from the fact that commentators
sometimes say afterward that the better team won. Whereas tests
imposed by authorities are usually proxies for something else. A
test in a class is supposed to measure not just how well you did
on that particular test, but how much you learned in the class.
While tests that aren't imposed by authorities are inherently
unhackable, those imposed by authorities have to be made unhackable.
Usually they aren't. So as a first approximation, bad tests are
roughly equivalent to tests imposed by authorities.

Тесты можно разделить на два вида: те, что навязаны авторитетами, и те, что нет. Тесты, не навязанные авторитетами, по своей природе невзламываемы — в том смысле, что никто не претендует на то, что они проверяют что-то большее, чем проверяют на самом деле. Футбольный матч, например, — это просто проверка того, кто победит, а не того, какая команда лучше. Об этом можно судить по тому, что комментаторы иногда говорят потом, что победила лучшая команда. Тогда как тесты, навязанные авторитетами, обычно являются прокси для чего-то ещё. Экзамен по предмету должен измерять не просто то, насколько хорошо вы справились с этим конкретным экзаменом, а то, насколько много вы усвоили на курсе. И в то время как тесты, не навязанные авторитетами, по своей природе невзламываемы, тесты, навязанные авторитетами, нужно сделать невзламываемыми. Обычно их таковыми не делают. Так что в качестве первого приближения плохие тесты примерно эквивалентны тестам, навязанным авторитетами.

You might actually like to win by hacking bad tests. Presumably
some people do. But I bet most people who find themselves doing
this kind of work don't like it. They just take it for granted that
this is how the world works, unless you want to drop out and be
some kind of hippie artisan.

Возможно, вам и вправду нравится побеждать, взламывая плохие тесты. Видимо, некоторым нравится. Но держу пари, что большинству людей, обнаруживающих себя за такой работой, она не по душе. Они просто принимают как должное, что мир так устроен, — если только не захочешь всё бросить и стать каким-нибудь хиппи-ремесленником.

I suspect many people implicitly assume that working in a
field with bad tests is the price of making lots of money. But that,
I can tell you, is false. It used to be true. In the mid-twentieth
century, when the economy was
composed of oligopolies,
the only way
to the top was by playing their game. But it's not true now. There
are now ways to get rich by doing good work, and that's part of the
reason people are so much more excited about getting rich than they
used to be. When I was a kid, you could either become an engineer
and make cool things, or make lots of money by becoming an "executive."
Now you can make lots of money by making cool things.

Подозреваю, что многие люди подспудно предполагают, будто работа в области с плохими тестами — это цена, которую платишь за большие деньги. Но это, могу вас заверить, неправда. Когда-то это было правдой. В середине двадцатого века, когда экономика состояла из олигополий, единственным путём наверх было играть по их правилам. Но сейчас это не так. Теперь есть способы разбогатеть, делая хорошую работу, и отчасти именно поэтому люди гораздо больше воодушевлены идеей разбогатеть, чем раньше. Когда я был ребёнком, можно было либо стать инженером и делать классные вещи, либо заработать кучу денег, став «руководителем». Теперь можно заработать кучу денег, делая классные вещи.

Hacking bad tests is becoming less important as the link between
work and authority erodes. The erosion of that link is one of the
most important trends happening now, and we see its effects in
almost every kind of work people do. Startups are one of the most
visible examples, but we see much the same thing in writing. Writers
no longer have to submit to publishers and editors to reach readers;
now they can go direct.

Взлом плохих тестов теряет значение по мере того, как связь между работой и авторитетом размывается. Размывание этой связи — один из важнейших трендов, происходящих сейчас, и мы видим его последствия почти в любом виде работы, которой занимаются люди. Стартапы — один из самых заметных примеров, но почти то же самое мы видим и в писательстве. Писателям больше не нужно подчиняться издателям и редакторам, чтобы добраться до читателей; теперь они могут идти напрямую.

The more I think about this question, the more optimistic I get.
This seems one of those situations where we don't realize how much
something was holding us back until it's eliminated. And I can
foresee the whole bogus edifice crumbling. Imagine what happens as
more and more people start to ask themselves if they want to win
by hacking bad tests, and decide that they don't. The kinds of
work where you win by hacking bad tests will be starved of talent,
and the kinds where you win by doing good work will see an influx
of the most ambitious people. And as hacking bad tests shrinks in
importance, education will evolve to stop training us to do it.
Imagine what the world could look like if that happened.

Чем больше я думаю над этим вопросом, тем оптимистичнее становлюсь. Это, похоже, одна из тех ситуаций, когда мы не осознаём, насколько что-то нас сдерживало, пока это не устранят. И я могу предвидеть, как вся фальшивая конструкция рушится. Представьте, что происходит, когда всё больше и больше людей начинают спрашивать себя, хотят ли они побеждать, взламывая плохие тесты, и решают, что не хотят. Те виды работы, где побеждаешь, взламывая плохие тесты, будут лишены притока талантов, а те, где побеждаешь, делая хорошую работу, увидят приток самых амбициозных людей. И по мере того как взлом плохих тестов будет уменьшаться в значимости, образование станет развиваться так, чтобы перестать приучать нас к этому. Представьте, как мог бы выглядеть мир, если бы это произошло.

This is not just a lesson for individuals to unlearn, but one for
society to unlearn, and we'll be amazed at the energy that's liberated
when we do.

Это урок, от которого нужно отучиться не только отдельным людям, но и обществу, и мы будем поражены той энергией, что высвободится, когда мы это сделаем.

Notes

Примечания

[1] If using tests only to measure learning sounds impossibly
utopian, that is already the way things work at Lambda School.
Lambda School doesn't have grades. You either graduate or you don't.
The only purpose of tests is to decide at each stage of the curriculum
whether you can continue to the next. So in effect the whole school
is pass/fail.

[1] Если использование тестов исключительно для измерения обучения звучит невозможно утопично, то именно так уже всё устроено в Lambda School. В Lambda School нет оценок. Ты либо выпускаешься, либо нет. Единственная цель тестов — решить на каждом этапе учебной программы, можешь ли ты перейти к следующему. Так что, по сути, вся школа работает по принципу «зачёт/незачёт».

[2] If the final exam consisted of a long conversation with the
professor, you could prepare for it by reading good books on medieval
history. A lot of the hackability of tests in schools is due to the
fact that the same test has to be given to large numbers of students.

[2] Если бы итоговый экзамен состоял из долгой беседы с профессором, к нему можно было бы подготовиться, читая хорошие книги по средневековой истории. Бо́льшая часть взламываемости тестов в учебных заведениях обусловлена тем, что один и тот же тест приходится давать большому числу студентов.

[3] Learning is the naive algorithm for getting good grades.

[3] Обучение — это наивный алгоритм получения хороших оценок.

[4] Hacking has
multiple senses. There's a narrow sense in which
it means to compromise something. That's the sense in which one
hacks a bad test. But there's another, more general sense, meaning
to find a surprising solution to a problem, often by thinking
differently about it. Hacking in this sense is a wonderful thing.
And indeed, some of the hacks people use on bad tests are impressively
ingenious; the problem is not so much the hacking as that, because
the tests are hackable, they don't test what they're meant to.

[4] Хакинг имеет несколько смыслов. Есть узкий смысл, в котором он означает скомпрометировать что-то. Именно в этом смысле взламывают плохой тест. Но есть и другой, более общий смысл, означающий найти неожиданное решение задачи, часто за счёт того, что думаешь о ней иначе. Хакинг в этом смысле — чудесная вещь. И действительно, некоторые из приёмов, которые люди используют на плохих тестах, впечатляюще изобретательны; проблема не столько в хакинге, сколько в том, что, поскольку тесты взламываемы, они не проверяют того, что должны.

[5] The people who pick startups at Y Combinator are similar to
admissions officers, except that instead of being arbitrary, their
acceptance criteria are trained by a very tight feedback loop. If
you accept a bad startup or reject a good one, you will usually know it
within a year or two at the latest, and often within a month.

[5] Люди, отбирающие стартапы в Y Combinator, похожи на приёмные комиссии, за тем исключением, что их критерии отбора не произвольны, а отточены очень плотной петлёй обратной связи. Если вы принимаете плохой стартап или отвергаете хороший, вы обычно узнаёте об этом самое позднее в течение года-двух, а часто и в течение месяца.

[6] I'm sure admissions officers are tired of reading applications
from kids who seem to have no personality beyond being willing to
seem however they're supposed to seem to get accepted. What they
don't realize is that they are, in a sense, looking in a mirror.
The lack of authenticity in the applicants is a reflection of the
arbitrariness of the application process. A dictator might just as
well complain about the lack of authenticity in the people around
him.

[6] Уверен, приёмные комиссии устали читать заявки от детей, у которых, кажется, нет никакой личности, кроме готовности казаться такими, какими они должны казаться, чтобы их приняли. Чего они не осознают, так это того, что они в некотором смысле смотрятся в зеркало. Отсутствие подлинности у абитуриентов — это отражение произвольности процесса приёма. Диктатор с тем же успехом мог бы жаловаться на отсутствие искренности у окружающих его людей.

[7] By good work, I don't mean morally good, but good in the sense
in which a good craftsman does good work.

[7] Под хорошей работой я имею в виду не нравственно хорошую, а хорошую в том смысле, в каком хороший мастер делает хорошую работу.

[8] There are borderline cases where it's hard to say which category
a test falls in. For example, is raising venture capital like college
admissions, or is it like selling to a customer?

[8] Есть пограничные случаи, когда трудно сказать, к какой категории относится тест. Например, привлечение венчурного капитала — это как поступление в колледж или как продажа клиенту?

[9] Note that a good test is merely one that's unhackable. Good
here doesn't mean morally good, but good in the sense of working
well. The difference between fields with bad tests and good ones
is not that the former are bad and the latter are good, but that
the former are bogus and the latter aren't. But those two measures
are not unrelated. As Tara Ploughman said, the path from good to
evil goes through bogus.

[9] Заметьте, что хороший тест — это всего лишь тест, который невзламываем. «Хороший» здесь означает не нравственно хороший, а хороший в смысле «хорошо работающий». Разница между областями с плохими и хорошими тестами не в том, что первые плохи, а вторые хороши, а в том, что первые фальшивы, а вторые — нет. Но эти две характеристики не независимы. Как сказала Tara Ploughman, путь от хорошего к злу пролегает через фальшивое.

[10] People who think the recent increase in
economic inequality is
due to changes in tax policy seem very naive to anyone with experience
in startups. Different people are getting rich now than used to,
and they're getting much richer than mere tax savings could make
them.

[10] Люди, считающие, что недавний рост экономического неравенства вызван изменениями в налоговой политике, кажутся весьма наивными всякому, у кого есть опыт в стартапах. Сейчас богатеют не те, кто богател раньше, и они становятся гораздо богаче, чем могла бы сделать их одна лишь экономия на налогах.

[11] Note to tiger parents: you may think you're training your kids
to win, but if you're training them to win by hacking bad tests,
you are, as parents so often do, training them to fight the last
war.

[11] Заметка для тигриных родителей: вы можете думать, что приучаете своих детей побеждать, но если вы приучаете их побеждать, взламывая плохие тесты, то вы, как это часто делают родители, готовите их к прошедшей войне.

Thanks to Austen Allred, Trevor Blackwell, Patrick Collison,
Jessica Livingston, Robert Morris, and Harj Taggar for reading
drafts of this.

Благодарности Austen Allred, Trevor Blackwell, Patrick Collison, Jessica Livingston, Robert Morris и Harj Taggar за чтение черновиков этого текста.