A Way to Detect Bias
Пол Грэм описывает способ обнаружить предвзятость в процессе отбора, не зная ничего о составе пула кандидатов. Метод работает при трёх условиях: есть хотя бы случайная выборка отобранных кандидатов, измеряется их последующая результативность, а сравниваемые группы имеют примерно одинаковое распределение способностей. Суть в том, что если отбор предвзят против кандидатов определённого типа, то таким кандидатам приходится быть лучше, чтобы пройти отбор. Поэтому их последующие результаты окажутся в среднем выше. Важное следствие: третьи стороны могут применять эту технику для выявления предвзятости независимо от того, хотят этого те, кто отбирает, или нет.
October 2015
This will come as a surprise to a lot of people, but in some cases
it's possible to detect bias in a selection process without knowing
anything about the applicant pool. Which is exciting because among
other things it means third parties can use this technique to detect
bias whether those doing the selecting want them to or not.
You can use this technique whenever (a) you have at least
a random sample of the applicants that were selected, (b) their
subsequent performance is measured, and (c) the groups of
applicants you're comparing have roughly equal distribution of ability.
How does it work? Think about what it means to be biased. What
it means for a selection process to be biased against applicants
of type x is that it's harder for them to make it through. Which
means applicants of type x have to be better to get selected than
applicants not of type x.
[1