检测偏见的一种方法
原文:A Way to Detect Bias
作者:Paul Graham 发表:2015-10
译者:Claude(baoyu-translate)
这件事可能会让很多人意外:在某些情况下,即使你对申请池一无所知,也能检测出筛选过程中是否存在偏见。这件事让人兴奋的地方在于——除别的不说,它意味着第三方可以用这种方法去检测偏见,无论被检测的筛选方愿不愿意配合。
只要满足以下三个条件,你就可以使用这种方法:(a) 你至少拿得到被选中申请者的一份随机样本;(b) 他们之后的表现可以被测量;(c) 你比较的两组申请者,能力分布大致相同。
它是怎么起作用的?想想“有偏见“到底意味着什么。所谓筛选过程对 x 类申请者有偏见,意思是这类人更难通过这道关。也就是说,x 类申请者必须比非 x 类申请者更优秀才能被选中。进而意味着,x 类申请者中真的通过筛选的那些人,会比其他被选中的人表现得更好。而只要测量所有被选中者的后续表现,你就会知道他们是不是真的更好。
当然,你用来测量表现的指标必须是有效的。特别是,这个指标本身不能被你正要测量的那种偏见污染。但确实有一些领域里,表现是可以被衡量的——在这些领域,检测偏见就变得很直接。想知道筛选过程对某一类申请者是否存在偏见?看看他们的表现是不是跑赢了其他人。这不只是一个用来检测偏见的启发式判断——这就是“偏见“本身的定义。
举个例子,许多人怀疑 VC(风险投资人)公司对女性创始人有偏见。这件事其实很容易验证:在他们的已投公司里,有女性创始人的创业公司,是不是跑赢了没有女性创始人的?前几个月就有一家 VC 公司——几乎可以肯定是无意中——发布了一份正好显示出这种偏见的研究。First Round Capital 发现,在他们已投的公司中,有女性创始人的创业公司比没有女性创始人的高出了 63%。
我之所以一开始说这种方法会让很多人意外,正是因为我们极少看到这种类型的分析。我敢说 First Round 自己也会意外——原来他们做的就是这样的研究。我怀疑那里的人没有一个意识到:因为他们把样本局限在自己投过的公司,所以他们做出来的并不是一份关于创业趋势的研究,而是一份关于他们自己在挑公司时的偏见的研究。
我预测以后我们会看到这种方法被更多人用上。做这类研究所需要的信息,正变得越来越容易获得。“谁申请了“这类数据通常被组织方严密地把守着,但如今,“谁被选中了“的数据,往往只要有人愿意花点时间去汇总,就能公开拿到。