# 伯克森悖论

![](https://piccdn3.umiwi.com/img/202002/29/202002292141278731527614.jpeg)

这一讲咱们说一个不怎么著名，但是应用场景很广的统计学现象，叫“伯克森悖论（Berkson’s Paradox）”。你可能没听说过这个名词，但是你肯定听说过下面这样的说法 —— 

关蓉蓉是一位青年女性，有过几次恋爱经历但是都没成。这一天，朋友给她介绍了一位各方面条件都很好的男子。可是关蓉蓉一看照片就拒绝了。关蓉蓉说：“我想清楚了，我要找一位性格好的暖男，可是这个人太帅了。以我自己的经验和对周围人的观察而论，长得帅的男人性格都很差。”

秦奋是研究所的业务骨干，能力一流但是有点木讷。这一次所里评职称，秦奋给全所作了个报告，但是发挥的不是很好。所长徐治功说：“我们用人要用长板，不能因为报告没讲好就让秦奋落选。以我这么多年的经验而论，不善言辞恰恰是智商高的特征。”

大学生邓豫突然对文学产生了兴趣，他决心发奋读书，通过经历虚构的故事迅速领悟人生的智慧。他向一位老师请教应该读哪些人的作品。老师说：“你应该多读一些小众的作家。以我读过这么多书的经验而论，像村上春树这种特别流行的都没啥深度。”

伯克森悖论是说，哪怕上面这些人的经验都是真的，他们从经验中总结出来的结论，也很可能是错的。

理解这个悖论能消除你的一些偏见。咱们先说几个常见的，再说一个高级的应用。

*

我们要借助“相关性”这个统计概念。经济学家曾经做过很多次的统计，长得漂亮的人的收入会更高一些。那么我们可以说，“漂亮”和“收入高”这两个特性之间存在一个“正相关”。相关性只是一种大致的关系，有些长得不漂亮的人收入也很高，但是在统计意义上，以社会总体而论，有这么一个趋势。

![正相关，负相关和0相关。图片来自investopedia.com](https://piccdn3.umiwi.com/img/202002/29/202002291518115026293615.png)

像智商和学习成绩，性格外向和受到关注，这些都是正相关。反过来说，身高和体操之间可能存在一个“负相关”，因为身高太高的人不容易做出高难度的体操动作。

那么关蓉蓉说的就是，“长得帅”和“性格好”之间，存在一个负相关。你在直觉上可能认为她说的有道理。你可能设想，长得帅的男子从小被宠着，肯定惯坏了；而长得不帅的男子从小受打击，有利于磨炼好性格。

但是你这个设想没道理。

*

我们干脆假设，长得帅不帅跟性格好不好完全没关系。你看看在这样一个世界里，关蓉蓉会观察到什么。

下面这张图 [1] 的横坐标代表长得帅，纵坐标代表性格好。图中每一个点代表一个青年男子。这些点的位置完全没有任何规律，相关系数 = 0。 

![](https://piccdn3.umiwi.com/img/202002/29/202002291519266137111381.png)

如果关蓉蓉考察所有这些男子，她一定不会认为长得帅的人性格不好。但关蓉蓉看到的不是这张图。长得特别丑或者性格特别差的人根本就不会进入她的视野。关蓉蓉考虑的对象、关蓉蓉关注的案例，都是长相和性格至少要有一定水平的人，也就是

长相 + 性格 > 某个阈值

所以关蓉蓉看到的只是图中右上角那个三角区中的人 ——

![](https://piccdn3.umiwi.com/img/202002/29/202002291520016620371667.png)

这些人突然有了个三角形的趋势！因为三角形斜边上的两个角的存在，长得越帅的人似乎越容易性格比较差；性格越好的人似乎越容易长得不帅。性格和长相之间出现一个取舍。这正是负相关。

因为关蓉蓉只能看到这个三角形，所以她据此推测，一定有一种力量在摧毁帅哥的性格，也许他们从小被惯坏了。

可是这些点都是我们设计的！你一开始已经知道，这些点代表的性格和长相没关系！我们根本没安排什么摧毁性格的神秘力量。

**关蓉蓉的统计不全面。要想进入关蓉蓉的法眼，长相和性格都不能太低。有些人长相只能算说得过去，但是靠性格特别好也入选了；有些人性格属于勉强还行，主要是凭长相入选 —— 因为这两种人的存在，使得关蓉蓉感觉长相好的人受到了性格的摧残，关蓉蓉决心远离长相好的人。**

可事实上，如果你选定图中长相得高分的一列点 —— 比如只看“长相 = 0.9” 的人 —— 你会发现性格出现在三角区中红色线段上任何一点的可能性是完全一样的。看到别人长得帅就认为他性格不好，就会错过长得又帅、性格又好的人。

当然我们设计的这些点并不能代表真实世界。真实世界中也许真的有“长得帅的人被惯坏了”这个可能性，也许没有 —— 但是我们证明了，关蓉蓉的观测*并不足以推出*那样的结论，关蓉蓉对帅哥的歧视*没道理*。

*

伯克森悖论的常见形式，就是如果你对两个特性有一个总体的阈值要求 —— 这两个特性哪怕没关系，甚至哪怕原本可能还是正相关 —— 在你考察的那个范围内，也能让你感觉它们有负的相关性。

为什么很多人觉得学术水平高的人都不善言辞？跟关蓉蓉选男朋友是同样的道理。一个人要想能进入学术界，业务能力和说话能力都得有才行，而且这两个能力能互相弥补。既然已经进入了研究所，那就必然有的人水平高而不善言辞，有的人能说但是水平不算太高。但你不能说既然这个人讲话能力一般，他水平就肯定极高 —— 也可能他两项加起来也只是勉强过线而已。

一个作家要被人所知，要么他的作品特别有深度，让评论家喜欢，要么他的作品特别通俗，让大众喜欢 —— 但这并不意味着流行的就肯定没深度，更不意味着作家只要降低深度就能流行。事实上有很多号称的严肃文学作品，虽然不流行，但是也没深度。

像这样的例子有很多。很多人认为漂亮的女生都不聪明，颜值高的演员都没演技，有特长的人必定有明显短板，家里条件好的大学生必定不用功，这些都是伯克森悖论导致的偏见。

*

**伯克森悖论和人们熟悉的“幸存者偏差”都属于“选择偏差”，出错的根本原因都是你统计的数据不够全面。在统计研究中，你稍不小心，就会犯伯克森悖论的错误。**

有一个真实的例子是这样的 [2]。有人统计了因为出车祸而被送进医院急诊室的摩托车手，发现戴头盔的人所受的伤，反而比不戴头盔的人更重。难道说因为戴头盔的人开车更大胆，所以更容易受重伤吗？不一定。

事实是很多戴头盔的人因为头盔的保护，而只受了轻伤，根本就无需进急诊室。你考察的其实是“身体受到的保护”和“身体受到的伤害”这两个因素 —— 保护必须足够小，伤害必须足够大，才能让这个人进急诊室 —— 这跟关蓉蓉关注的“长相 + 性格”是一个道理，所以你看到了不戴头盔和受重伤的假的负相关。

我听到一个有意思的例子来自中国的金融业 [3]。如果你在银行贷款信息中比较国有企业和民营企业，你会发现民企的效率比国企高。有的学者就把这个结论当真了。但事实上“能拿到银行贷款”是个很强的阈值，企业的“效率”和“风险担保”这两个因素必须都很好才行。国企有国家的隐性担保而民企没有，所以民企的效率必须得高才能拿到贷款 —— 那个学者没有统计那些拿不到贷款的民企。

最后咱们再说一个有点不容易看出来的例子：高分低能。

*

Google 是个非常善于使用统计方法的公司，经常弄个“机器学习”之类。大概是 2015 年，Google 把机器学习用在了自己身上，它想看看从哪些因素能判断一个员工是不是个能干的好员工。Google 经常会招一些各大编程竞赛的获奖者。而机器学习发现，在编程竞赛中得过奖，恰恰是一个说明这个员工工作能力*不行*的因素。

这不就是咱们中国人常说的“高分低能”吗？Google 自己也没想明白这是为什么 [4]，它猜测可能是因为竞赛优胜者更善于快速解决问题，未必适合长期的项目。

但是伯克森悖论可以完美解释这个现象，高分低能很可能只是错觉。

一个科技博客的博主，埃里克·伯恩哈德森（Erik Bernhardsson），是这么分析的 [5]。如果你考察世界上所有的人，显然编程比赛成绩和实际编程能力是绝对的正相关，能在比赛中拿奖说明你必定是个编程高手。在理想情况下，Google 招人应该只看实际能力，而不管这个人是不是获奖者，那么它招到的人应该是下面这张图中红色的那些点 —— 

![](https://piccdn3.umiwi.com/img/202002/29/202002291541115198157048.jpg)

图中横坐标代表实际能力，纵坐标代表比赛成绩，每一个点代表一个程序员。Google 的理想招法是在实际能力的某一个阈值上竖着切一刀，只要右边那些点。而对这些红色点来说，比赛成绩和实际能力仍然是正相关。你不看比赛成绩招人也能招到很多比赛成绩好的人，因为比赛真的能反映水平，这没问题。

那为什么 Google 招到的人中，比赛成绩和实际能力是负相关的呢？因为 Google 在招一个人之前没有办法精确知道这个人的实际能力，它不得不把比赛成绩作为一项重要参考指标，所以它招人其实是像下面这张图这样招的 —— 

![](https://piccdn3.umiwi.com/img/202002/29/202002291550335373048778.jpg)

就好像关蓉蓉考察潜在交往对象一样，Google 选择的是分布图中右上角的那些人。而对那些人来说，比赛成绩和实际能力有个假的负相关，典型的伯克森悖论。

出现这个现象的根本原因是能进 Google 的已经都是优秀程序员。你拿优秀的人和优秀的人比，因为其中有些人是靠比赛成绩突出而显得优秀，所以你会产生比赛成绩好反而能力弱的感觉。其实就算根本没有一个“比赛能力会削弱实际能力”的机制，仅仅是统计分布，就足以让你产生这个感觉了。

所以“高分低能”是一个合法的感觉，但是是个偏见。当你面对一个成绩特别出色的人才的时候，不应该假设他实际能力不行。

*

了解了伯克森悖论，下一次再听说涉及到能力、人品、长相、运气的各种“负相关”论断，你都应该保持戒心。

生活中有很多这样的民间智慧，比如什么“寒门出贵子”，什么“为富不仁”，什么“仗义每从屠狗辈，负心多是读书人”，什么“杀人放火金腰带，修桥铺路无尸骸”，都十分可疑。

平庸的寒门子弟、遵纪守法的富人、没有英雄壮举的屠狗辈、忠诚的读书人和安享晚年的好心人，他们的新闻阈值太低，他们的事迹没有四海传扬。你必须把这些人都统计上，才能得出正确的结论。

## 划重点

1.伯克森悖论的常见形式，就是如果你对两个特性有一个总体的阈值要求 — 这两个特性哪怕没关系，甚至哪怕原本可能还是正相关 — 在你考察的那个范围内，也能让你感觉它们有负的相关性。
2.出错的根本原因都是你统计的数据不够全面。

![](https://piccdn3.umiwi.com/img/202002/29/202002291554092096514756.jpg)