# P<0.05：科学家的隐藏动机

![](https://piccdn3.umiwi.com/img/201801/04/201801042211024866209135.jpg)

今天这个副标题有点耸人听闻，但我本来想用一个更耸人听闻的标题，叫《科学家的自欺欺人》……其实我想说的是有关科学研究的一个*技术性*的内幕。这个内幕不是阴谋也不是秘密，这不是爆料。现在经常有些科学家造假的新闻，但我们今天说的可不是造假。我只是想讲一点真正的科学研究的操作方法。

在你听说的所有心理学、医学和社会调查研究中，凡是涉及到统计方法的研究，从理论上来讲，哪怕科学家都是兢兢业业老老实实地工作，大约每20篇论文中，就有一篇的结果，其实是无效的。而因为科研界很多灰色的做法，实际情况比1/20要坏很多。

这个误差，是科学方法本身所决定的。 

![](https://piccdn3.umiwi.com/img/201801/04/201801041957084412041047.jpg)

我们专栏之前讲香农信息论的时候，有一句话叫“信息就是意外”。那么当你遇到一个统计结果，你在多大程度上应该对这个结果感到意外呢？

这个问题有点大。但我并不认为这个问题有多么难以解释，我想给你解释解释。 

## 1.统计结论是怎么来的

比如现在有人发明了一种新药，你怎么证明这个药是有疗效的呢？有个病人吃了这个药，然后他的病就好了，你能说这个药有疗效吗？不能。因为有些病不吃药也能好。

科学的做法，当然是做个随机实验。我找100个病人，随机分成两组，每组50人。我们给第一组病人吃新药，给第二组病人吃跟新药看上去一模一样的……糖豆，也就是“安慰剂”。病人自己并不知道被分到了哪一组，我们甚至还可以让负责发药的医护人员也不知道每次发的是新药还是安慰剂，这样所有病人除了吃的药不一样，其他方面都是一样的，这就做成了一个“双盲”实验。 

![](https://piccdn3.umiwi.com/img/201801/04/201801041958378883817542.jpg)

如果在一个疗程之后，第一组病人全都治好了，第二组病人全都死了，那我们就有充分的理由相信这个新药是有疗效的。

但真实世界没有这么好的事儿。即便是在市场上很火的药，有效率也没有那么高，经常都只是比不吃药稍好一点而已。你的实验结果更可能是第一组有22个人的病好了，4个人死了，第二组只有15个人病好了，但是只死了3个。

这就让人很无奈。你说这个药无效吧，第一组的治愈率确实比第二组要好。你说这个药有效吧，疗效似乎不怎么明显，死亡率还上升了。那如果你是科学家，这个论文应该怎么写呢？

这就得用到统计方法了。这个思想的关键，就是我们要判断，现在这个结果，到底是药物疗效导致的呢，还是纯粹是个偶然事件。

咱们干脆考虑一个最简单的例子，只看死活：假设第一组的所有病人都活着，而第二组死了5个病人 [1]。也许正是新药的疗效，才让第一组没死人，但也许这只是一个巧合。

科学家的做法，是先来一个“ 无效假设 ”：

— 假设药物无效，并且这个疾病的死亡率就是第二组所揭示的10%。

科学家的问题是，如果这个无效假设是对的，那么请问，出现第一组不死人这个结果的可能性，有多大？

这个问题的本质，就是问，你第一组这么好的结果，到底是不是纯属偶然。纯属偶然是完全可能的。哪怕药物完全无效，以至于这个病还是有10%的死亡率，那也不见得第一组就也应该死5个病人 — 你要知道，哪怕是抛硬币，也存在一个连抛50次都正面朝上的可能性。

那我们就来算算这个可能性。每个病人不死的概率是0.9，50个人都不死的可能性就是0.9的50次方，等于0.00515。

科学家把无效假设成立的可能性，称为“ P值 ”。那么在这个例子中，

P = 0.00515。

那也就是说，无效假设不成立、第一组实验结果并非偶然的可能性，是 1 - P = 0.99485。

那么科学家就会这么写论文：“实验证明，这种药是有效的，P = 0.00515。”

读者读到这句话，就可以这么理解，实验结果应该不是巧合，这种药有效的可能性高达99.485%。

这才是理解论文的正确思路。P 值告诉我们巧合的可能性 。回到咱们最开头的实验，在一定的 P 值的指导之下 ，我们也许可以说：药物疗效大概是真的，第一组的治愈率高 很可能不是巧合，而第一组多死了一个人这件事， 很可能只是巧合。 

![](https://piccdn3.umiwi.com/img/201801/04/201801041959462198317134.jpg)

但是对不起，你注意到没有，我们前面说错了一句话。“这种药有效的可能性高达99.485%”，这句话是错的。 

## 2.怎样理解 P 值

关于 P 值有很多错误理解。我们前面那句“这种药有效的可能性高达99.485%”其实是错的，但是很多科学家跟记者也这么说。

P 值的真正意思是说， 相对于“死亡率是10%”这个“无效假设” ，实验结果纯属巧合的可能性是0.00515。那我为啥非得用死亡率是10%这个无效假设，我为什么不用别的无效假设呢？这纯粹是科学家的主观选择。

还有一点特别重要，P 值只能让我们更好地评估这个药*有没有*疗效，但是它可没说这个药的疗效有多大。

比如2013年《自然》杂志上有个影响很广的论文 [2]，说 -- 

“针对19,000人的研究表明，如果夫妻双方是通过婚恋网站介绍认识的，他们离婚的可能性比在线下认识的夫妻低 ( P < 0.002 ) ，他们收获较高婚姻满意度的可能性也比线下认识的夫妻要高 (  P < 0.001 )。”

这两个 P 值很低，说明结果绝非偶然。那我们能从这段话里得到什么结论呢？是不是说在生活中找对象这种做法太落后了，我们应该把命运交给婚恋网站的匹配算法呢？

不至于。你要仔细看 [3] 这篇论文的结果，婚恋网站只不过把离婚率从 7.67% 降到了 5.96%，把婚姻满意度从 5.48 分（满分 7 分）提高到了 5.64 分而已！这点效应根本不值得你太认真。

现在学术界的一个几乎是“黄金标准”的标准，是 P 值要小于 0.05。如果 P > 0.05 ，别人会认为你这个结果很可能纯属巧合，根本不值得认真对待，你都不好意思写论文发表。如果 P < 0.05 ，人们就说这个结果是“ 显著的（significant） ”。 

![](https://piccdn3.umiwi.com/img/201801/04/201801042001102932308613.jpg)

但是请注意，这个“显著”的意思，可不是说疗效很厉害 —— P 值关注的仅仅是*有没有*疗效，不是疗效的大小！ 

![](https://piccdn3.umiwi.com/img/201801/04/201801042002014659587653.jpg)

还有个关键问题。为啥非得是 0.05 呢？ 

## 3.0.05 啊 0.05

我看有些统计学教材都把 0.05 当成了一个硬性标准，P < 0.05 就显著，否则就不显著。但事实上这个标准根本没有科学依据，纯粹是科学家的约定俗成而已。

这一整套看 P 值的检验方法是英国的统计学家罗纳德·费希尔（Ronald Fisher）提出的，这个理论才只有几十年的历史。

费希尔先生是个体面人。他当时选择了0.05这个数值，可不是说 P < 0.05 就可以发表论文 —— 他的意思是 P < 0.05 的结果才“值得看”。那满足什么标准才算可以接受的结论呢？费希尔当时想的可是 P < 0.001 [4]。

但问题在于，做实验想要得到 P 值小于0.001的结果，需要找太多受试者，成本实在太高。大家退而求其次，都默认了 0.05。其实即便是这个标准都是很难达到的，不知道有多少科学青年的青春，就消耗在了这个 0.05 上！ 

![](https://piccdn3.umiwi.com/img/201801/04/201801042003201060635718.jpg)

其实就算做到了 P < 0.05，也不能说实验结果就是真的 —— 根据我们前面的分析，P = 0.05 意味着有 1/20 的可能性，在你这个特定的无效假设之下，这篇论文的结果纯属巧合。事实情况比这个严重得多，根据有人研究 [3]，如果你考虑到无效假设的任意性之类的统计方法上的因素，一篇 P = 0.01 的论文，属于巧合的可能性，在某些情况下，高达11%！

而这还不算完。 

## 4.动机性推理

说到这里我想说一个概念，叫“动机性推理（motivated reasoning）”。所谓动机性推理，就是如果你事先有一个达到什么结论的强烈动机，你的推理过程就会刻意地满足这个结论。

如果科学家非常希望自己的结论是对的，他想让 P 值小于0.05，他就有可能采取一些主观的做法，达到这个标准。 

![](https://piccdn3.umiwi.com/img/201801/04/201801042004366157224909.jpg)

你可以选择一个不一样的无效假设。你可以看 P 值太高就再多招几个受试者做实验。再比如说，实验组多死了一个人，你可以说这个病人是个特殊病人，他有别的病，他的死亡是因为别的病的并发症，这样的数据不算数！—— 你就把这个不利的数据给剔除了。这个做法叫“数据采摘”，英文叫 cherry-picking — 你就好像挑选樱桃一样，只要你想要的数据。 

![](https://piccdn3.umiwi.com/img/201801/04/201801042005270564387893.jpg)

Cherry-picking 不算造假，但是也不能算诚实的科研态度。

那你可能问，你说科学家刻意美化了数据，这有根据吗？我们的确不能拿着一篇论文就说人家的 P 值是经过美化的，我们不了解人家的实验是怎么做的。但是如果你把很多论文都放在一起，看看 P 值在这些论文中的分布情况，你就会发现一个很有意思的现象。

P < 0.05 纯粹是人为的约定，没有任何自然意义，所以各个研究中 P 值的分布应该是一条光滑的曲线，0.05这个数值在曲线上不应该有任何突兀之处，对吧？当然，有些 P > 0.05 的结果也许没有发表，那么曲线应该在0.05这个地方有个截断，但是0.05不应该比0.045重要，对吧？

可过去这几年，就不断有研究发现，在经济学、心理学和生物学论文中， P 值的分布，在0.05处有个明显的凸起 [5] —— 

![](https://piccdn3.umiwi.com/img/201801/04/201801042006202257909178.jpg)

唯一的解释，就是有很多论文故意把 P 值*做*到了“恰好”在 0.05 以内。 

## | 由此得到

这几天我们在讲《头脑里的大象》这本书，说每个人都有隐藏的动机 —— 现在看来，连科学家也不例外。那别的行业是什么样，也就可想而知了。

那科研结果还能信吗？能信，科学方法是获取知识“最不坏”的方法。而且近年来，科学家们自己，也正在积极反思 P 值代表的问题。

真实世界就是这样 —— 没有我们最初想象的那么美好，但是总值得我们活下去，而且有一点你不能不承认：它比我们想象的更有意思。 

![](https://piccdn3.umiwi.com/img/201801/04/201801042008219928934354.jpg)

![](https://piccdn3.umiwi.com/img/201801/04/201801042009081192262128.png)