# 《让世界讲得通》4：怎样像强者一样看科学论文

![](https://piccdn3.umiwi.com/img/202101/10/202101101458115228754277.jpeg)

这一讲我们先播报几个你已经比较熟悉的事件的最新进展。

1）“嫦娥五号”带回来的 1731 克月球土壤，是人类第一次取得的月球背面的土壤。这个土壤跟之前美国和苏联的月球土壤有什么不同呢？其中有没有水的成分呢？有多少氦3呢？有没有什么令人感到特别意外的物质？答案是现在还不知道，因为科学家仍然在分析之中。

2）2020年12月23日，一颗“火流星”在青海玉树坠落，科学家判断这是一块重达430 吨的陨石。你知道这颗陨石的奇特之处吗？根据科学家的计算，它的运行轨迹和坠落情况都符合陨石的行为规律，这是一颗正常的陨石。

3）最近新出了一本书叫《博弈论：决策致胜的法则》，其中讲到了博弈论的知识。不过这些知识我们专栏已经讲过了。

4）罗胖在跨年演讲中提到了几个有关中国经济的数字，其中特别有一项数字是 2019 年中国向外输出了 530 亿美元的钢材。而我查阅了一下，发现他说的对。

5）我没有感染新冠病毒的症状，所以我没有去做检测。

……

听到这里你可能再也忍不住了。没料你说啥啊？确实，上面这些所谓的进展其实是没有进展，没有哪个媒体会向你报道这样的消息。但是请注意，这些都是正确的消息。

正确，但是不值得报道。意外的消息才值得报道。我为了写这个专栏每天都在寻找意外的消息，我希望今天人类收到了外星人信号明天有人终于证明了P=NP，我希望把专栏变成猛料发布会。

好在科学里的猛料也挺多的。我们最喜欢的是那些「意料之外，情理之中」的研究结果。最好你一听觉得特别新鲜有趣，仔细一想又能相信它是对的，然后最好它还有个普遍的应用。比如下面这些你可能已经耳熟能详的说法 ——

1）「选择的悖论」。心理学家摆出一些果酱让受试者买。当可选的果酱只有 6 种的时候，30%的人从中做出了选择，而且真的花钱买了；可是当可选的果酱有 24 种之多的时候，只有 3%的人做出了选择。这个实验告诉我们，选项太多会让人陷入矛盾而干脆什么都不选。

2）「意志力是一种有限的资源」。如果你今天下午要面对一场意志力的考验，比如说考试，那你中午这顿饭最好吃得任性一点。这是因为强迫自己吃健康饮食会消耗你的意志力，而意志力是一种有限的资源，你应该留着用在下午的关键时刻。

3）「Prime 效应」。你知道吗？仅仅是阅读和使用一组有关“老年”的词汇，你就会收到暗示，感到自己变老了。受试者做了一组文字游戏题，题目中的答案都是像“脱发”、“退休”、“皱纹”、“灰色”和作为老年人度假胜地的“佛罗里达”这样的词，结果受试者做完题，离开房间往外走的时候，他们的走步速度，明显地比做别的题目的对照组要慢：他们不知不觉地把自己当成了老人。

4）「高能量姿态」。如果你马上要参加一场面试，感到自己有点不自信，可以先演练几个姿势。比如你可以像“神奇女侠”那样双腿分开挺身站立，然后双手叉腰。这样的姿势能给你正面的自我暗示，会让你变得更自信。

5）「逆火效应」。当我们面对一个谣言的时候，也许最好的办法是对它置之不理，而不是给它辟谣。有研究表明反驳一个谣言只会加强这个谣言的传播，而且过后人们会忘记它到底是对是错，可能会更容易记住错误的结论。

以上这五个研究结果，有的我们专栏讲过，有的你可能在别处看过，它们都非常、非常著名。然而你知道现在心理学陷入了“可重复性危机”，有很多看似惊人的结果都经不起重复验证实验。那你能不能猜一猜，上述这五个研究中，有哪几个，未能经受得住重复验证，现在已经被基本上证伪了呢？

*

心理学家曾经组织过一次跨学校、跨机构的大规模协作，共同选择了 100 项已经发表的研究，对其进行重复验证。验证的结果是 2015 年发布的。你猜这100个研究中，有多少个经受住了验证的呢？

只有 39 个。连一半都不到。科学结论的标准不就是可重复可检验的吗？可是你这里有超过一半的研究都是不可重复的。当然也许那些重复研究做的不准确，你得找很多研究组，各自做很多次才知道到底对不对。我们刚才说的那五个研究就是这样的情况，现在已经有多个组对它们做过重复验证，结论是相当一致的 —— 

那五项研究，全都被证伪了。

具体的文献请参考蒂姆·哈福德的《让世界讲得通》。可这是为什么呢？难道说最早的那些研究者都是故意造假吗？

*

能用普通错误解释的就不要用恶意，我们还是说统计学。这一讲的主题是“出版偏倚（publication bias），也叫发表性偏倚”。出版偏倚是幸存者偏差的一种，它使得你能看到的研究结果，都是比较怪异的研究结果。

发表学术论文和发表新闻报道一样，读者欢迎意外消息。如果你的论文主题是像我们今天开头的那五条报道一样，你根本找不到地方发表。做出正确的研究结果很容易，难处在于做出意外的研究结果。

假设你是一个心理学研究者。“人”这个动物的各种特性对你已经都不新鲜了，可是为了发表论文，为了在学术界生存下去，你必须找到人的一个新的、意外的特性。有一天逛超市的时候面对十几种果酱你不知道该选哪一种。在你妻子催促你的时候，你的灵感不期而至。

会不会选项越多，人就越不想选呢？

这个想法很新颖。有点反常识，同时又是那么的合理。从来没人想到过这个道理。而且这个道理还对商家有指导意义。你迅速组织了实验。

你非常希望这个效应是真的。

连你自己都没想到，这个实验将会被写进很多本畅销书里。

*

心理学实验通常都是招募一群人，随机分组，让各组做不同的事情，最后结果是统计出来的。而统计容易问题。接下来发生的事情有多种可能性。

**结果可能仅仅是个巧合。也许你招募的受试者人数太少，也许就是那么巧，你观察到面对 6 个果酱选项的人明显比面对 24 个选项的人更愿意花钱。而殊不知，如果有一百个研究者做这样的实验，其中只有一个会得到你这样的结果。你其实是中奖了。**

**还可能你这个实验的组织有问题。这就好比说我们组织一场篮球比赛，山东对广东。你想证明山东强于广东，你给自己设定的标准是如果山东队的比分比广东队高十分以上，就算山东队更强。比赛进行到第二节第五分钟的时候，山东队领先广东十分 —— 你认为结果已经出来了，于是你就叫停了比赛，宣布实验结束。**

**更有可能是你对实验数据做了一定的修饰。对照组有几个人一上来也不看题就买了果酱，他们好像是专门来买果酱的，这样的人不能算数。实验组有个老奶奶犹犹豫豫地就是不买，于是你规定把七十岁以上的受试者都排除在外。反正规则都是你定的，你反复尝试了各种规则，终于定制了一组能让结果出现的规则。**

在你看来这些都算不得造假，大家做实验统计都是这么做的，毕竟你没有胡乱编写数据。后来又有一次逛超市的时候，你也问过自己：如果我这个发现是对的，那些超市为什么还给每个商品弄那么多选项呢？你说服自己，这一定是他们还不懂消费者真正的心理。

你的论文发表了。

*

说到这里你可能会问，难道那些论文的审稿人就不好好把把关吗？这很难把关。期刊和审稿人都不可能专门组织一帮人把论文中的实验重做一遍，一般看你的研究方法没问题，结果新颖就行了。而论文发表之后，通常也不会有人专门做实验去验证你的结果。

这就是出版偏倚。验证别人的结果要花费同样的人力物力，可是验证的结果是不值得发表的。你说他做得对也好错也好，期刊不感兴趣。期刊只喜欢新的、意外的结果。

特别是，期刊不喜欢没有效应的结果。2008 年，有人系统性地调查了有关抗抑郁类药物的研究论文，发现 48 篇论文都是说某种药物有效的，只有 3 篇说某种药物无效。然而 48 : 3 远远不是真实的研究结果对比，你还得看那些被期刊拒稿没有发表出来的研究。调查者找出了 23 项没有发表的研究，其中 22 项说某种药物无效，只有 1 项说某种药物有效。再进一步，在那些发表出来的论文中，还有 11 项结果其实是药物无效，只是写论文的时候被粉饰成了有效 —— 把这些都考虑进来，真正的有效vs无效比分应该是 38 : 37。

也就是说那些药物无效的可能性相当大。

我们开头说的那种「世上本无事」式的消息，才是普遍的消息。意外的消息常常是不可靠的消息。使用统计方法得出的科学结论很可能比主流媒体的新闻报道更不靠谱。

*

这让我们如何面对科学论文呢？以我之见，了解了科学家的复杂心态、科研工作中的各种不堪行为，你最大的收获应该是做一个心比他们更大的强人。他们关注的是自己那个小研究能不能发表，你关注的是那个结论正确不正确，是不是真有用。科学家不是让人仰望的神职人员，他们只不过是我们的工具人。

但我还是那句话，我们之所以相信科学，不是因为科学这门业务的方法绝对可信，而是因为科学家这个群体很厉害。首先并不是所有学科的论文都那么容易出毛病，通常只是涉及到统计学的研究才会有那么大的不确定性。其次我们「相信科学」信的不是哪一篇具体的论文，而是「学术共同体」的共识，信的是「当前科学理解」，而共识和理解都是经过大量重复验证的结论。

更重要的是，科学共同体非常善于自我更新和自我纠正。现在学术界已经采取了一系列措施去应对可重复性危机和出版偏倚 ——

第一，科学家被鼓励重复验证现有的研究结果，而且鼓励发表。

第二，已经有了专门的期刊（比如说，Trials）用于不带偏见地发表统计实验结果 —— 不论这个实验结果是否有意外发现：你能证明某个东西没有效应，这也是值得了解的结论。

第三，现在流行一个新的研究规范是在开展一项随机实验之前，研究者必须先在某个网站注册一下（这叫 preregistration），事先说好你准备用什么方法、采集和分析哪些数据。这就等于说在篮球比赛开始之前先说好要打多少分钟，这样就避免了你根据比赛情况现场决定如何采集数据。

第四，有感于公众不容易了解当前科学理解，科学家成立了像 “科克伦协作（Cochrane Collaboration， https://www.cochrane.org/）”这样的组织，专门就一些新的像医学和社会科学领域的新进展撰写文章，给你一个最可信的说法。

统计学的第五个教训是你有必要了解那些科研结果是怎么做出来的。经常去餐馆的厨房看看不一定能增加你的食欲，但是能让你的认识更接近内行。

## 划重点

统计学的第五个教训是你有必要了解那些科研结果是怎么做出来的。经常去餐馆的厨房看看不一定能增加你的食欲，但是能让你的认识更接近内行。

![](https://piccdn3.umiwi.com/img/202101/10/202101101644527436808669.jpg)