# 《人人说谎》8:大数据的不能和不愿 ![](https://piccdn3.umiwi.com/img/201706/02/201706022228159274321009.jpg) 今天咱们把《人人说谎》这本书讲完。关于大数据能干什么，前面已经说得差不多了。最后这一讲，我们讲讲大数据不能干什么，和不应该干什么。 上周咱们专栏的一位读者，Leslie，问我，大数据能不能用来预测股市？其实这个问题不光是我们感兴趣，就连著名学者、前任哈佛大学校长劳伦斯·萨默斯（Lawrence H. Summers）也感兴趣。萨默斯专门把赛斯请到自己的办公室，问他能不能用大数据预测股市，他自己还出了几个主意 —— 但答案是不能。  ## 1.预测的错觉 传统的股票交易员一直都在用数学模型分析股市，什么技术分析、基础分析，都是看数据。这些模型有的有点用，有的完全没用，总体来说，都不是特别有用。 所以现在有人想用“大数据”的特殊方法预测股市。比如说，有人提议，我们可以实时监控人们在Twitter的言论 —— 如果有很多人讨论一个股票代码，是不是就意味着这个股票会上涨呢？又或者说，如果有很多人在 Google 搜索某个股票的新闻，这个股票会不会涨？ 赛斯还真分析过，结论是没有发现关联。这个问题其实你想想就明白，我在上周末的问答里也说了，预测行为会影响预测结果。如果有很多人判断一只股票会涨，甚至还在网上把这个判断说出来了，那么他们很可能已经动手买卖了 —— 他们的判断，已经反映在了股价之中！等你看到那些讨论，已经晚了。 萨默斯还出了个主意，说如果很多人搜索对某个发展中国家投资的信息，是不是就意味着这个国家的股票股市会上涨呢？赛斯说这不太可能 —— 这种搜索太少了，根本反应不了真实市场。 以前有人发现一个“Twitter 情绪指标”，可以预测股市走向 —— 说人们对市场情绪平稳的时候，股市就会上涨。但这个指标也没有经得起时间的考验。 大数据预测常常是这样：给你一组数据，你很容易找到一个看似好使的指标，但是换一组数据，这个指标就不好使了。这是为什么呢？赛斯说，这是因为一个搞大数据分析的人常犯的错误，叫“维度的诅咒（the Curse of Dimensions）” 道理是这样的，打个比方。你去弄一千个硬币，给每个硬币都编号设立档案。在两年的时间内，每天早上起来，在股市开市之前，你把这一千个硬币一个一个地抛，记录下来每个硬币的正反面，并且记录当天标准普尔指数是上涨还是下跌。 两年之后，在这一千个硬币当中，你肯定能找到其中有一个硬币，当它正面朝上的时候，标准普尔指数大部分时间 —— 比如说70%的时间吧 —— 是上升的。 那你是不是就找到了一枚幸运硬币，从此可以用它来以70%的把握预测标准普尔指数呢？当然不能！ 这枚硬币在两年中的优异表现，其实纯属巧合。你考察了一千个硬币，而且时间才两年，其中难免会有一个表现跟标准普尔指数有比较强的正相关。这就是“维度的诅咒”。所谓维度，从数学上讲就是你用了多少个变量。一千个变量太多，两年的数据太少。当你的维度太多而数据量太少的时候，你就容易发现这种假的强相关性。 实际上，如果你再用一组新的数据测试，你会发现那个变量根本不好使。 这个假相关性，会给人一个可预测的错觉。就连专业研究人员都可能会犯这样的错误。比如说，曾经有人“发现”一个基因，跟人的智商有很强的相关性，能决定智商高低。他非常兴奋，以为自己找到了高智商基因 —— 事后证明只是错觉。 所以这也体现了“大”数据的必要性。如果你的数据量不够大，千万不要贸然声称自己发现了什么隐藏的规律。而对金融市场这样的领域来说，数据量再大也是无法预测的。 **大数据，不是万能的。但是人很容易为数据痴迷。 ** ## 2.计步器与健康 大数据分析还有一个重要缺点，那就是我们会过高评价可量化观测的东西。比如说，现在有很多“可穿戴设备”，随时记录我们的运动状况，能统计你走的每一步。 那请问，我每天走多少步，跟我的健康状况到底有多大关系呢？你关心的到底是我的健康，还是我每天走多少步？ 对某些人来说，他们最关心的恰恰是每天走多少步。赛斯说，有个大学教授，用上计步器以后居然痴迷了。她每天想尽办法增加步数，为了在社交网络跟人比拼，甚至自己不走的时候还会把计步器绑在三岁的女儿身上让女儿替她走。 这不是买椟还珠吗？本来我们应该关心健康，现在成了关心步数 —— 而这么做仅仅是因为健康不容易测量，步数很容易测量。 这个现象非常普遍。一个人的能力不好观测，但是毕业证书和考试成绩容易观测，于是我们就执着于学历和考试。其实咱们之前讲麦兹伯格的《意会》的时候也说过这个道理 —— 现在所谓“大数据”，应该叫“薄数据”，因为你看的都是可量化测量、但是未必重要的指标。而我们要想要真正理解一个东西，就需要“厚数据” —— 也就是那些不可量化的因素。 现在已经很多人意识到了这一点。比如有人说，你在朋友圈发个状态，大数据只能记录点赞数和评论数，可是这些东西真的重要吗？真正重要的是你这条状态是否给亲友带来了会心的微笑、带来心理上的温暖！而那些东西恰恰是大数据看不到的。 所以，在这个数据当道的时代，人们也越来越意识到“人的因素”的重要性。以前有本书叫《点球成金》（ Moneyball ），说用数据选拔棒球运动员比传统球探好使得多——而今天人们意识到，传统球探还是不可缺少的。 最好的办法，当然是把大数据和“意会”结合起来。咱们前面说过，评价赛马，最好的指标是它的内脏，特别是左心室的大小。但是这个指标的发明人之所以能在赛马上大获成功，可不仅仅是靠这一个指标！他还有个秘密武器 —— 一位特别了解赛马、善于“意会”的传统专家。 最后咱们再说说大数据的道德难题。  ## 3.你从朋友圈判断一个人的智商低，你会告诉他老板吗？ 假设你是某个银行的经理，任务是审批贷款。那你能不能判断一下，贷款申请书里经常出现的以下这十个词中，哪些词说明这个人会按时还款，哪些词说明这个人可能还不上款 ——  **上帝、我会还钱、承诺、毕业、不欠债、谢谢你、最小还款额、税后、更低的利率、医院** 这道题比较容易，我估计你能猜个八九不离十。大数据显示，以下这五个词，是还款能力强的表现： **不欠债、最小还款额、更低的利率、毕业、税后** 而如果一个人的贷款申请书中出现剩下的这五个词 ——  **上帝、谢谢你、承诺、医院、我会还钱** 则说明这个人恐怕不太可能按时还款。这个道理似乎是容易理解的，如果一个人跟你认真讨论利率之类的技术问题，说明这个人有充分的金融常识，而且的确在认真考虑怎么还款。而如果一个人跟你说“我向上帝保证，一定会还你钱的……我家人在医院里，我真的很需要这笔钱……我郑重承诺会还钱，谢谢你啊……”那这个人大概不会还钱。 在这个例子里，大数据证实了的结论，我们一看就能理解。可是如果没有大数据的证据，我们就不会这么肯定。 那好。有了这个比较肯定的知识，请问，下次你批准贷款的时候，要不要参考大数据的这个知识呢？遇到一位张口“上帝”、闭口“一定还钱”的人，你还会批准他的贷款申请吗？ 如果你不批准，那发现这个知识的数据科学家，可能就会感到很对不起这位家里有人在医院等着用钱的贷款申请人！ **这就是大数据的道德问题。你拥有一个别人没有的工具，洞见了一个隐藏的真相，那你要不要说出来呢？** 还有，了解大数据力量的人不会在 Facebook 上随便点赞，因为点赞会暴露一个人的智商。大数据显示，喜欢莫扎特、雷暴雨、卷曲的炸薯条的人智商高，而喜欢哈利—戴维森摩托车、乡村音乐和“我爱做妈妈”网站的人智商比较低。 那如果你通过观察一个人的点赞记录，洞悉了他的智商，你会想让他的老板知道吗？难道说点个赞都不让人点吗？ 类似的困境很多。如果 Google 发现一个人在大量搜索怎么杀人或者怎么自杀的信息，那 Google 应该把这个事报告给警察吗？ 恐怕不应该。因为数据显示，搜索这种信息的人非常非常多，但实际上的杀人案和自杀案远远没有这么多。如果有点风吹草动就报警，警察怎么也忙不过来。 而且搜索信息毕竟也算隐私。那么如果将来大数据技术进一步发展，真正能够锁定一些搜索行为，真的能判断强烈杀人或者自杀动机的时候，你是汇报还是不汇报呢？这些难题，只能留待将来了。  *** **最后，赛斯的结论是，现在有了大数据这个工具，“社会科学”也许可以成为一门真的科学。广告到底有多大用处？暴力电影到底是增加犯罪还是减少犯罪？如果没有大数据证据，以前的人搞社会科学简直是胡乱说。** **而且大数据能研究的问题正在升级。《魔鬼经济学》是一本非常火爆的书，但是你注意到没有，那本书里说的很多问题都是小问题，比如相扑运动员是不是有作弊行为之类。为什么作者列维特不研究大问题呢？因为当时没有这么多数据！列维特只能选择有数据的领域。现在情况不一样了，大数据已经开始解决“广告到底有没有用”这种大问题。** 大数据突飞猛进，但还有一些传统学者没有适应这个工具。如果你有志于用数据分析解决真正的社会问题，这个领域现在非常值得进入。随便说一句，我刚查了一下，大数据工作的工资也很高。一般数据科学家的平均年薪是9万多美元，资深数据科学家是13万美元，Google 的数据科学家年薪更是超过15万美元。大数据，现在是稀缺技能。 大数据不是万能的，但是是一个强大的工具。就算你不掌握具体的数据分析技术，也应该了解这个思维方式。读完这本书，也许我们最大的教训是，当你讨论任何社会问题的时候，千万不要信口开河，最好能找到数据支持，要知道很多真相是反直觉的。 不过话说回来，这本书里的各种结论虽然不是完全可靠，但当成八卦和段子还是可以的 —— 有点娱乐性，而且至少比“常识”可信。  ![](https://piccdn3.umiwi.com/img/201706/02/201706021439281829441938.jpg)