# 一个基于信息论的人生观（上） ![](https://piccdn3.umiwi.com/img/201711/01/201711012202355026198927.jpg) 今天咱们说一点信息论。“信息”，是现代世界一个非常重要的观念。你肯定已经听过“比特”、“信息熵”之类的词了，这些概念似乎都比较技术化，那不搞技术的人也需要了解它们吗？ 非常需要。在我看来信息论并不仅仅是一个技术理论，更是一个具有普世价值的思想。了解了信息论，你就多了一个观察世界的眼光。你甚至可以从信息论中推导出一个人生观来。 我们要讲一个天才的理论。我们要用到一点点数学……但是你可以忽略数学，这个理论本身并不复杂。只要愿意思考，你就能体会到它的妙处。  ## 1.信息与冗余 咱们先来看两条“消息” ——  第一条消息是我胡乱打出来的字，第二条消息则是刚刚获得诺贝尔文学奖的石黑一雄的小说《被掩埋的巨人》中的一句话。请问，哪条消息的“信息量”，更大？ 直觉上来说，你可能认为第二条的信息量更大，因为它至少是一个信息，而第一条完全是乱码。但第二条消息其实只不过是看起来更有*意义*而已 —— 信息量更大的是第一条。 咱们想想，这第二条消息中有很多*多余*的字。我即便把其中有些字给去掉，留下空白，你也能猜到它们是什么字。比如说 ——   你一看就能猜到这句话是“星期天是休息的日子”。 这就是说，第二条消息，是*可压缩*的。 而第一条消息就不一样了，我拿掉任何一个字，你都肯定猜不出来它是哪个字。这是一条*不可压缩*的信息。至于说这条消息有没有*意义*，那是另外一回事，也许它是一个密码，也许它是一些人名和地名的组合，但关键在于，你无法省略其中任何一个字。 这就是说，一段消息所包含的信息，并不仅仅由这条消息的长短决定。这就好像人生一样，活了同样岁数的两个人，他们的人生经历的丰富程度可能大不相同。 好，那怎么衡量“信息”呢？  ## 2.香农的洞见 咱们再想想前面这个例子。有些字看起来是多余的，它们并不提供新信息。有些字虽然不算多余，但是我们猜也能猜出个八九不离十，那么它们提供的信息量也就比较小。 比如说 ——  你猜最后空格这个字是什么？汉语中以“干”开头的词并不多，适合放在这里的无非是“干活”、“干事”、“干仗”这几种情况之一。现在我告诉你这个字是“活”，你肯定不会感到惊讶 —— 所以“活”这个字提供的信息很少。 这就引出了我们今天要说的这个天才思想。现代信息论的祖师爷，克劳德·艾尔伍德·香农（Claude Elwood Shannon），有一个洞见：一个东西的信息量的大小，在于它克服了多少*不确定性*。  ![](https://piccdn3.umiwi.com/img/201711/01/201711012022451898353337.jpg) 我先举一个生活中的例子。比如现在有一个人，生活非常规律，平时就出现在四个地方：家里、公司、餐馆、健身房。如果我雇你做特工，帮我观察这个人，随时向我汇报他的位置，那你每次给我的信息无非就是“家里/公司/餐馆/健身房”四选一 —— 即使你不告诉我，我也有四分之一的把握猜对。所以你给我的信息价值不算太大。 可是如果这个人全世界到处跑，今天在土耳其明天在沙特阿拉伯我完全猜不到他在哪，那你给我的信息可就非常值钱了。 你的信息出来之前，这个人的位置对我来说是一种不确定性。你的信息，克服了这个不确定性。原来的不确定性越大，你的信息就越有价值。 这个思想简单吧？好，现在我们要用一个简单的公式来量化这个思想。 下面这一段就要用到数学了，如果你不喜欢数学可以直接跳过，只记住一句话就行： 可供选择的范围越广，选择的信息量就越大。  ## 3.信息熵 香农从统计物理学中借鉴了一个概念，这就是“信息熵”。不要被这个名词吓到！其实所谓信息熵，就是一段消息的“平均信息量”。 咱们先说“信息量”。前面我们说了，一个东西的信息量的大小取决于它克服了多大的不确定性。香农对信息量的定义非常简单，如果一个字符出现在这个位置的概率是 p，那么这个字符的信息量 I 就是 —— 其中那个“log”就是以2为底的对数，这是初中数学！ 我举个例子你就明白了，这个例子来自香农本人。假设我们有一个完美公正的硬币，每次抛出正面朝上的概率都是1/2，那么如果你告诉我这一次抛硬币的结果是正面朝上，这个消息的信息量就是 ——  好，那什么是信息熵呢？信息熵，就是把一条消息中出现的所有字符，做信息量的加权平均 —— ![](https://piccdn3.umiwi.com/img/201711/01/201711012026399324354880.jpg) 还是用硬币的例子，我们用1表示正面朝上，0表示反面朝上，你告诉我的一系列投掷结果可能是—— 如果正反面出现的概率都正好是1/2，那这一串消息不管有多长，信息熵都是 1/2*1+1/2*1 = 1. 香农规定信息量的单位是“比特”，那么这个信息熵就是1比特。 这意味着，对消息中的*每个*字符，你*至少需要*1比特的信息才能编码。 如果这个硬币不公平，出现1的次数比出现0要多，比如说  那信息熵就不是1比特了，对这个例子来说，0出现的概率是30%，1出现的概率是70%，所以信息熵就变成了 ——  信息熵跟消息的长度没有必然关系，它描写的是这段消息中字符的“不可预测性”。一段字符串中出现的各种字符越具有杂乱无章的特点，越具有多样性，它的信息熵就越高。比如下面这个字符串 —— 每个字母都不一样，它的信息熵是 [1] 3.3 比特。而如果字符串中有很多重复的，那么它的“可预测性”就更高，信息熵就会变低，比如—— 的信息熵只有 2.5 比特。 注意这里为了简化，计算只考虑了字符出现的频率。如果你从语法和内容角度进一步考虑每个字符的可预测性，信息熵就是另一个数值了。 信息熵之所以叫“熵”，是因为它跟统计物理学中熵的公式几乎一样。现在我们没必要讲物理，但你可以跟物理学里的熵做个类比。我们知道，在物理学里“熵”大致描写了一个系统的混乱程度 —— 而信息熵也是如此，越是看上去杂乱无章的消息，信息熵就越高，也就是说它的信息含量就越高。 如果一段消息只能从0和1两个数字中选，它的信息熵最大也只有1比特。如果你能从26个字母中选，信息熵最大可以达到4.7比特。如果是从2500个汉字中选，信息熵则可以达到11.3比特。这就是为什么中文是一种更高效的语言。 数学部分到此为止。你如果没看懂，只要记住一句话就行：可供选择的范围越广，选择的信息量就越大。  ## 4.空话与人生 我们说的这个关于信息量的概念，出自香农1948年的论文，《通讯的数学原理》[2]，当时的香农只有32岁。这个理论一出来就受到了热烈欢迎，人们感觉是耳目一新。香农的一个同事，瓦伦·韦弗（Warren Weaver），是这么向公众讲解信息论的 ——  “从信息角度来看，最重要的不是你*说了*什么，而是你*能说*什么 [3]。” 比如某个公司的 CEO 讲话，说的都是空话、套话 —— 他说前半句你就能猜到后半句，他一说“团结”，你就知道后面是“一致向前看”，他一说“万众”，后面跟着肯定是“一心”，那他就算讲三个小时也毫无信息量。他必须得说一些让你根本预测不了的话，才有信息量。 信息，在于你从多大的不确定性中做出了选择。信息，在于你制造了多少意外。信息，在于你有多大的自由度。 比如现在有个人，每天都按时上班从不迟到。他今天来上班了，请问这是新闻吗？当然不是，这个消息的信息量等于0。而另有一个人，想上班就上班想不上班就不上班，他今天来上班了，这才是一个新闻。第二个人，比第一个人拥有更多自由。 我们每个人都希望能度过值得回忆的一生，最好还是“值得记录”的一生。那所谓值得记录，不就是提供了有效的信息吗？ 以我之见，从信息角度来讲，人生就是要活一个“选择权”。如果你从来都是按部就班不敢越雷池半步地生活，干什么都是高度可预测的，那你的人生就不值得记录。而如果你的生活跌宕起伏充满意外，那就值得记录，甚至值得出自传拍电视剧。 我在《智识分子》这本书里说过一个例子。比如上级交给你一个任务，任务已经非常明确告诉你第一步干什么、第二步干什么、到什么地方、找什么人接洽、话术又要怎么说。如果你只能完全按照这个剧本执行任务，请问你贡献了什么信息呢？没有。你没有自由度。 反过来说，如果你有能力不按剧本走，你敢给自己加戏，在关键时刻有选择权，你做的事儿让围观群众感到很意外，你才算是留下了信息！ 所以信息论的价值观是要求选择权、多样性、不确定性和自由度。我们不只想老老实实地活着，我们还想活出“信息”来。 **我们想在这个世界上留下自己的痕迹。** 可是，如果是这样，我们为什么还经常说一些空话和套话呢？为什么我们在和别人打交道的过程中，还保留了很高的可预测性呢？这么做也是有道理的，这就是香农的第二个洞见，咱们下期再说。  ## 划重点 信息论的价值观是要求选择权、多样性、不确定性和自由度。我们不只想老老实实地活着，我们还想活出“信息”来。 我们想在这个世界上留下自己的痕迹。 ![](https://piccdn3.umiwi.com/img/201711/01/201711012030347970696623.png)