# 《智人之上》6：「苏维埃原人」和对齐问题

![](https://piccdn3.umiwi.com/img/202409/18/202409180003475822426403.jpeg)

我越读这本《智人之上》，越觉得赫拉利只写了半本好书。此书前半部分讲历史讲得非常好，但是中间到了现代和未来，AI出场，就有点薄弱了。

赫拉利提到了GPT-4，但是书中谈论AI和算法，说的大多是2022年GPT-3.5出来以前、甚至是2018年以前的事情。赫拉利平时几乎不用智能手机，我怀疑他根本没有好好地跟ChatGPT聊过，他没有体会到这一轮AI革命的深刻之处。

这就使得赫拉利一边论证AI不是神、会犯低级错误、会有人的各种偏见，一边又假定AI会拥有像神一样的能力，以至于能够建立自己的秩序来压迫我们。

是，斯大林曾经做到过这些。但AI不是斯大林，AI是人类自主性更强的时代的产物，而且我们也不是苏联人。

我的任务是给你解读这本书，所以我会忠实地告诉你赫拉利的观点 —— 但我也会忠实地提出我的批评。

这一讲说的是赫拉利眼中的一个关键麻烦，那就是所谓「对齐问题（alignment problem）」。

✵

赫拉利在书里讲了这样一个故事，我来给你转述一下：

俄国历史作家亚历山大·索尔仁尼琴在上世纪七十年代出了本很有名的书叫《古拉格群岛》，讲了苏联在斯大林时代的一些往事。其中有一件事发生在1930年代末，当时是肃反运动的高潮。莫斯科省的党代表会议即将结束，所有代表起立鼓掌，向斯大林致敬。

掌声十分热烈，而且一直那么热烈。没人敢停止鼓掌，因为他们知道有人在密切监视着他们。

这是一个挺荒唐的局面。按理说，会议主持人看看差不多了，就应该示意大家停止鼓掌，但是没有。肃反把每个人都吓坏了。人们就这样鼓掌，五分钟、六分钟、一直到十分钟，还在鼓掌。

其实你想想，这个情况下用鼓掌时间长短来判断一个人是不是敬爱斯大林已经没有意义。现在测试的不是忠诚度，而是胆量，甚至是体力……

在第十一分钟，终于有个造纸厂的厂长，不知道是身体受不了了还是胆量比较大，豁出去了，第一个停止鼓掌，坐了下来。其他人立即照办。

这件事的结局是，当天晚上，那个造纸厂厂长就被秘密警察逮捕，判刑十年。

赫拉利说，「这个故事让我们看到一个关于信息网络、特别是关于监控系统的，重要且让人毛骨悚然的事实。」

你是不是真反对斯大林，那个真相已经不重要了；重要的是必须维护这个信息网络创造的秩序。哪怕是荒谬的秩序。

我们很难说斯大林搞肃反的初衷是什么，但是这种秩序恐怕不是他最想要的。但是事情已经由不得他。后来有个苏联哲学家兼讽刺作家，叫亚历山大·季诺维耶夫（Aleksandr Zinovyev），发明了一个概念叫「苏维埃原人（Homo Sovieticus）」，意思是有些苏联人已经被这个秩序给驯化成了一个新的人类物种，“是一群奴性、悲观、不信任他人的人类，无论多荒谬的指令，他们都会遵守，对自己行为造成的结果也漠不关心。”

![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853895956202830168/091720.png)

那么赫拉利设想，AI会不会把我们也给改造成一个新物种呢？

✵

就比如我们上一讲说到，社交媒体的算法为了提高用户参与度，自动推荐了能激起愤怒情绪的、偏激的内容。那我们如果长期被这些内容影响，会不会强化了愤怒，泯灭了原本人性中平和、美好、理性的成分呢？

这和我们专栏讲过的C.阮氏（C. Thi Nguyen）教授对「游戏化」的评论 [1] 是一个道理。人原本是丰富多彩的，如果非要用一个游戏系统去强化几个能量化的指标，就必然会扭曲现实。

赫拉利更进一步，说这已经不只是扭曲现实，而是计算机网络构建了「存在于计算机间的现实」。举个例子，你可能听说过一个混合现实游戏叫《宝可梦Go》（Pokémon Go），玩家用手机能在眼前真实的街道上看到虚拟的宝可梦妖怪，你还可以抓它。

![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853896032438524232/091720.png)

不玩这个游戏的人看不到那个妖怪。但你能说那个妖怪不存在吗？只要玩这个游戏的人，都会一致同意它的存在。宝可梦妖怪就是一个存在于计算机间的现实。

再比如说，Google给每家网站一个搜索排名，叫PageRank，这也是一种计算机间的现实。大家都认可它，都想提高自己的排名，这不就是一个秩序吗？

那你说像这样的现实，有没有可能变成像中世纪的女巫，苏联集体化运动时期的富农一样，带来疯狂的秩序呢？

赫拉利设想的一个最坏的可能性是AI会发明一种新的金融工具，这个工具复杂到只有计算机能理解，由AI操作，乃至于带来金融灾难。

✵

怎么防范这种事情，就引出了对齐问题。可能很多人理解对齐只是让AI更遵守道德，但这里有个更深刻的哲学思考，不一定非得跟AI有关：你怎么确保一种手段是在忠实地完成它的目的。用赫拉利的话说，对齐问题的本质是「我们奖励的是 A 行为，却希望得到 B 结果。」

一个经典例子是拿破仑。

要论打仗，拿破仑不管是战术还是战略都是高手，几乎总是取胜。但你能不能想想，如果你是拿破仑的话，你的目的是什么？

你可能想让法国称霸世界，可能想立下不世功勋青史留名……这些都可以，但不管怎么说，你肯定不希望让周边国家变得强盛，对吧？可是拿破仑连战连胜的结果，恰恰是让法国周边国家变强盛了。

意大利和德国原本都不是现代意义上的民族国家。在意大利有几十个城邦，各个城邦之间互相打；德国内部更是有一千多个独立的政体。当时它们根本没有什么民族主义、国家主权这些观念，对法国不构成威胁。

正是拿破仑，把它们给打醒了，打实了，打强了。是拿破仑消灭了意大利和法国的传统社会结构，才把这两个国家各自变成统一的民族主体 —— 然后立即就对法国构成制衡。尤其后来德国还在普法战争之中击败了法国。

也就是说，拿破仑虽然在军事上赢了，但是在更高的目的看来，其实他根本不该发动那些战争。

这就叫没有「对齐」。

所以对齐这个概念根本不是AI专有的。早在将近200年前，普鲁士军事家克劳塞维茨通过反思拿破仑，就在《战争论》这本名著中提出一句流行至今的格言：「战争是政治的延续」。

![[卡尔·冯·克劳塞维茨]](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853896067871985224/091720.png)

这句话说的就是对齐。战争不是情感的爆发，不是英雄的冒险，不是神祇的惩罚，甚至不是一种军事现象 —— 而是一种政治工具。

你的军事行动必须跟你的政治目标相一致，才有价值。不是说能打赢就应该打，你得看这一仗能给你带来什么。

我们可以拿对齐这个概念再看看俄乌战争。普京打乌克兰不用说没打赢，就算打赢了，又能给俄罗斯带来什么呢？俄罗斯是更强大了，还是更弱了？在国际社会是更吃得开了，还是吃不开了？老百姓的生活是更好了，还是更差了？国家是进步了，还是更落后了呢？

是普京个人需要用战争巩固权力吗？还是说苏维埃原人就是需要拿破仑？

✵

哲学家尼克·博斯特罗姆（Nick Bostrom）提出的「回形针问题」，也就是你让AI去尽可能地生产回形针，结果它把整个宇宙的资源都用来生产回形针……也是个对齐问题 —— AI没有理解你真正的目的不是回形针，而是赚钱，是更好的生活。

那怎么给AI对齐呢？其实这个问题自古以来就有无数学者讨论，主要无非就是两个流派 ——

一个是康德的「义务论（Deontology）」，也就是遵循一些最基本的道德原则，比如说人有内在的价值，人只能是目的而不能被当作手段 —— 我们做事应该只讲原则不问结果，好处再多也不能牺牲无辜的人。

另一个就是边沁的「功利主义（Utilitarianism）」，也就是不要拘泥于原则，应该尽可能地让世界总体的幸福效用最大化 —— 为了更大的幸福，允许做出一点牺牲。

![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853896125854038360/091720.png)

![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853896154845092168/091720.png)

赫拉利列举了这两派各自的问题。边沁肯定是不行的，毕竟谁也不愿意自己被牺牲。但康德的问题是可能更改“人”的定义。纳粹屠杀犹太人的时候可没觉得自己违反了康德，因为他们认为犹太人根本就不是人。就连康德自己，也主张对同性恋采取措施 —— 因为他认为同性恋不是“人的自然行为”。这个道理是人们总有办法绕过你的原则。

AI当然也会如此。如果人都解决不了对齐问题，我们又如何能确保AI将来不犯拿破仑那样的错误呢？

✵

赫拉利列举了几个AI对齐出错的案例，比如招聘算法自带偏见、搜索引擎不能很好地识别黑人的照片、2016年微软的一个聊天机器人因为发表极端言论而在16个小时之内就被下架等等……但是这些案例都很旧。

现实是，YouTube 和 Facebook 这些平台2017年以后都采取了非常积极的措施，去限制、乃至于删除不当和极端的内容。

赫拉利也承认，算法有成功的例子。比如早在2015年，Gmail就已经做到成功拦截99.9%的垃圾邮件，而且正常邮件被误判的比例也只有1%。

当然它们做的还很不完美，比如X上现在就充满谣言，但那很大程度上是因为人类不知道怎么把握言论自由和真相之间的平衡，而不是AI的问题。像扎克伯格最近就公开表示后悔在新冠疫情期间配合拜登政府审查谣言言论，因为这违反了言论自由。

而且我认为更高的AI智能只会让对齐效果更好。赫拉利把回形针问题说成是因为终极目的很难描述，但我们前面讲《智能简史》那本书的时候说过 [2]，回形针问题本质上是个语言和常识问题！

哪怕AI稍有常识，它也能想到，“最大限度地生产回形针”的意思肯定不是毁灭人类文明、用整个宇宙的资源去做这件事……它会知道这里有个度。

而现实是AI已经拥有相当不错的常识水平。我还特意拿ChatGPT做了个测试 ——

![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853896257924282712/091720.png)

我问它会不会不顾一切地最大化完成我给的任务，它说会尽最大努力，但必须符合道德、伦理和技术限制。这哪里有什么回形针问题？

其实现在的AI对齐已经做得相当好了。

![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853896230007000648/091720.png)

当然作为一个语言模型，GPT会说不等于会做，但我还没听过一个ChatGPT给谁带来伤害的案例。关键在于，对齐问题是可以用更高的智能水平来弥补的。高水平AI不会是个愣头青，它知道怎么把握分寸。

✵

赫拉利这本书对AI的看法基本上跟《未来简史》是一样的，可以说八年过去了没有什么更新。可是AI早就不是以前的AI。

而且人类可能也不像赫拉利说的那么愚蠢，为了想象出来的「主体间现实」就能出去杀死那么多人。大规模疯狂事件的背后往往有经济利益的考虑。

中世纪猎杀女巫事件现在恐怕不容易找到足够好的数据，但是以前有本书叫《经济黑帮》[3]，考察当代发生在非洲的猎杀女巫事件，发现背后有明显的经济因素：猎杀事件大多发生在灾年之后，而且主要目标是老年女性 —— 是食物不够了，人们才会想要杀死所谓“女巫”。后来有机构给一些非洲地区的老年女性提供了退休金和社保，猎杀女巫事件就消失了。

苏联屠杀富农，到底是人们真的被什么主体间现实给迷惑了，还是说也有经济利益和政治权力的因素呢？

我们专栏还讲过法国哲学家勒内·基拉尔（René Girard）的理论 [4]，说人类社会就是有这么一个运行一段时间就会发生崩溃，就得找个替罪羊来发泄一番的机制。到时候人们自然会编造一个“主体间现实”，但那只是结果，不是原因。

这些书应该会给赫拉利一些启发。我们智人不都是、更不总是苏维埃原人；现在的GPT也好，将来的AGI也罢，都绝不会是斯大林。

![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091720/1853896290136561992/091720.jpeg)

注释

[1] 《稀缺大脑》4：为什么你不该量化择偶

[2] 《智能简史》10：文明之旅（完）

[3] Raymond Fisman and Edward Miguel, Economic Gangsters: Corruption, Violence, and the Poverty of Nations, Princeton University Press, 2008.

[4] 《欲望》序：社会秩序的隐秘机制

## 划重点

1.赫拉利的担心是，AI的问题不只是扭曲现实，而是计算机网络构建了「存在于计算机间的现实」。
2.怎么防范这种事情，就引出了对齐问题：你怎么确保一种手段是在忠实地完成它的目的。对齐问题的本质是「我们奖励的是 A 行为，却希望得到 B 结果。」