# Deeper Seeker ![](https://piccdn3.umiwi.com/img/202502/12/202502121335245440824083.jpeg) 趁着 DeepSeek 的热度，我们来聊聊大语言模型（LLM）的训练方法，也许对我们自身的学习也能有所启发。AI 模仿人类，人类也可以通过对比 AI 反思自己。现在 AI 大模型的研究者已经把“思考”这件事搞得非常透彻，有大量的实验和量化分析，他们在寻找最高效的思考方式。你用的那些AI，是如何掌握智能的呢？ 任何一个大语言模型的训练，都可以分为三个阶段：预训练（Pre-training）、监督微调（Supervised Fine-tuning，简称SFT）和强化学习（Reinforcement Learning，简称RL）。 「预训练」就是用超大规模的文本语料库让模型广泛阅读。各种书、文章、音频视频什么的能上全都上，需要海量的、最好是经过清洗的优质数据 [1]。预训练的任务就是让模型学会“预测下一个词”。 经过预训练的模型就相当于一个见多识广、博览群书、积累了海量知识但是还没上大学的孩子。你说个什么事儿他都有点模糊的印象，他甚至能猜出你接下来要说什么词，但是他完全没有做事的能力。这是因为他还没学会输出的章法，他不知道人类期望自己怎么做。 「SFT」的作用就是教模型“说人话”。训练者会给模型提供很多例子，告诉它面对各种指令应该如何反应。模型在这个阶段学习了大量「指令 + 期望的回答」形式的数据。比如说，人家让你翻译一段话，你应该如何反应？给你出道数学题，你应该如何操作并且写下解题步骤？让你分析一件什么事儿，你应该如何列举1、2、3点？ SFT阶段就如同孩子终于上了大学，在课堂上系统地学习 —— 但学的不是知识，而是行为规范。老师教他写作格式、答题流程、逻辑思考的套路等等，他变得越来越像专业人士。但是光有套路还不行，还得做得好才行。 这就是第三阶段，「RL」的作用。让你写篇文章，你随便敷衍几句也是一篇，写得文采飞扬但没逻辑也是一篇，逻辑严密可是读起来索然无味也是一篇，模型怎么能知道怎么样才是“好文章”呢？答案就是「干中学」，接受反馈。 如果是一年以前，人们会把这个阶段叫「RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）」，强调跟人对齐，但现在的习惯已经把“人”给省略了，就叫RL。这里一般的做法是让模型生成多个不同的答案，由人 —— 或者由别的数据 —— 判断那个答案好坏。好的就加分奖励，坏的就减分惩罚，如此强化之下，模型慢慢就知道什么是好的了。 让模型与人类的价值观对齐也是发生在RL阶段，比如说话要有礼貌、要符合道德规范等等。核心思想就是你得按照人类的偏好输出。 如果你旁听两个AI研究者聊天，你会越来越经常听到 RL 这个词。一个模型高级不高级，现在主要看强化学习。 简单说，预训练积累知识，SFT学会章法，RL决定输出水平。所有的大语言模型都是经过这三个阶段训练出来的。 ✵ 以 OpenAI o1 和 DeepSeek R1 为代表的推理模型，也是遵循这个训练流程。推理模型的高级之处在于强化了「思维链（Chain of Thought，CoT）」。 传统大模型也有思维链，你给它个问题它能根据直觉一步步地想，输出复杂的结果。但传统模型的思维链只有一条，直接输出，好坏就是这样了。 推理模型，则是拥有了「慢思考」能力，会考虑若干条不同的思维链，从中选择一个最优解，再给你正式输出。这就好比下围棋，高手不是只考虑当前的直觉，而是多考虑几个选择，分别计算变化，比较之后想好了再落子。 推理模型的预训练跟传统模型一样，思维链则是 SFT 和 RL 这两个阶段强化出来的。 在 SFT 阶段，研究者会刻意让模型看很多带有完整推理过程的示例、数学题的详细解题步骤、分析问题的推理过程、长篇文章的层次化写作思路等等，让模型刻意学习思维链。在 RL 阶段，模型要学会评估不同的思维链，优化推理步骤。 基本过程就是如此，o1也好R1也好，核心竞争力就是思维链。 现在刚刚进入2025年就出了好几篇讲推理模型思维链的论文，我从中收获三个洞见，专门给你讲讲。 ✵ 第一个洞见是，思维链越长，越有可能成功解决复杂任务。 思维链长意味着在一个方向上走得远，也就是想得深。研究者发现，只要模型思维链足够长，有些能力就会自发地「涌现」出来。比如思考中遇到逻辑矛盾会回溯，中间步骤中会自己检查对错，这些能力都可以涌现出来。 简单说，要想拥有高智能，你必须是个 deeper seeker。 In.AI、清华大学和卡内基梅隆大学的一篇论文 [2] 分享了让模型学会生成长思维链的方法。SFT阶段多看一些别人的思考过程很有帮助，但关键还是RL。 你必须鼓励模型往深了想。正如我们讲《智能简史》的时候说过 [3]，高水平强化学习不能只奖励结果，还要奖励过程。你需要在模型思考的中间步骤中也给一些奖励，哪怕最后结果错了，还可以得点步骤分。 这并不容易，你需要找到很好的思维数据来提供反馈。你需要确保模型既能生成长思维链，又不是在为了得奖励而胡说八道。 ✵ 第二个洞见是，如果输出的答案不好，往往是因为想的不够深。 这是腾讯出的一篇论文 [4]，有一个特别有趣的发现：当模型输出正确答案时，往往消耗的token比较少；输出错误答案往往用的token比较多 —— ![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021221/1867630835339938900/021221.png) 这并不是因为错误答案想得深，而是因为错误答案想得浅！模型沿着一个思路考虑几步，感觉没希望，就立即切换到另一个思路。那个思路考虑几步又觉得没希望，就再换一个思路……这样每个思路都想得很浅，换来换去还是没找到答案。 ![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021221/1867630825676215656/021221.png) 你看这像不像解题能力弱而又勤奋的人胡思乱想。 正确答案，却是沿着一个思路想的比较深才能找到的。这就如同挖井，这挖挖那挖挖都不深，就不如坚持少数几个地方深耕 —— 更有可能找到正确答案，而且费力反而更少。 ![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021221/1867630858962277944/021221.png) 为了鼓励模型想深一点，研究者在RL阶段给增加了一个「思路切换惩罚」机制：每当它想要放弃当前思路，重开一条新的思维链的时候，就给它减一分。结果解题成功率果然明显提高。 还是刚才那个道理，你得能 seek deeper 才好。 ✵ 第三个洞见可以用伯克利和 Google DeepMind 一篇论文 [5] 的标题概括：「SFT记忆，RL泛化」（SFT Memorizes, RL Generalizes）。 意思是监督微调是模仿和记忆别人的解题套路，而强化学习才能让你善于举一反三。 我们设想，如果一个学生只经过 SFT 而没有经历过 RL，他一定会是个循规蹈矩的人，没有自己的创造性。但如果这个人只有 RL 没有 SFT，那就是什么都自己摸索，可能学得太慢。这篇论文证实了这一点。 论文中的一个例子是下面这样 —— ![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021221/1867630881510790504/021221.png) 给四张扑克牌，让你用牌里的数字做加减乘除运算，凑成 = 24的算式。 你可以通过 SFT 教模型怎么做这种题，那要是把规则稍微变一变呢？比如改变扑克牌的颜色，重新定义J、Q、K代表的数字，模型还能正常解题吗？研究者发现只有 RL 才能让模型学会迅速适应新规则。 我们人类的学习不也是如此吗？那些只会死记硬背、把数学当成套路的学生没有泛化能力，那些常有巧妙解法的学生根本不在乎套路。 ✵ 这样说来，似乎 RL 才是提升模型能力的关键。这正是 DeepSeek 做的事情 [6]。 这次 R1 的一个惊人之处，就在于 DeepSeek 几乎没有经过 SFT，直接用 RL 赋予了模型思考能力！ 梁文锋的团队首先用预训练搞了个基础模型叫 DeepSeek‐V3‐Base，然后直接对它进行 RL，就已经涌现出来各种思维能力！这样得到的模型叫DeepSeek‐R1‐Zero。 但这个R1-Zero有个缺点，就是思考过程中有时候不说人话。有时候英文夹杂中文，格式混乱，可能嘟嘟囔囔不知道在说些什么，人类容易看不懂它的思维链。为了解决这个问题，DeepSeek 才在 RL 之前加了一个很轻量级的 SFT 环节，叫「冷启动」—— 而这个 SFT 不是教模型如何思考，只是教它如何说人话。 我认为 DeepSeek 这个淡化SFT的做法代表了大模型的发展方向。正如我们专栏多次讲过理查德·萨顿（Richard S. Sutton）的《苦涩的教训》[7]：历史一次又一次证明，人教AI的思考套路，总是被AI自己发现的办法超过。 这正如围棋。AlphaGo是用人类棋手的棋谱学习，相当于 SFT；AlphaZero不看棋谱，直接通过自己跟自己对弈领悟围棋的下法，结果是更胜一筹，能走出人类理解不了的招法。 看来 RL 才是王道。 ✵ 我们很期待大模型什么时候能涌现出一些人类暂时不掌握、甚至无法理解的推理模式和思维方法，那才叫ASI。到时候我们会向它学习。 目前给我的启发是，人的学习其实也可以分为预训练、SFT、RL三种方法，只不过通常不是按照大模型的顺序学的。不同的人侧重不同的学习方法，我们也许可以据此把人才分成三种 —— 生活中绝大多数人都属于SFT型人才。他们没有经过多少预训练，平时连书都不读，只知道完成学校里教的套路。他们大部分时间是在老师的指导下，通过一道道例题模仿学习。他们习惯按照流程和规范行动，缺乏举一反三的能力。他们学习效率高、成才快，但出来都是专才，没有灵活性。 而通才，则是长期预训练的结果。这些人平时博览群书，见多识广，什么都能聊上几句。但如果缺乏实践，就会是广而不精，一上手就露馅。他们对各种知识都是泛泛而谈，往往没有深度思考能力，甚至从未认认真真做成一件事。 RL型人才非常稀少，但都极为厉害。这类人是在真实世界中摸爬滚打，通过实践不断总结经验，自己摸索出做事的方法。 我举个例子，毛泽东。毛泽东从小读书无数，从来没专门学过军事理论但是一上来就指挥兵马，可谓是从预训练直通 RL。他的 RL 能力如此之强，以至于平生不接受SFT，无视规矩章法，却往往能有神来之笔，被世人视为天才。但是建国以后局面变了，需要从搞军事变成搞经济，如果毛泽东在现代经济学方面也有足够的预训练，再加上他超强的 RL 能力，岂不是会更好。 总而言之，预训练是必不可少的，RL决定了能力的上限；而SFT，不过是一个方便法门罢了。 ![](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021221/1867630315648915000/021221.jpeg) 注释 [1] 你最近常听到的什么「数据蒸馏」，也是发生在预训练这一步，意思是经过教师模型整理过的优质数据。 [2] Yeo, Edward, Yuxuan Tong, Morry Niu, Graham Neubig, and Xiang Yue. “Demystifying Long Chain-of-Thought Reasoning in LLMs.” arXiv, February 7, 2025. https://arxiv.org/abs/2502.03373 [3] 《智能简史》3：学习的革命 [4] Wang, Yue, Qiuzhi Liu, Jiahao Xu, Tian Liang, Xingyu Chen, Zhiwei He, Linfeng Song, Dian Yu, Juntao Li, Zhuosheng Zhang, Rui Wang, Zhaopeng Tu, Haitao Mi, and Dong Yu. “Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs.” arXiv, January 31, 2025. https://arxiv.org/abs/2501.18585 [5] Chu, Tianzhe, Yuexiang Zhai, Jihan Yang, Shengbang Tong, Saining Xie, Dale Schuurmans, Quoc V. Le, Sergey Levine, and Yi Ma. “SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-Training.” arXiv, January 30, 2025. https://arxiv.org/abs/2501.17161 [6] DeepSeek 震撼美国 [7] AI专题18：算力就是王道 ## 划重点 1.预训练积累知识，监督微调学会章法，强化学习决定输出水平。所有的大语言模型都是经过这三个阶段训练出来的。 2.从推理模型的研究中收获的三个洞见： -思维链越长，越有可能成功解决复杂任务。 -如果输出的答案不好，往往是因为想的不够深。 -监督微调是模仿和记忆别人的解题套路，而强化学习才能让你善于举一反三。 3.你得做个「deeper seeker」，强化学习才是王道。