摘要：2024年，SFT（监督微调）还在主导LLM的训练方式，简单粗暴，就是靠人工标注数据，把模型“喂饱”，再让它复述。但问题是，SFT的本质是“死记硬背”，稍微换个问法，它就懵了。OpenAI不公开自己的训练细节，但从ChatGPT的表现来看，SFT的影子依然很重

2024年，SFT（监督微调）还在主导LLM的训练方式，简单粗暴，就是靠人工标注数据，把模型“喂饱”，再让它复述。但问题是，SFT的本质是“死记硬背”，稍微换个问法，它就懵了。OpenAI不公开自己的训练细节，但从ChatGPT的表现来看，SFT的影子依然很重。

转折点在2025年。DeepSeek的论文亮相，提出了一种新的RL（强化学习）训练方法，让LLM彻底摆脱“记忆型”训练，迈向真正的“推理型”训练。RL，这个在游戏AI和机器人训练里屡试不爽的方法，终于走进了大语言模型的核心领域。

怎么做的？两个关键词：奖励机制、策略优化。

DeepSeek没有给模型单纯地“喂”数据，而是搭建了一整套“奖励系统”，让模型自己摸索，自己优化，自己进化。这里的核心思路就是，模型不是靠死记硬背来回答问题，而是靠试错和强化，自己总结出“解题规则”。

举个例子。给模型一堆数学题和编程题，答案正确，就奖励；答案错误，就调整策略。这种方法和LeetCode的自动评测机制类似，一道题不对，继续优化代码，直到通过所有测试用例。DeepSeek的突破点就在这里，让LLM“自学成才”，不再依赖标注数据。

更绝的是，这种RL训练方式不仅限于数学和编程题，还能推广到逻辑推理。比如著名的“骑士与恶棍”问题——岛上有两种人，骑士只说真话，恶棍只说假话，给出几句话，让模型推理谁是谁。DeepSeek的训练方式是，把这些问题扔给模型，让它自己找规律，自己验证答案，再用布尔代数的方法来衡量它的推理能力。如果推理正确，就奖励；错误，就继续优化。最终，LLM学会了更通用的逻辑推理能力，不再局限于特定的问题类型。

为什么DeepSeek的RL方法厉害？它改变了LLM的学习方式，从“记住答案”变成了“学会解题思路”。这才是真正的智能进化。

SFT的问题很明显：训练数据决定了模型的上限。你给它喂什么，它就能学什么，换个花样，它就抓瞎。最典型的例子是，SFT训练出来的模型，一旦遇到超纲问题，往往会给出一本正经的胡说八道，甚至自信满满地编造答案。因为它没有推理能力，只是在匹配相似的问题。

RL不同，它是靠奖励机制优化策略，能够跨领域学习。换句话说，不管是数学题、编程题，还是逻辑推理题，本质上都是在“找规律、套公式”。RL的核心能力就是优化策略，找到最优解。这也是DeepSeek模型在多个基准测试里碾压SFT模型的原因。

当然，RL训练也不是一帆风顺。DeepSeek提出了两大优化方案：课程学习和冷启动。

课程学习的思路很简单：先从简单的题目开始训练，然后逐步增加难度，让模型像人一样“逐步进阶”。就像你教小孩数学，不可能上来就给他抛个微积分，得先让他学会加减法，再来乘除法，最后才是方程式。DeepSeek实验发现，这种“逐级递进”的训练方式，比随机训练效果更好，模型的推理能力更强。

冷启动的作用更直接：加速训练过程。RL训练的最大问题是初期效率低，因为模型需要反复试错，才能找到正确的策略。而冷启动的方式，就是先用SFT训练一轮，让模型有个基础能力，再切换到RL训练，避免前期低效的试探。实验结果很清楚：有冷启动的RL训练，效率明显提升，模型也更快进入优化状态。

对比下来，DeepSeek的RL方法，不仅优化了训练效果，还让模型的推理能力更强。这不仅是一次技术升级，更是一场范式转变。

想象一下，以前LLM的学习方式，像是在给它一本百科全书，让它死记硬背里面的内容。而现在，RL的方式，是让它自己去探索世界的规律，自己总结，自己推理，自己进化。这样的LLM，才是未来真正的智能体。

这篇论文的影响远不止技术层面，它带来的是整个AI训练方式的变革。DeepSeek的RL方案，证明了“推理型”训练比“记忆型”训练更有效，也让开源LLM有了弯道超车的可能。

这也是为什么，这篇论文一出，整个圈子都炸了。因为这意味着，LLM的训练方法，不再被OpenAI、Anthropic这些巨头垄断，开源社区也能找到自己的最优解。而RL的潜力，远不止于此。

现在的问题是，这套RL训练方法，能不能大规模推广？DeepSeek已经做了第一个吃螃蟹的人，但真正的挑战在于，如何让这种训练方式适配更多任务，如何优化奖励机制，如何降低计算成本。

来源：老胡说科学