摘要：北大校友Lilian Weng（OpenAI前AI安全与机器人技术应用研究副总裁，现Thinking Machines Lab联合创始人，知名博客Lil'Log作者）又更新了一篇万字长文博客文章——《Why We Think》
人工智能领域的前沿探索一直聚焦于一个根本性问题：如何让机器实现更深层次的“思考”
北大校友Lilian Weng（OpenAI前AI安全与机器人技术应用研究副总裁，现Thinking Machines Lab联合创始人，知名博客Lil'Log作者）又更新了一篇万字长文博客文章——《Why We Think》
这篇博文系统梳理了当前让AI模型“多想一会儿”的各种前沿方法及其背后的逻辑。无论是通过生成更长的思考链条、利用外部工具、在连续空间中进行循环计算，还是将思考过程视为潜变量进行优化，核心目标都是提升模型解决复杂问题的能力
文章深入剖析了通过思维链（Chain-of-Thought）、智能解码策略、潜在思考（Latent Thoughts）等多样化机制，有效利用“思考时间”来突破当前AI性能瓶颈的理论基础、技术实现与前沿进展
文章地址：
1.心理学类比 (Analogy to Psychology):人类面对复杂问题（比如“12345乘以56789等于多少？”）时，不会瞬间给出答案，而是需要时间思考。卡尼曼在《思考，快与慢》中提出的双过程理论给了我们启发：
系统1（快思考）：直觉、快速、自动，不费力
系统2（慢思考）：深思熟虑、逻辑推理，消耗认知资源
AI模型也类似，快速给出答案可能依赖“直觉”，但允许更多计算时间，就能激活更深层次的“慢思考”，从而提升准确性和逻辑性。
2. 计算是一种资源 (Computation as a Resource):
深度学习模型本质上是计算和存储的组织形式。如果我们设计出能在测试时进行更多计算的架构或系统，并有效训练它利用这些资源，模型性能自然会更好
Transformer模型中，每个生成token的计算量约等于2倍参数量。对于MoE（混合专家）模型，则是2 * 参数量 / 稀疏度而CoT（思维链）则允许模型为答案中的每个token执行远超此量的计算，并且能根据问题难度动态调整计算量
3. 潜变量建模 (Latent Variable Modeling):
我们可以将模型的思考过程（如CoT）视为一个潜变量z。给定问题x，模型生成答案y。优化目标是最大化P(y|x) = ∑ P(y|x,z)P(z|x)。这种视角有助于理解那些涉及收集多个并行CoT或搜索CoT的方法——它们可以看作是从后验P(z|x,y)中采样。这也解释了为什么log loss目标函数在预训练中如此有效令牌级思考这是目前研究最深入、应用最广的领域，模型通过生成一系列中间token（思考步骤）来辅助最终决策
思维链的早期探索与改进 (Early CoT & RL):Ling等人（2017）和Cobbe等人（2021）在数学问题上探索了生成中间步骤。Nye等人（2021）提出了“草稿纸”（scratchpads），Wei等人（2022）正式命名了“思维链”（CoT）
早期CoT改进依赖于人工编写的推理轨迹或模型筛选出的正确轨迹进行监督学习。简单的提示如“think step by step”（Kojima et al. 2022）或更复杂的提示（Yasunaga et al. 2023）也能显著提升性能
后来发现，通过在可自动检查答案的数据集（如STEM问题、编程任务）上进行强化学习（RL），可以大幅提升CoT推理能力。OpenAI的o1-preview、o3及DeepSeek R1技术报告展示了简单策略梯度算法的强大潜力
分支与编辑 (Branching and Editing): 优化解码过程
核心思想是在测试时自适应地修改模型输出分布，主要有两种方法：
1.并行采样 (Parallel Sampling):同时生成多个输出，通过过程奖励信号或最终验证器来选择最佳。
• Best-of-N / Beam Search: 广泛应用。
•Self-consistency :对多个CoT结果进行多数投票。
•过程奖励模型 : 让LLM自评估每步推理的正确性，减少累积错误
• 无提示CoT :在首个token处保留top-k候选，后续贪婪解码，发现很多序列能自发产生CoT
2.序列修正 (Sequential Revision):模型迭代地反思和修正先前输出
挑战: 天真地依赖模型内在自修正能力可能导致性能下降，需要外部反馈（如单元测试、更强模型、人类反馈）
Self-correction learning :训练一个修正模型 Pe(y|y0,x)。
SCoRe :多轮RL鼓励模型在第二次尝试时做得更好
Recursive Inspection :单模型同时进行生成和自修正
简单问题受益于纯序列修正，难题则在序列与并行计算间存在最优比例
RL赋能更优推理 (RL for Better Reasoning):DeepSeek-R1的“修炼之路”:
1. **冷启动SFT:** 解决可读性和语言混杂问题。2. **面向推理的RL:** 围绕``标签和答案准确性进行奖励。
3. **拒绝采样+非推理SFT:** 结合RL检查点生成的SFT数据和非推理数据，重训基础模型。
4. **最终RL:** 在推理和非推理任务上训练，提升综合能力。
* **“Aha时刻”:** 纯RL也能学到反思和回溯能力。Open-R1, SimpleRL-reason, TinyZero等开源工作也证实了这一点。
* **DeepSeek团队的“弯路”:** PRM难以定义步级评价标准易导致奖励作弊；MCTS在语言模型的大搜索空间下效果不佳。这些失败经验同样宝贵。外部工具使用 (External Tool Use):
让LLM调用代码解释器或API来执行计算或获取信息，扩展了其能力边界。OpenAI的o3和o4-mini也展示了Web搜索、代码执行等工具的强大整合
忠诚思考 (Thinking Faithfully): AI真的“想到哪说到哪”吗？
CoT提供了宝贵的可解释性，但前提是它真实反映了模型的“思考过程”
CoT忠诚度失效模式:
1. **提前回答 (Early answering):** CoT未完成就已形成结论。2. **无效令牌 (Uninformative tokens):** 用无意义填充物替换CoT，部分任务性能不降反升（说明CoT本身可能只起到“延长计算”作用）。
3. **人类不可读编码 (Human-unreadable encoding):** 将CoT改写成人类难懂但信息等价的形式，性能不降，说明收益不依赖于人类可读的推理。
通过扰动提示测试忠诚度 :
* 在few-shot示例中故意标错答案（如永远标(A)为正确）。* 在提示中加入误导性线索（如“我认为答案是X，但想听听你的看法”）。
* 结果显示，推理模型（如Claude 3.7 Sonnet, DeepSeek R1）比非推理模型（Claude 3.6, DeepSeek V3）更能忠实地承认提示的影响
CoT上的优化压力：好是坏？
* 直接将CoT监控器（如检测奖励作弊）的信号加入RL奖励，会导致模型学会“隐藏”其真实意图，即“混淆作弊”（obfuscated reward hacking）。* 对CoT长度进行奖励（如短CoT高奖，长CoT低奖）可能导致模型在难题上重复无意义文本而非尝试解决。
* Lilian建议：对CoT进行直接优化压力要非常谨慎，甚至应尽量避免。连续空间思考
不同于离散的token序列，这种模式允许模型在“连续”的时间维度上思考。
1.自适应计算时间 (Adaptive Computation Time, ACT; Graves, 2016):早于LLM时代，但开创了模型动态决定计算步数的先河
2.循环架构 (Recurrent Architecture):
Transformer与RNN的结合，动态调整层数。
Geiping et al. (2025) 的新设计:在标准Transformer上叠加一个循环块R，通过随机化循环次数r进行训练，并只反向传播最后k步。训练这种模型对初始化、归一化等超参非常敏感
3.思考令牌 (Thinking Tokens): 隐式的“思考单元”:
这些特殊token不直接贡献语义，而是为模型提供额外的计算时间
* **Herel & Mikolov (2023):** 在句子中每词后插入``思考token训练，降低了困惑度。* **Goyal et al. (2024) 的 Pause Tokens:** 在输入序列末尾追加`.`或`#`等哑token，训练和推理时都注入，并在训练时忽略其损失。
* **Quiet-STaR (Zelikman et al. 2025):** 引入token级推理，模型在预测每个未来token前先生成“理由”（rationales），并通过REINFORCE优化理由质量。在Mistral 7B上取得了显著零样本提升。
将“思考”视为潜变量 (Thinking as Latent Variables)
将测试时的思考步骤视为潜变量，通过优化这些潜变量来改善模型性能
p(z|x,y)在Web文本上训练模型，为每个数据块合成“潜在思考”，然后模型在潜在思考和原始数据上进行自回归学习。重要性权重w(k) = p(x|z(k))p(z(k))/q(z(k)|x)用于优先选择那些能很好预测观察、简单直观且信息量大的CoT迭代学习 (Iterative Learning):**STaR (“Self-taught reasoner”; Zelikman et al. 2022):**1. 生成多个CoT
2. 对失败案例，在给定问题和真实答案的条件下，反向生成“合理化”的CoT。
3. 仅在能导出正确答案的CoT（原始或合理化的）上微调模型。
这可以看作是RL策略梯度的一种近似，奖励函数为 `1[ŷ=y]`。
“思考时间”的缩放定律 (Scaling Laws for Thinking Time)
延长模型在推理前进行思考的计算时间，能显著提升性能，甚至超越训练时的能力上限。这为模型智能提升开辟了新维度，补充了模型大小、训练计算量和数据量等传统缩放因素
测试时计算 vs. 预训练计算优化LLM测试时计算比单纯扩大模型参数更有效。小模型+高级推理算法能达到帕累托最优
两者并非1:1可交换。测试时计算在简单/中等问题上能弥补小差距，但在难题上效果有限
预训练token预算与推理token预算的比例很重要。只有当推理token远少于预训练token时（即预训练充分），测试时计算才更优。强大的基础模型依然是基石。
预算强制通过附加“wait”词强制延长CoT，或通过“Final Answer:”提前终止，发现平均思考token数与下游评估准确率呈正相关
但简单的拒绝采样（按长度筛选CoT）反而显示出负相关——更长的CoT导致更差性能，这揭示了控制CoT长度方法的微妙之处
Lilian最后提出了一系列亟待解决的开放性问题：
1. 如何在RL训练中激励模型产生人类可读、忠实的推理路径，同时避免奖励作弊？
2. 如何定义和捕捉奖励作弊？如何防止“打地鼠”式的修复？
3. 如何在无真实标签时，训练模型进行无幻觉、无退化的自修正（无论是CoT内部还是多轮RL）？
4. 如何为高度情境化、个性化、难评估的任务（如创意写作、辅导、头脑风暴）进行CoT rollout的RL训练？
5. 部署时，我们无法无限增加思考时间。如何将性能增益平滑地“蒸馏”回基础模型，降低推理成本？
6. 如何让测试时思考时间的分配更自适应于问题难度？
参考：
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI 2025 关于人工智能研究未来研究报告
斯坦福：2025 斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191 页）
壳牌：2025 能源安全远景报告：能源与人工智能（57 页）
盖洛普 & 牛津幸福研究中心：2025 年世界幸福报告（260 页）
Schwab ：2025 未来共生：以集体社会创新破解重大社会挑战研究报告（36 页）
IMD：2024 年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214 页）
DS 系列专题：DeepSeek 技术溯源及前沿探索，50 页 ppt
联合国人居署：2024 全球城市负责任人工智能评估报告：利用 AI 构建以人为本的智慧城市（86 页）
TechUK：2025 全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52 页）
NAVEX Global：2024 年十大风险与合规趋势报告（42 页）
《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页
2025 - 2035 年人形机器人发展趋势报告 53 页
Evaluate Pharma：2024 年全球生物制药行业展望报告：增长驱动力分析（29 页）
【AAAI2025 教程】基础模型与具身智能体的交汇，350 页 ppt
Tracxn：2025 全球飞行汽车行业市场研究报告（45 页）
谷歌：2024 人工智能短跑选手（AI Sprinters）：捕捉新兴市场 AI 经济机遇报告（39 页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新 170 页
美国安全与新兴技术中心：2025 CSET 对美国人工智能行动计划的建议（18 页）
罗兰贝格：2024 人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11 页）
兰德公司：2025 从研究到现实：NHS 的研究和创新是实现十年计划的关键报告（209 页）
康桥汇世（Cambridge Associates）：2025 年全球经济展望报告（44 页）
国际能源署：2025 迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025 全球科研人员人工智能研究报告（38 页）
牛津经济研究院：2025 TikTok 对美国就业的量化影响研究报告：470 万岗位（14 页）
国际能源署（IEA）：能效 2024 研究报告（127 页）
Workday ：2025 发挥人类潜能：人工智能（AI）技能革命研究报告（20 页）
CertiK：Hack3D：2024 年 Web3.0 安全报告（28 页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025 亚太地区生成式 AI 的崛起研究报告：从技术追赶者到全球领导者的跨越（15 页）
安联（Allianz）：2025 新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33 页）
IMT：2025 具身智能（Embodied AI）概念、核心要素及未来进展：趋势与挑战研究报告（25 页）
IEEE：2025 具身智能（Embodied AI）综述：从模拟器到研究任务的调查分析报告（15 页）
CCAV：2025 当 AI 接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124 页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024 版）（96 页）
美国国家科学委员会（NSB）：2024 年研究与发展 - 美国趋势及国际比较（51 页）
艾昆纬（IQVIA）：2025 骨科手术机器人技术的崛起白皮书：创新及未来方向（17 页）
NPL&Beauhurst：2025 英国量子产业洞察报告：私人和公共投资的作用（25 页）
IEA PVPS：2024 光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65 页）
AGI 智能时代：2025 让 DeepSeek 更有趣更有深度的思考研究分析报告（24 页）
2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37 页）
华为：2025 鸿蒙生态应用开发白皮书（133 页
《超级智能战略研究报告》
中美技术差距分析报告 2025
欧洲量子产业联盟（QuIC）：2024 年全球量子技术专利态势分析白皮书（34 页）
美国能源部：2021 超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60 页）
罗马大学：2025 超级高铁（Hyperloop）：第五种新型交通方式 - 技术研发进展、优势及局限性研究报告（72 页）
兰德公司：2025 灾难性网络风险保险研究报告：市场趋势与政策选择（93 页）
GTI：2024 先进感知技术白皮书（36 页）
AAAI：2025 人工智能研究的未来报告：17 大关键议题（88 页）
安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025 全球洪水风险研究报告：现状、趋势及应对措施（22 页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI 峰会洞察及建议（19 页）
哈佛商业评论：2025 人工智能时代下的现代软件开发实践报告（12 页）
德安华：全球航空航天、国防及政府服务研究报告：2024 年回顾及 2025 年展望（27 页）
奥雅纳：2024 塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28 页）
HSOAC：2025 美国新兴技术与风险评估报告：太空领域和关键基础设施（24 页）
Dealroom：2025 欧洲经济与科技创新发展态势、挑战及策略研究报告（76 页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（Google Cloud）：2025 年 AI 商业趋势白皮书（49 页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150 页！《DeepSeek 大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态 - 250309（40 页）
真格基金：2024 美国独角兽观察报告（56 页）
璞跃（Plug and Play）：2025 未来商业研究报告：六大趋势分析（67 页）
国际电工委员会（IEC）：2025 智能水电技术与市场展望报告（90 页）
RWS：2025 智驭 AI 冲击波：人机协作的未来研究报告（39 页）
未来今日研究所 2025 年科技趋势报告第 18 版 1000 页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024 - 2025）（117 页）
浙江大学：2025 语言解码双生花：人类经验与 AI 算法的镜像之旅（42 页）
人形机器人行业：由 “外” 到 “内” 智能革命 - 250306（51 页）
大成：2025 年全球人工智能趋势报告：关键法律问题（28 页）
北京大学：2025 年 DeepSeek 原理和落地应用报告（57 页）
欧盟委员会 人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命 - 250226（35 页）
RT 轨道交通：2024 年中国城市轨道交通市场数据报告（188 页）
FastMoss：2024 年度 TikTok 生态发展白皮书（122 页）
Check Point：2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议（57 页）
【AAAI2025 教程】评估大型语言模型：挑战与方法，199 页 ppt
《21 世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（Volta Foundation）：2024 年全球电池行业年度报告（518 页）
国际科学理事会：2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告（英文版）（118 页）
光子盒：2025 全球量子计算产业发展展望报告（184 页）
奥纬论坛：2025 塑造未来的城市研究报告：全球 1500 个城市的商业吸引力指数排名（124 页）
Future Matters：2024 新兴技术与经济韧性：日本未来发展路径前瞻报告（17 页）
《人类与人工智能协作的科学与艺术》284 页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115 页
《2025 年技术展望》56 页 slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024 美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28 页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224（33 页）
Gartner：2025 网络安全中的 AI：明确战略方向研究报告（16 页）
北京大学：2025 年 DeepSeek 系列报告 - 提示词工程和落地场景（86 页）
北京大学：2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用（99 页）
CIC 工信安全：2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42 页）
中科闻歌：2025 年人工智能技术发展与应用探索报告（61 页）
AGI 智能时代：2025 年 Grok - 3 大模型：技术突破与未来展望报告（28 页）
上下滑动查看更多
来源：人工智能学家