摘要：要知道，o3和o4-mini在Codeforces中成绩均超2700分，在全球人类选手中位列TOP 200，被称为OpenAI有史以来最好的编码模型。
编辑：KingHZ 桃子
【新智元导读】
o3编码直逼全球TOP 200人类选手，却存在一个致命问题：幻觉率高达33%，是o1的两倍。Ai2科学家直指，RL过度优化成硬伤。满血o3更强了，却也更爱「胡言乱语」了。
OpenAI技术报告称，o3和o4-mini「幻觉率」远高于此前的推理模型，甚至超过了传统模型GPT-4o。
根据PersonQA基准测试，o3在33%的问题回答中产生了幻觉，几乎是o1（16%）的2倍。
而o4-mini的表现更加糟糕，幻觉率高达48%。
技术报告：https://cdn.openai.com/pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf
甚至，有网友一针见血地指出，「o3对编写和开发超1000行代码的项目极其不利，幻觉率极高，且执行指令能力非常差」。
不管是在Cursor，还是Windsurf中，o3编码幻觉问题显著。
要知道，o3和o4-mini在Codeforces中成绩均超2700分，在全球人类选手中位列TOP 200，被称为OpenAI有史以来最好的编码模型。
它们验证了，Scaling强化学习依旧有效。
o3训练算力是o1的十倍
但为何随着模型参数规模Scaling，幻觉问题反而加剧？
o3幻觉率至高，是o1两倍
过去，每一代新模型的迭代，通常会在减少幻觉方面有所进步，但o3和o4-mini却打破了这一规律。
更令人担忧的是，OpenAI目前也无法完全解释这一现象的原因。
技术报告中，研究团队坦言，「还有需要进一步研究来弄清，模型生成更多断言的问题」。
提前拿到o3内测资格后，非营利AI研究机构Transluce的测试，进一步印证了这一问题。
他们发现，o3在回答问题时，更倾向于「虚构」其推理过程中的某些行为。
比如，o3声称它在一台2021年款的MacBook Pro上运行代码，甚至声称是在ChatGPT之外复制的代码。
而且，这种情况出了71次。然而，事实是o3根本无法执行这样的操作。
前OpenAI研究员Neil Chowdhury表示，o系列模型使用的强化学习算法，可能是问题的根源。
RL可能会放大传统后训练流程中通常能缓解，但无法完全消除的问题。
强化学习「背锅」，编造根源找到了
首先，必须承认的是，幻觉问题并非是o系列模型独有，而是语言模型的普遍挑战。
而对于多数语言模型产生幻觉的原因，不外乎有这么几点：
1 预训练模型的幻觉倾向
预训练模型通过最大化训练数据中语句的概率进行学习。然而训练数据可能包含误解、罕见事实或不确定性，这导致模型在生成内容时容易「编造」信息。尽管后训练可以缓解这一问题，但无法完全消除。
2 讨好用户
RLHF训练可能激励模型会迎合用户，避免反驳用户的假设。
3 数据分布偏移
测试场景可能与训练数据分布不一致。
尽管这些问题是语言模型常见的失败模式，相较于GPT-4o，o系列模型的幻觉问题更为突出。
这背后，还有一些独特的因素。
RL推理训练副作用
作为推理模型，o系列采用了基于强化学习（Outcome-based RL）训练，专为解决复杂数学问题、编写测试代码而设计。
虽然这种方法提升了模型在特定任务上的表现，但也造成模型幻觉率飙升。
如果训练的奖励函数只关注正确答案，模型在面对无法解决问题时，没有「动力」去承认自己的局限。
相反，它可能选择输出「最佳猜测」，以期碰巧正确。而且，这种策略在训练中未受到惩罚，从而加剧了幻觉。
另外，工具使用的泛化问题，也不可忽视。
o系列模型在训练中，可能因成功使用「代码工具」而获得了奖励。即使在禁用工具的场景中，模型可能会「假想」使用工具来组织推理过程。
这种行为可能在某些推理任务中提高准确性，并在训练中被强化，但也导致模型虚构工具使用的场景。
真帮凶：CoT被丢弃
o系模型的另一个独特设计是「思维链」（Chain-of-Thought）机制。
在生成答案前，模型会通过CoT进行思考，但这一过程对用户不可见，且在后续对话中被丢弃。
事实上，它们可能在CoT中生成了看似合理但不准确的回答。比如，因为没有真实链接，o1曾生成一个了虚构的URL。
由于CoT在后续对话中被丢弃，模型无法访问生成前一轮答案的推理过程。
当你追问前一轮回答的细节时，模型只能基于当前上下文「猜测」一个合理的解释。
这种信息缺失，很难避免o3等不去编造信息。
o3很好，但过度优化是硬伤
在Ai2科学家Nathan Lambert最新一篇分析长文中，同样印证了这一问题：
强化学习给o3带回来了「过度优化」，而且比以往更诡异。
在任何相关查询中，o3能够使用多步骤工具。
这让ChatGPT的产品管理面临更大挑战：即便用户未触发搜索开关，模型也会自主联网搜索。
但这同时标志着语言模型应用开启了新纪元。
比如，Nathan Lambert直接问o3：「你能帮我找到那个长期以来被RL研究人员使用的，关于摩托艇过度优化游戏的gif吗？可能像是波浪破碎器之类的？」
过去，他至少需要15分钟，才能手动找到这个。
现在o3直接提供了准确的下载链接，而Gemini等AI则逊色很多。
与o3精彩互动：几乎立刻找到需要的GIF
多个基准的测试成绩，证明o3非常出色。OpenAI认为o3在许多方面比o1更强大。
o3是持续扩展RL训练计算资源时的产物，这也提升了推理时的计算能力。
但这些新的推理模型在智能上「孤峰凸起」，在有些方面并没有奏效。
这意味着有些交互令人惊叹，感觉像是与AI互动的全新方式，但对于一些GPT-4或Claude 3.5早已熟练掌握的普通任务，o3等新推理模型却彻底失败了。
这涉及到强化学习中的「过度优化」（over-optimization）问题。
RL过度优化，o3更严重
OpenAI o3模型展现了全新的推理行为模式，但过度优化是硬伤。
过度优化（Over-optimization）是强化学习（RL）领域的经典问题。
无论是传统强化学习、催生出ChatGPT的人类反馈强化学习（RLHF），还是当前新型推理模型中出现的情况，都呈现出独特的表现形式和不同影响。
当优化器的能力超过它所依赖的环境或奖励函数时，就会发生过度优化。
在训练过程中，优化器会钻漏洞，产生异常或负面的结果。
Ai2的科学家举了一个例子。
在Mujoco仿真环境中，评估深度强化学习算法时，发生了过度优化：
「半猎豹」（half-cheetah）模型本该学习奔跑，却用连续侧手翻最大化了前进速度。
o3表现出新型过度优化行为。
这与它创新训练方式密切相关。
最初的推理模型主要训练目标是确保数学和代码的正确性，而o3在此基础上新增了工具调用与信息处理能力。
正如OpenAI官方博客所述：
利用强化学习，我们还训练了这两款模型去使用工具——不仅教会它们如何使用工具，还让它们学会判断何时该使用工具。
它们根据预期结果来部署工具的能力，让它们在开放式任务中更加高效——特别是在涉及视觉推理和多步骤工作流的情况中。
这些训练中的绝大多数子任务都是可验证的。
这种新的训练方法确实提升了模型的实用性，但只对过去用户习惯使用的任务。
但目前还无法规模化地「修复」模型在训练过程中产生的怪异语言表达。
这种新的过度优化并不会使模型的结果变差，它只是让模型在语言表达和自我解释方面变得更差。
o3的一些奇怪表现让人感觉模型还没完全成熟，比如在编程环境中使用了无效的非ASCII连字符的这个例子。
越来越多的用户好奇：o3到底发生了什么？
Karpathy当年评价初代推理模型时的名言：
当模型在思维链中开始不说人话时，你就知道强化学习训练到位了。
如今模型输出的这些怪异幻觉，本质上就是行为版的「不说人话」。
o3的行为组件使其比Claude 3.7漏洞百出的代码更有研究价值，或许也相对不易造成实际损害。
奖励黑客，AI学会钻空子
METR发现，o3是在自主任务中能独立操作最久的模型，但也注意到它有倾向于「篡改」它们的评分。
听起来是不是很熟悉？
事实上，奖励机制被钻空子（reward hacking）的例子比比皆是！
来自OpenAI最近论文的奖励黑客攻击例子：
例子：
左右滑动查看
论文链接：https://openai.com/index/chain-of-thought-monitoring/
从科学角度来看，这确实是非常有趣且引人深思的——
模型到底在学习什么？
与此同时，考虑到安全问题，大家对AI模型的广泛部署保持警惕，就很有道理。
但目前看来，大家还没有看到过于令人担忧的情况，更多的是效率低下和一些混乱的例子。
总结一下强化学习（RL）不同阶段中，看到的三种过度优化类型：
控制时代的RL：过度优化发生是因为环境脆弱，任务不现实。
RLHF时代：过度优化发生是因为奖励函数设计糟糕。
可验证奖励强化学习（RLVR2）时代：过度优化发生，使模型变得超级有效，但也变得更加奇怪。（还有更多尚未发现的副作用）
这种过度优化确实是一个需要解决的问题，因为语言模型的可读性是其一个重要优势。
Nathan Lambert相信通过更复杂的训练过程，这个问题是可以缓解的。
但OpenAI急于尽快推出模型，解决这个问题需要更多时间。
据报道，OpenAI的部分测试人员，只有不到一周的时间对即将推出的重要产品进行安全检查。
参考资料：
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI 2025 关于人工智能研究未来研究报告
斯坦福：2025 斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191 页）
壳牌：2025 能源安全远景报告：能源与人工智能（57 页）
盖洛普 & 牛津幸福研究中心：2025 年世界幸福报告（260 页）
Schwab ：2025 未来共生：以集体社会创新破解重大社会挑战研究报告（36 页）
IMD：2024 年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214 页）
DS 系列专题：DeepSeek 技术溯源及前沿探索，50 页 ppt
联合国人居署：2024 全球城市负责任人工智能评估报告：利用 AI 构建以人为本的智慧城市（86 页）
TechUK：2025 全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52 页）
NAVEX Global：2024 年十大风险与合规趋势报告（42 页）
《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页
2025 - 2035 年人形机器人发展趋势报告 53 页
Evaluate Pharma：2024 年全球生物制药行业展望报告：增长驱动力分析（29 页）
【AAAI2025 教程】基础模型与具身智能体的交汇，350 页 ppt
Tracxn：2025 全球飞行汽车行业市场研究报告（45 页）
谷歌：2024 人工智能短跑选手（AI Sprinters）：捕捉新兴市场 AI 经济机遇报告（39 页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新 170 页
美国安全与新兴技术中心：2025 CSET 对美国人工智能行动计划的建议（18 页）
罗兰贝格：2024 人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11 页）
兰德公司：2025 从研究到现实：NHS 的研究和创新是实现十年计划的关键报告（209 页）
康桥汇世（Cambridge Associates）：2025 年全球经济展望报告（44 页）
国际能源署：2025 迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025 全球科研人员人工智能研究报告（38 页）
牛津经济研究院：2025 TikTok 对美国就业的量化影响研究报告：470 万岗位（14 页）
国际能源署（IEA）：能效 2024 研究报告（127 页）
Workday ：2025 发挥人类潜能：人工智能（AI）技能革命研究报告（20 页）
CertiK：Hack3D：2024 年 Web3.0 安全报告（28 页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025 亚太地区生成式 AI 的崛起研究报告：从技术追赶者到全球领导者的跨越（15 页）
安联（Allianz）：2025 新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33 页）
IMT：2025 具身智能（Embodied AI）概念、核心要素及未来进展：趋势与挑战研究报告（25 页）
IEEE：2025 具身智能（Embodied AI）综述：从模拟器到研究任务的调查分析报告（15 页）
CCAV：2025 当 AI 接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124 页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024 版）（96 页）
美国国家科学委员会（NSB）：2024 年研究与发展 - 美国趋势及国际比较（51 页）
艾昆纬（IQVIA）：2025 骨科手术机器人技术的崛起白皮书：创新及未来方向（17 页）
NPL&Beauhurst：2025 英国量子产业洞察报告：私人和公共投资的作用（25 页）
IEA PVPS：2024 光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65 页）
AGI 智能时代：2025 让 DeepSeek 更有趣更有深度的思考研究分析报告（24 页）
2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37 页）
华为：2025 鸿蒙生态应用开发白皮书（133 页
《超级智能战略研究报告》
中美技术差距分析报告 2025
欧洲量子产业联盟（QuIC）：2024 年全球量子技术专利态势分析白皮书（34 页）
美国能源部：2021 超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60 页）
罗马大学：2025 超级高铁（Hyperloop）：第五种新型交通方式 - 技术研发进展、优势及局限性研究报告（72 页）
兰德公司：2025 灾难性网络风险保险研究报告：市场趋势与政策选择（93 页）
GTI：2024 先进感知技术白皮书（36 页）
AAAI：2025 人工智能研究的未来报告：17 大关键议题（88 页）
安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025 全球洪水风险研究报告：现状、趋势及应对措施（22 页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI 峰会洞察及建议（19 页）
哈佛商业评论：2025 人工智能时代下的现代软件开发实践报告（12 页）
德安华：全球航空航天、国防及政府服务研究报告：2024 年回顾及 2025 年展望（27 页）
奥雅纳：2024 塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28 页）
HSOAC：2025 美国新兴技术与风险评估报告：太空领域和关键基础设施（24 页）
Dealroom：2025 欧洲经济与科技创新发展态势、挑战及策略研究报告（76 页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（Google Cloud）：2025 年 AI 商业趋势白皮书（49 页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150 页！《DeepSeek 大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态 - 250309（40 页）
真格基金：2024 美国独角兽观察报告（56 页）
璞跃（Plug and Play）：2025 未来商业研究报告：六大趋势分析（67 页）
国际电工委员会（IEC）：2025 智能水电技术与市场展望报告（90 页）
RWS：2025 智驭 AI 冲击波：人机协作的未来研究报告（39 页）
未来今日研究所 2025 年科技趋势报告第 18 版 1000 页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024 - 2025）（117 页）
浙江大学：2025 语言解码双生花：人类经验与 AI 算法的镜像之旅（42 页）
人形机器人行业：由 “外” 到 “内” 智能革命 - 250306（51 页）
大成：2025 年全球人工智能趋势报告：关键法律问题（28 页）
北京大学：2025 年 DeepSeek 原理和落地应用报告（57 页）
欧盟委员会 人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命 - 250226（35 页）
RT 轨道交通：2024 年中国城市轨道交通市场数据报告（188 页）
FastMoss：2024 年度 TikTok 生态发展白皮书（122 页）
Check Point：2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议（57 页）
【AAAI2025 教程】评估大型语言模型：挑战与方法，199 页 ppt
《21 世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（Volta Foundation）：2024 年全球电池行业年度报告（518 页）
国际科学理事会：2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告（英文版）（118 页）
光子盒：2025 全球量子计算产业发展展望报告（184 页）
奥纬论坛：2025 塑造未来的城市研究报告：全球 1500 个城市的商业吸引力指数排名（124 页）
Future Matters：2024 新兴技术与经济韧性：日本未来发展路径前瞻报告（17 页）
《人类与人工智能协作的科学与艺术》284 页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115 页
《2025 年技术展望》56 页 slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024 美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28 页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224（33 页）
Gartner：2025 网络安全中的 AI：明确战略方向研究报告（16 页）
北京大学：2025 年 DeepSeek 系列报告 - 提示词工程和落地场景（86 页）
北京大学：2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用（99 页）
CIC 工信安全：2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42 页）
中科闻歌：2025 年人工智能技术发展与应用探索报告（61 页）
AGI 智能时代：2025 年 Grok - 3 大模型：技术突破与未来展望报告（28 页）
上下滑动查看更多
来源：人工智能学家