摘要：OpenAI“12 天”活动的第二天，我们见证了强化微调（Reinforcement Fine-Tuning）技术的正式发布，并看到了 ChatGPT Pro 的演示。虽然 Sam Altman 并未亲临现场，但他的团队为我们深入解析了这项技术，预示着 AI
整理：Tina、褚杏娟
OpenAI“12 天”活动的第二天，我们见证了强化微调（Reinforcement Fine-Tuning）技术的正式发布，并看到了 ChatGPT Pro 的演示。虽然 Sam Altman 并未亲临现场，但他的团队为我们深入解析了这项技术，预示着 AI 模型定制化或将迎来重大突破。
12 个例子就可定制专家模型
今天的发布会带来了一个看似不起眼但可能对人们生活产生重大影响的公告。
今天的发布对企业用户来说很惊喜。各组织将能够使用极少的数据，通过“强化微调”（Reinforced Fine-Tuning）根据自身需求对 o1 mini 进行定制。
一些人可能对去年年初 OpenAI 推出的监督微调 API 已有所了解。监督微调是一种强大的工具，其主要作用是让模型模仿输入文本或图像中发现的特征，对于需要调整模型的语气、风格或响应格式的场景，这种方法非常实用。但监督微调需要特地领域的大量数据。而强化微调的优势在于，它能够通过极少量的高质量示例，快速调整模型的推理方式。这种高效性在以往的监督微调中是难以实现的。
强化微调的工作原理是：当模型遇到问题时，给予其一定的思考空间以解决问题，然后对模型的最终答案进行评分。通过强化学习的机制，强化那些通向正确答案的思路，同时削弱导致错误答案的思路。
而 AI overview 给出的相关论文，居然是今年 1 月份来自字节跳动在 ACL 2024 顶会论文，并不是 OpenAI 首创。
根据论文，强化微调 (ReFT) 从监督微调 (SFT) 开始，通常持续一到两个周期。在此阶段，模型获得了正确解决数学问题的基本能力。在此之后，ReFT 通过使用近端策略优化 (PPO) 等方法采用强化学习 (RL) 算法，将模型的训练提升到一个新的水平。这个高级阶段允许模型探索和学习各种正确的解决方案和推理方法。在此背景下，ReFT 之所以高效，是因为它使用了现有的训练数据，这些数据中已经包含了正确的答案。
这些答案构成了 PPO 训练过程中奖励的基础，从而无需额外的、单独训练的奖励系统。这与 RLHF 等其他方法有着重要区别，后者依赖于由人工注释的数据确定的奖励。
截图来源：https://arxiv.org/pdf/2401.08967v1
值得注意的是，OpenAI 表示基于强化微调，只需几十个示例，模型便能掌握在特定领域中以新的、有效方式进行推理的能力。
实际上，“只用 12 个例子就能做到这一点，这在常规的微调中是做不到的。”发布会上，OpenAI 的研究员 Julie Wong 进一步强调。
强化微调的效果也很惊人，得分不仅比 o1 mini 高，而且还反超了昨天刚发布的 o1 版。
OpenAI CEO Sam Altman 虽然没有 出现在今天的直播中，但他在 X 平台上讨论了这一宣布。他声称新功能“效果惊人，是我 2024 年最大的惊喜之一”。
当然，Altman 对宣传自己公司的新想法有既得利益，但考虑到 2024 年 OpenAI 推出了很多令人兴奋的东西，他称之为今年最大的惊喜之一，这无疑是高度赞扬。
根据 OpenAI 的演讲者介绍，科学家、开发人员和研究人员可以基于自己的数据定制强大的 o1 推理模型，而不再仅仅依赖公开可用的数据。
各领域的从业者可以通过强化学习创建基于 o1 的专家模型，从而提升该领域的整体专业水平。这标志着 AI 定制化迈出了关键一步，使得 AI 模型能够在专业领域展现出更出色的表现。
现场演示强化微调对大模型的提升
在现场，OpenAI 研究员用伯克利实验室计算生物学家 Justin Reese 演示了强化微调如何大幅提高 o1 mini 的性能。具体来说，就是给定了症状列表，让模型来预测是哪个基因可能导致的遗传疾病。
首先，查看用于训练模型的数据集和用于评估模型的评分器，Justin 团队收集了一个包含大约 1,100 个示例的数据集，训练数据集只是 JSON-L 文件，文件中的每一行都是你希望模型在其上进行训练的示例。此外，演示中还上传了验证数据。
“验证数据集和训练数据集之间在正确基因方面没有重叠。这意味着模型不能作弊，或者它不能学会仅仅记住症状列表并将其与基因关联起来，它必须从训练数据集泛化到验证数据集。“OpenAI 研究院 John Allard 解释道。
然后，在 OpenAI 的训练基础设施上启动一个训练作业。在网页界面可选择训练集和验证集，并进行相应配置即可。
最后评估生成的微调模型，以便可以看到它比开始使用的基础模型改进了多少。评分器功能很简单，就是获取模型的输出和正确答案，对其进行比较，然后返回一个介于 0 和 1 之间的分数。0 表示模型根本没有得到正确答案，1 表示模型得到了正确答案。
Allard 表示，强化微调可能需要几个小时到几天的时间才能运行完成，因此他展示了此前相同数据集上运行的结果。模型给出的是最有可能的候选基因也是 TSC2，正确答案也确实如此，因此，模型能够在 top at 1、top at 5 和 top at max 上都通过。
此外微调过程中，还可以观察模型性能指标的变化趋势：
测试中，OpenAI 设置了三个不同模型的运行：第一个是针对昨天发布的 o1 模型，第二个是针对 o1 mini，最后是强化微调后的 o1 mini。可以看到，o1 mini 在大约 200 个数据集上获得了 17% 的得分，o1 做得更好，获得了 25%，而微调后的 o1 mini 获得了 31% 的得分。
结束语
OpenAI 的 12 天活动周末暂停。并不是每项公告都会轰动一时，OpenAI 自己也表示，可以期待“大大小小的”新事物。
以下是外媒列出的一些在下周活动中可以看到的内容（其中还会有一些惊喜）：Sora - ai 视频生成、Canvas 更新（可能包括图像）、GPT-4o 视频分析、GPT-4o 图像生成、高级语音与视频等。
奥特曼在推特上与网友的互动，似乎暗示了接下来的 10 场直播会报告 Sora 的最新动态。
阅读报告全文，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告
Air Street Capital《2024 年人工智能现状报告》
未来今日研究所：2024 技术趋势报告 - 广义计算篇
科睿唯安中国科学院 2024 研究前沿热度指数报告
文本到图像合成：十年回顾
《以人为中心的大型语言模型（LLM）研究综述》
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告
理解世界还是预测未来？世界模型的综合综述
Google Cloud CSA2024 AI 与安全状况调研报告
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
国际可再生能源署 IRENA2024 年全球气候行动报告
Cell: 物理学和化学 、人工智能知识领域的融合
智次方 2025 中国 5G 产业全景图谱报告
未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇
Deepmind：AI 加速科学创新发现的黄金时代报告
PitchBookNVCA2024 年第三季度全球风险投资监测报告
德科 2024 年未来全球劳动力报告
高工咨询 2024 年协作机器人产业发展蓝皮书
国际能源署 IEA2024 年全球能源效率报告
基因慧基因行业蓝皮书 2024 - 2025
普华永道 PwC2024 全球经济犯罪调查英国报告 - 智对风险直面挑战
中国互联网协会 2024 面向未来网络的数字孪生城市场景应用白皮书
中移智库 2024 先进感知新技术及新应用白皮书
智次方研究院 2025 中国 AIoT 产业全景图谱报告
未来今日研究所：2024 技术趋势报告 - 人工智能篇
国际电联：迈向衡量数字经济的通用框架的路线图
联合国粮食与农业组织：2024 年世界粮食安全和营养状况
大语言模型综述
李飞飞等，AI 智能体：探索多模式交互的前景综述
哈尔滨工业大学 - ChatGPT 调研报告
2024《美国核部署战略报告》最新文件
清华大学：AIGC 发展研究 3.0 发布版 b 版
OpenAI：2024 年 OpenAI o1 大模型技术报告
Verizon2024 年世界支付安全报告
皇家学会哲学学报 从复杂系统角度评估人工智能风险
复旦大学 大模型 AI 代理的兴起和潜力：综述
经合组织 OECD2024 年气候行动监测报告
Wevolver2024 年边缘人工智能现状报告 - 探索各行业边缘 AI 应用动态
2024 全球人形机器人产品数据库报告 - 人形机器人洞察研究 BTIResearch
《全球金融稳定报告》 把舵定航 不确定性、人工智能与金融稳定
瑞士洛桑联邦理工学院 《人工智能中的 - 创造力：进展与挑战》
《你所需要知道的理 - 论：人工智能、人类认知与决策》牛津大学最新 53 页报告
世界经济论坛 新兴技术时代的网络弹性导航：应对复杂挑战的协作解决方案 2024
ADL 理特咨询 2024 汽车出行未来展望报告
2024 中国硬科技创新发展白皮书 - 开辟未来产业新赛道
科学时代的大语言模型中的人工智能
Gartner2025 年重要战略技术趋势报告
CBInsights2024 年第三季度全球人工智能投融资状况报告
TrendHunter2025 年全球趋势报告 - 全行业顶级创新和变革趋势前瞻
天津大学 2024 大模型轻量化技术研究报告
欧洲海洋局 2024 导航未来报告将海洋置于更广泛的地球系统中第六版
美国安全与新兴技术中心 2024 AI 生成代码的网络安全风险研究报告
国际原子能机构 2024 年世界聚变展望报告
复旦大学 2024 大语言模型的能力边界与发展思考报告
安盛 AXA2024 年气候与生物多样性报告气候过渡计划路线图
YouGov2024 美国公众对人工智能 AI 的态度调研报告
麦肯锡中国报告：《中国与世界》完整版
麦肯锡全球研究所 2024 下一代竞技场报告 - 重塑全球经济的 18 个新兴行业领域
Project Sid，一个旨在模拟多智能体交互以研究 AI 文明的项目
德国研究与创新专家委员会 德国研究创新与科技成果报告
2024 年欧洲关键产业的科技重塑研究报告
智能体专题报告之二 - 智能体时代来临具身智能有望成为最佳载体
ActivateConsulting 2025 年顶级技术和媒体发展趋势报告
兰德 全球灾难风险评估
斯坦福李飞飞 《AI agent 综述》Agent AI 开启多模态交互新纪元
中国联通研究院 2024 中国生成式人工智能应用与实践展望白皮书中文版
普华永道 2024 第五次工业革命研究报告迈向弹性可持续和以人为本的未来
大成 Dentsons2024 年全球智慧城市与互联社区智库年度报告
TechUK2024 量子技术挑战与机遇并存构筑量子韧性的策略与实践研究报告
Emakina 将塑造 2024 年的技术趋势报告
图灵奖得主 Yann LeCun《机器如何才能达到人类智能水平？》——Yann LeCun, 附 Slides 及视频
华为：2024 鸿蒙生态应用开发白皮书 V3.0（最新版）
CASA：2023 第三代半导体产业发展报告
大型视觉语言模型中幻觉现象的综述
IEA PVPS：2024 光伏应用趋势报告（英文版）
ABI Research：82 个将会或不会在 2024 年发生的技术趋势白皮书
《美国反无人机系统未来趋势报告（2024 - 2029 年）》
《军事自主系统：未来之路》美空军
空间智能如何？牛津大学博士论文《深度具身智能体的空间推理与规划》
2024 低空经济场景白皮书 v1.0
战略与国际研究中心（CSIS）人类地月空间探索的总体状况研究报告（2024）
Artificial Intelligence Review：人工智能与物理学相遇的综述
麦肯锡：全球难题，应对能源转型的现实问题
欧米伽理论，智能科学视野下的万物理论新探索（研究论文）
Gartner 2025 年主要战略技术趋势研究报告
2024 人工智能国外大模型使用手册 + 中文大模型使用手册
详解光刻巨人 ASML 成功之奥妙 - 241015
CB Insights：未来变革者：2025 年九大科技趋势研究报告
国际电信联盟 2023 - 2024 年联合国人工智能 AI 活动报告
《人工智能能力的人类系统集成测试和评估》最新 51 页，美国防部首席数字和人工智能办公室（CDAO）
2024 瑞典皇家科学院诺贝尔化学奖官方成果介绍报告
MHP 2024 全球工业 4.0 晴雨表白皮书
世界经济论坛白皮书《AI 价值洞察：引导人工智能实现人类共同目标》
瑞典皇家科学院诺贝尔物理学奖科学背景报告资料
AI 智能体的崛起：整合人工智能、区块链技术与量子计算 (研究报告，书）
OpenAI o1 评估：AGI 的机遇和挑战（280 页）
世界知识产权组织：2024 年全球创新指数
美国白宫：国家近地天体防御策略与行动计划
上下滑动查看更多
来源：人工智能学家
