摘要：这次上阵直播的四人，是 OpenAI 的研究员 Mark Chen、John Allard、Julie Wang，以及伯克利实验室计算生物学家 Justin Reese。

OpenAI 开启了“连续 12 天直播发布”的第二天。第二天的直播内容再次引爆了科技圈。

这次上阵直播的四人，是 OpenAI 的研究员 Mark Chen、John Allard、Julie Wang，以及伯克利实验室计算生物学家 Justin Reese。

这一次，OpenAI 向我们展示了强化微调（Reinforcement Fine-Tuning）技术的惊人力量，使得原本实力不俗的 o1-mini 模型，实现了对地表最强基础模型 o1 的全面超越。

这一突破性的成果，为未来的模型定制和应用开辟了新的道路。

强化微调技术揭秘

强化微调，作为 OpenAI 此次直播的核心内容，其实质是一种基于强化学习的模型优化技术。

与传统的微调方法不同，强化微调真正利用了强化学习算法，把模型从高级中学水平提升到专家博士级别。

强化微调（RFT），能让开发者、研究人员和机器学习工程师首次有机会使用强化学习来创建专家级模型，在特定领域的任务中有卓越表现。

对于法律、金融、工程、保险等领域，这项技术简直是量身打造的。

举例来说，OpenAI 最近和汤森路透合作，利用强化微调对 o1 Mini 进行了微调，使其成为了一名法律助手，帮法律专业人士完成了一些复杂、需要深入分析的工作流程。

o1-mini 模型逆袭的故事

在此次直播中，OpenAI 特别提到了 o1-mini 模型的逆袭历程。

经过强化微调技术的加持，o1-mini 在多个关键指标上均实现了对 o1 模型的超越。其中，Top-1 准确率的提升尤为显著，从 o1 的 25%跃升至 o1-mini 的 31%，增幅高达 180%。

值得一提的是，强化微调技术的研发思路与字节跳动此前公开发表的研究成果不谋而合。

强化微调技术应用

强化微调技术的出现，将为多个领域带来革命性的变革。无论是法律、金融、工程还是医疗保健等行业，都需要高度专业化和精准化的模型来应对复杂的挑战。而强化微调技术正是解决这些问题的关键所在。

以医疗保健领域为例，强化微调技术可以帮助医生更准确地诊断疾病、制定治疗方案。通过与医学专家的知识相结合，模型能够学习到更为复杂和精细的医学知识，从而提高诊断的准确性和效率。此外，在药物研发、基因编辑等领域，强化微调技术也将发挥不可替代的作用。

随着强化微调技术的不断完善和成熟，OpenAI 有望在未来推出更多具有创新性和实用性的产品和服务。这些产品将不仅满足各行业的需求，也将推动整个人工智能领域的发展进程。

来源：麻辣小王子