o3崛起,但推理模型离“撞墙”只剩一年?

360影视 国产动漫 2025-05-31 17:42 3

摘要:o1在AIME测试中的表现与训练计算资源的关系但推理算力一旦摸到天花板,增长速度可能就会从「几个月翻10倍」掉到「每年翻4倍」。如果推理训练和整体前沿算力差距只有几个数量级(如小于三个数量级),估计一年内增速就得放缓。推理真能Scaling吗?现实没那么简单。

o1在AIME测试中的表现与训练计算资源的关系但推理算力一旦摸到天花板,增长速度可能就会从「几个月翻10倍」掉到「每年翻4倍」。如果推理训练和整体前沿算力差距只有几个数量级(如小于三个数量级),估计一年内增速就得放缓。推理真能Scaling吗?现实没那么简单。光堆显卡可不够,数据才是卡脖子的关键。推理训练需要大量难题数据,但高质量的题目不是无限的,找题、编题、生成数据都不容易。在数学、编程以外的复杂场景里,比如理解人类复杂情感,推理模型能不能同样好用,目前还是未知数。开发推理模型,真正花钱的可能不是训练本身,而是大量的试错实验——测试不同的题目、打分规则、训练方法,这些成本目前没人公开。虽然随着技术成熟,成本可能会降下来,但这些隐藏成本可能限制模型的扩展。对AI行业来说,任何暗示推理模型在短期内可能会触及发展瓶颈的消息,都让人心里一紧。毕竟,AI行业为了开发这类模型,砸进去了大量资源。已有研究表明,运行推理模型的成本极高,相比某些传统模型,更容易出现幻觉。不过也有好消息:即使算力增长放缓,模型说不定还能靠数据、算法创新接着变强。但无论如何,算力增长依然是关键,值得重点关注。毕竟,OpenAI和行业大佬们都信心满满,o3大概率没触达极限,后面肯定还有惊喜!参考资料:https://epoch.ai/gradient-updates/how-far-can-reasoning-models-scalehttps://techcrunch.com/2025/05/12/improvements-in-reasoning-ai-models-may-slow-down-soon-analysis-finds/原标题:《o3崛起,但推理模型离「撞墙」只剩一年?》

来源:科学有点意思儿

相关推荐