首个全国产算力训练深度推理模型发布

360影视 2025-01-15 15:34 1

摘要:与通用大模型相比,X1的解题过程更接近人类的“慢思考”方式,并且用更少的算力。据介绍,深度推理模型有三大典型特征:一是化繁为简,将复杂问题分步拆解简化;二是进行自我探索和反思验证;三是基于答案正确与否的优质反馈信息进行强化训练。

1月15日,科大讯飞发布了具备深度思考和推理能力的星火深度推理模型X1。据悉,这也是目前唯一一个全国产算力上训练的深度推理模型。

与通用大模型相比,X1的解题过程更接近人类的“慢思考”方式,并且用更少的算力。据介绍,深度推理模型有三大典型特征:一是化繁为简,将复杂问题分步拆解简化;二是进行自我探索和反思验证;三是基于答案正确与否的优质反馈信息进行强化训练。

为了演示这一“慢思考”特点,研究员们依次展示了X1解答高考题、AIME(美国数学邀请赛)竞赛题以及高中奥赛题的表现。演示中,该深度推理模型不仅准确给出了这些题目的答案,还对解题思路和步骤进行了详细拆解。

讯飞星火一直坚持走全国产化路线。2023年10月,科大讯飞与华为联合打造的首个国产万卡算力集群“飞星一号”平台上线。尽管在全国产算力平台上训练深度推理模型遭遇了诸多挑战,但科大讯飞和华为仍携手攻克了训练推理强交互、高吞吐推理优化以及国产算子优化等一系列难题,最终成功训练出这一深度推理模型。

慢思考能力,正成为当下大模型的前沿比拼领域。OpenAI的大模型o1,就是已探索出通过强化学习让AI具备人类慢思考,即可主动反思、纠错的复杂思考能力而一度备受业内关注。

业内专家分析称,目前市面上大量大模型通过训练大量知识,主要学习的其实是快思考能力,但快思考的特点是快速直觉、无意识,反应很快但能力不够强。“这也是为什么不少大模型面对问题出口成章,但答案‘离题万里’,质量不够稳定。”而慢思考的特点是缓慢、有意识、有逻辑性,需要分很多步骤,会在回答之前进行一段时间的“思考”,有助于模型避免出错,并提供更全面的解答。

记者:袁璐

来源:子清视界

相关推荐