摘要:在人工智能领域持续火热发展的当下,各大科技企业在大模型赛道的竞争愈发激烈。4月30日,小米重磅宣布,开源其首个为推理而生的大模型“Xiaomi MiMo”,凭借仅7B的参数规模,在数学推理和代码竞赛公开测评中,实力超越OpenAI的闭源推理模型o1-mini,
在人工智能领域持续火热发展的当下,各大科技企业在大模型赛道的竞争愈发激烈。4月30日,小米重磅宣布,开源其首个为推理而生的大模型“Xiaomi MiMo”,凭借仅7B的参数规模,在数学推理和代码竞赛公开测评中,实力超越OpenAI的闭源推理模型o1-mini,引发了行业内外的广泛关注与热议。
小米此次推出的MiMo大模型,是新成立不久的小米大模型Core团队的初步尝试。其推理能力的提升,得益于预训练和后训练阶段在数据和算法等多层面的创新。在预训练阶段,核心目标是让模型接触并学习到更多样化的推理模式。为此,小米团队着重挖掘富含推理模式的语料,并合成了约200B tokens的推理数据。训练过程采用精心设计的三阶段策略,难度逐步递增,总训练量达到25T tokens,如此大规模的训练量在同等规模模型中处于领先水平,为模型打下了坚实的基础 。
后训练阶段同样关键,小米团队在算法和框架上实现了重大突破。算法层面,创新性地提出“Test Difficulty Driven Reward”机制,有效缓解了困难算法问题中常见的奖励稀疏难题,使得模型在复杂任务中能够更准确地学习和优化;同时引入“Easy Data Re - Sampling”策略,显著提升了强化学习训练的稳定性,让模型训练过程更加可靠。框架层面,精心设计的“Seamless Rollout”系统发挥了巨大作用,使得强化学习训练速度提升2.29倍,验证速度也加快了1.96倍,大大提高了模型的训练和优化效率 。
在数学推理(AIME 24 - 25)和代码竞赛(LiveCodeBench v5)这两大具有权威性的公开测评集中,MiMo展现出了卓越的性能。仅7B的参数规模,就成功超越了OpenAI的闭源推理模型o1 - mini以及阿里Qwen更大规模的开源推理模型QwQ - 32B - Preview。这一成绩的取得,充分证明了小米在大模型推理能力研发上的技术实力,也打破了大众对于模型参数规模与性能必然挂钩的固有认知,为行业发展提供了新的思路和方向 。
不仅如此,在相同强化学习(RL)训练数据条件下,MiMo - 7B在数学和代码领域展现出的强化学习潜力明显领先于业界广泛使用的其他模型,包括DeepSeek - R1 - Distill - 7B和Qwen2.5 - 32B等知名强化学习起步模型。这意味着MiMo在后续的优化和发展中,有着更大的提升空间和潜力,有望在更多复杂任务和实际应用场景中发挥出色表现 。
MiMo - 7B全系列已开源4个模型至HuggingFace,采用Apache2.0许可证授权。这一开源举措,为全球开发者提供了一个深入了解和应用MiMo的平台,促进了人工智能领域的技术交流与创新发展。开发者们可以基于MiMo进行二次开发和优化,推动更多基于该模型的创新应用涌现,为人们的生活和工作带来更多便利和可能性 。
小米在大模型领域的投入由来已久。早在2016年,小米就投入三四千人开发AI。2024年,雷军更是亲自挖人,砸下千万元级薪酬,将DeepSeek - V2的关键开发者之一、95后“天才少女”罗福莉招致麾下,并准备了万卡GPU集群,显示出小米对大模型领域的坚定决心和全面投入 。
此次小米MiMo大模型的开源及出色表现,对于小米自身而言,进一步巩固了其在科技领域的创新形象,提升了品牌影响力,为其在“人 - 车 - 家”全场景智能生态建设中增添了强大的技术支撑;从行业角度来看,为大模型技术的发展注入了新的活力,激发了更多企业在推理模型研发上的创新热情,有望推动整个行业朝着更加高效、智能的方向发展 。
未来,随着小米对MiMo大模型的持续优化和完善,以及全球开发者基于MiMo的创新应用,我们有理由期待,MiMo将在人工智能领域绽放更加耀眼的光芒,为社会的发展和人们的生活带来更多实质性的改变 。
来源:阿峰故事会