蚂蚁与中国人民大学发布首个原生MoE扩散语言模型

360影视 欧美动漫 2025-09-12 10:39 1

摘要:在2025Inclusion·外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。LLaDA-MoE在约20T数据上完成了从零训练MoE架构的扩散语言模型,验证了工业级大规模训练的扩展性和稳定性。模

【蚂蚁与中国人民大学发布首个原生MoE扩散语言模型 】《科创板日报》12日讯,在2025Inclusion·外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。LLaDA-MoE在约20T数据上完成了从零训练MoE架构的扩散语言模型,验证了工业级大规模训练的扩展性和稳定性。模型将在近期完全开源,以推动全球AI社区在dLLM上的技术发展。(记者 黄心怡)

来源:财联社

相关推荐