reflections

梁文锋署名,最新论文发布

这篇论文深入分析了DeepSeek-V3/R1模型架构及其人工智能基础架构,重点介绍了一些关键创新,如提高内存效率的多头潜意识(MLA)、优化计算与通信权衡的专家混合(MoE)架构、释放硬件能力全部潜力的FP8混合精度训练,以及最大限度降低集群级网络开销的多平

论文 moe mla 文锋 reflections 2025-05-16 13:27  3

梁文锋署名,DeepSeek-V3回顾性论文发布

这篇论文深入分析了DeepSeek-V3/R1模型架构及其人工智能基础架构,重点介绍了一些关键创新,如提高内存效率的多头潜意识(MLA)、优化计算与通信权衡的专家混合(MoE)架构、释放硬件能力全部潜力的FP8混合精度训练,以及最大限度降低集群级网络开销的多平

论文 moe mla 文锋 reflections 2025-05-16 11:57  2