不要再怀疑低精度混训。老美建设的英伟达GB200和300以及AMD MI355X ，都引入了FP6和FP4浮点数据类型，能够在保持计算精度的同时，进一步提升AI训练和推理性能

英伟达 amd 智算 fp4 fp4智算 2025-03-25 09:55  6

研究开展时，尚未有原生支持FP4的硬件，故作者通过在FP8的TensorCore上模拟实现）

微软 fp4 fp4训练 2025-01-30 12:43  14