一种技术，通过训练一个小模型（学生模型）来模仿大模型（教师模型）的行为，以达到减少计算复杂度和资源消耗的目的。这种技术不仅限于大小模型之间的转换，也可以用于模型间的知识迁移。

模型 神经网络 名词 滤波器 factorization 2025-06-06 00:45  14

随着当前大语言模型的广泛应用和推理时扩展的新范式的崛起，如何实现高效的大规模推理成为了一个巨大挑战。特别是在语言模型的推理阶段，传统注意力机制中的键值缓存（KV Cache）会随着批处理大小和序列长度线性增长，俨然成为制约大语言模型规模化应用和推理时扩展的「内

kv kv缓存 factorization 2025-01-17 16:45  21