优于o1预览版，推理阶段KV缓存缩减一半，LightTransfer降本还能增效
LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 t
推理 kv lighttransfer lighttrans 2025-03-10 16:54 3
lighttrans
优于o1预览版，推理阶段KV缓存减一半，LightTransfer降本还能增效
LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 t
推理 kv lighttransfer lighttrans 2025-03-10 16:14 3