mooncake

大模型推理架构Mooncake开源

月之暗面Kimi和清华大学MADSys实验室联合9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研力量共同发布开源项目Mooncake，共建以KVCache为中心的大模型推理架。