AI大模型推理优化(附原文pdf文档和DeepSeek资料下载)
大模型推理引擎采用了多种定制化的优化技术,针对预填充和解码阶段进行优化。大多数引擎都使用了 KV Caching 避免解码阶段的重复计算,使用缓存的上下文,只计算最新一个 Token。引入连续批处理和混合批处理,进一步优化解码阶段性能;对多个请求的分组预填充、
模型 pdf 推理 pdf文档 deepseek资料 2025-05-26 12:40 7
大模型推理引擎采用了多种定制化的优化技术,针对预填充和解码阶段进行优化。大多数引擎都使用了 KV Caching 避免解码阶段的重复计算,使用缓存的上下文,只计算最新一个 Token。引入连续批处理和混合批处理,进一步优化解码阶段性能;对多个请求的分组预填充、
模型 pdf 推理 pdf文档 deepseek资料 2025-05-26 12:40 7
DeepSeek 在年初的强势崛起,让全球侧目,也撕下了 Meta 长期以来引以为傲的最后一块遮羞布:“最强开源模型”。
meta llama deepseek deepseek资料 2025-04-07 09:18 11
大型语言模型 (LLM) 的兴起改变了 AI 驱动的应用程序,实现了从聊天机器人到自动代码生成的一切。然而,高效运行这些模型仍然是一个挑战,因为它们通常需要大量的计算资源。
ollama vllm deepsee deepseek资料 2025-03-20 10:43 11
大型语言模型 (LLM) 的兴起改变了 AI 驱动的应用程序,实现了从聊天机器人到自动代码生成的一切。然而,高效运行这些模型仍然是一个挑战,因为它们通常需要大量的计算资源。
ollama vllm deepsee deepseek资料 2025-03-20 10:37 13
MCP 全称是 Model Context Protocol,也就是模型上下文协议。可别小瞧它,它可不是 “另一个类似 API 的东西”,要是你这么想,那说明还没真正 get 到它的精髓。
api agent mcp deeps deepseek资料 2025-03-17 17:42 11
他们有的打出,利用AI在直播间“日卖3.3亿”;有的利用AI创立“一人公司”,成为大模型工具开发者、企业咨询顾问,年入百万;还有更多人,在寻觅AI创业机会。一瞬间,“AI搞钱”成为全民热潮。
创业者 陈坤 deepseek deepseek资料 听筒t 2025-03-14 09:52 11
尽管我们看到许多智能体技术栈和市场分布图,但我们倾向于不认同它们的分类方式,并发现这些分类很少能真实反映开发者实际使用的工具。过去几个月,AI智能体软件生态系统在记忆能力、工具调用、安全执行和部署等方面取得了显著进展。基于我们在开源AI领域一年多的实践经验和七
agent deepseek deepseek资料 aiag 2025-03-13 10:45 16