Qwen3 项目是由阿里 Qwen 团队于 2025 年发布，相关技术报告为 「Qwen3: Think Deeper, Act Faster」。

openai api 逻辑推理 vllm openaiapi 2025-05-26 20:04  4

近日知名大模型推理框架vLLM修复了一处腾讯朱雀实验室报告的CVSS评分9.8分严重安全漏洞（CVE-2025-47277），攻击者可利用该漏洞获取GPU算力服务器的控制权限，可能导致模型泄露、算力窃取以及服务中断等重大安全事故。朱雀实验室开源的AI-Infr

威胁 github 漏洞 cvss vllm 2025-05-22 18:42  6

“源神”DeepSeek 又有新的开源动作了。4 月 14 日，DeepSeek 悄悄在其 GitHub 的 open-infra-index 库中公布了其自研推理引擎的开源计划。在公告中，DeepSeek 表示，他们并不会选择直接开其内部完整且高度优化的代码

推理 开源 deepseek vllm vllm生态 2025-04-16 18:50  6

近两年来，随着大语言模型（LLM）的快速普及，AI 推理应用的需求呈指数级增长。以 DeepSeek 为代表的开源大模型凭借其卓越的推理性能和准确性，在开发者社区中迅速走红。无论是企业级应用还是个人项目，DeepSeek 都成为了构建智能对话系统、内容生成工具

模型 推理 直方图 ray vllm 2025-03-18 17:55  9

Qwen2.5-Omni 是一个端到端的多模态模型，旨在感知多种模态，包括文本、图像、音频和视频，同时以流式方式生成文本和自然语音响应。

模态 openai pip bash vllm 2025-04-03 09:38  11

DeepSeek-R1-Distill-Qwen-7B是一个基于Qwen架构的蒸馏模型，参数量为70亿，适用于多种自然语言处理任务，如文本生成、问答系统等。然而，大模型的推理通常面临内存占用高、计算效率低的问题。

模型 推理 配置 cuda vllm 2025-03-24 11:45  9

大型语言模型 (LLM) 的兴起改变了 AI 驱动的应用程序，实现了从聊天机器人到自动代码生成的一切。然而，高效运行这些模型仍然是一个挑战，因为它们通常需要大量的计算资源。

ollama vllm deepsee deepseek资料 2025-03-20 10:43  10

大型语言模型 (LLM) 的兴起改变了 AI 驱动的应用程序，实现了从聊天机器人到自动代码生成的一切。然而，高效运行这些模型仍然是一个挑战，因为它们通常需要大量的计算资源。

ollama vllm deepsee deepseek资料 2025-03-20 10:37  10

vLLM (Virtual Large Language Model) 是一款专为大语言模型推理加速而设计的框架，其依靠卓越的推理效率和资源优化能力在全球范围内引发广泛关注。来自加州大学伯克利分校 (UC Berkeley) 的研究团队于 2023 年提出了开

配置 curl vllm 2025-01-14 14:45  11