【内含 OpenAI API 调用教程】超强逻辑推理能力,vLLM + Qwen-30B-A3B 登场!

360影视 欧美动漫 2025-05-26 20:04 3

摘要:Qwen3 项目是由阿里 Qwen 团队于 2025 年发布,相关技术报告为 「Qwen3: Think Deeper, Act Faster」。

Qwen3 项目是由阿里 Qwen 团队于 2025 年发布,相关技术报告为 「Qwen3: Think Deeper, Act Faster」。

Qwen3 是 Qwen 系列中最新一代大型语言模型,提供全面的密集模型和混合专家 (MoE) 模型。 Qwen3 基于丰富的训练经验,在推理、指令遵循、代理能力和多语言支持方面取得了突破性进展。Qwen3 支持在思考模式(用于复杂逻辑推理、数学和编码)和 非思考模式(用于高效通用对话)之间无缝切换,确保在各种场景下的最佳性能;有显著增强的推理能力,在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ 和 Qwen2.5 指令模型。同时,Qwen3 支持 100 多种语言和方言,具有强大的多语言理解、推理、指令跟随和生成能力。

教程链接:https://go.openbayes.com/tU7Gi

http://openbayes.com/console/signup?r=sony_0m6v

首先点击「公共教程」,在公共教程中找到「使用vLLM+ Open-webUl 部署 Qwen3-30B-A3B 」,单击打开。

页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

平台会默认选配好原教程所使用的算力资源、镜像版本,不需要再进行手动选择。目前平台计费方式已经更新,大家可以按照需求选择「按量付费」或「包日/周/月」。点击「继续执行」,等待分配资源。

数据和代码都已经同步完成了,大约等待 5 分钟后,启动访问地址

来到这个界面就可以与模型进行对话了。我们默认提供 A3B 模型,可在这里输入对话内容。

获取 API 地址

如 VScode 安装官方CLINE插件在终端运行以下命令,找到 vllm 进程并关闭:

找到进程号(PID),然后执行:

例如,启动 Qwen3-32B:

修改说明:

/input0/Qwen3-30B-A3B → 替换为你的目标模型路径(如 Qwen3-32B)。

--served-model-name → 修改为对应模型名称(如 Qwen3-32B)。

完成后,新模型即可使用!

来源:八哥科技坊

相关推荐