摘要:阿里通义千问重磅开源新一代大模型Qwen3,以卓越性能登顶全球开源模型王座,引发业界广泛关注。Qwen3凭借其创新的混合推理模式(MoE架构),该系列模型包括多个不同规模的模型,涵盖了从小型到超大型的多种配置,以满足不同应用场景下的多样化需求。
阿里通义千问重磅开源新一代大模型Qwen3,以卓越性能登顶全球开源模型王座,引发业界广泛关注。Qwen3凭借其创新的混合推理模式(MoE架构),该系列模型包括多个不同规模的模型,涵盖了从小型到超大型的多种配置,以满足不同应用场景下的多样化需求。
MoE 模型:
Qwen3-235B-A22B:总参数量 2350 亿,激活参数量 220 亿。这是旗舰模型,适用于需要强大推理能力的复杂任务
Qwen3-30B-A3B:总参数量 300 亿,激活参数量 30 亿。该模型在性能和效率之间取得了良好的平衡,适合中等规模的任务
Dense 模型:
Qwen3-32B:适用于大规模任务,具有较高的推理能力和效率
Qwen3-14B:适合中等规模的任务,提供了良好的性能和成本效益
Qwen3-8B:适合较小规模的任务,能够在资源受限的环境中高效运行
Qwen3-4B:适用于轻量化应用场景,适合在移动设备或边缘设备上部署
Qwen3-1.7B:适合小型任务,提供了快速响应和较低的计算成本
Qwen3-0.6B:最小的模型,适合极低资源环境下的快速部署
混合推理模式:Qwen3 模型支持“思考模式”和“非思考模式”,用户可以根据任务需求灵活配置推理深度
多语言支持:Qwen3 支持 119 种语言和方言,显著提升了其在国际市场的适用性
增强的 Agent 能力:支持 MCP(模型上下文协议),能够与外部数据源和工具集成,完成复杂任务
高性能与高效率:无论是小型高性能模型还是超大规模模型,Qwen3 系列都能在不同场景下表现出色,提供极致的性能和效率
开源与易用性:Qwen3 系列模型采用开源协议,开发者可以自由使用和修改,极大地降低门槛和成本
优云智算平台正式上线 Qwen3 系列开源部分模型镜像!
一、Qwen3-vllm-series
基于vllm+Openwebui可视化的全量Qwen3系列模型,镜像链接:
使用方法
创建实例后进入jupyterlab,在终端terminal中输入模型启动命令
推荐配置1卡4090
# Qwen3-0.6BVLLM_USE_MODELSCOPE=1 vllm serve /model/ModelScope/Qwen/Qwen3-0.6B -tp 1 --enable-reasoning --reasoning-parser deepseek_r1# Qwen3-1.7BVLLM_USE_MODELSCOPE=1 vllm serve /model/ModelScope/Qwen/Qwen3-1.7B -tp 1 --enable-reasoning --reasoning-parser deepseek_r1# Qwen3-4BVLLM_USE_MODELSCOPE=1 vllm serve /model/ModelScope/Qwen/Qwen3-4B -tp 1 --enable-reasoning --reasoning-parser deepseek_r1# Qwen3-8Bvllm serve /model/ModelScope/Qwen/Qwen3-8B -tp 1 --enable-reasoning --reasoning-parser deepseek_r1 --max-model-len 20480推荐配置 2卡4090
# Qwen3-14BVLLM_USE_MODELSCOPE=1 vllm serve /model/ModelScope/Qwen/Qwen3-14B -tp 2 --enable-reasoning --reasoning-parser deepseek_r1推荐配置 4卡4090
# Qwen3-32BVLLM_USE_MODELSCOPE=1 vllm serve /model/ModelScope/Qwen/Qwen3-32B -tp 4 --enable-reasoning --reasoning-parser deepseek_r1交互方式
1.命令行交互
等待对应模型启动后,新开terminal进行交互
vllm chat2.Openwebui可视化
等待对应模型启动后,启动open webui 服务
conda activate openwebuiOpen-webui serve --port 8080通过浏览器访问:http://ip:8080 ,ip替换为虚机实例的外网ip,登录邮箱:ucloud@ucloud.cn 密码:ucloud.cn
二、Qwen3-Ollama-Openwebui
基于Ollama的量化模型,通过Openwebui可视化界面交互,镜像链接:
使用方法
新建终端,运行命令,启动Ollama
ollama serve注:模型越大,需要的显存和显卡数越多,235b的模型需要8卡,其余参数单卡4090均可跑。
如下图所示,即可新建终端运行下方命令启动Open-webui
本实例安装好了Open-webui,可以实现可视化对话.
新建终端,运行
open-webui serve如下图所示,表示启动成功
访问Open-webui:http://{你的实例ip}:8080/
登录Open-webui:账号 root@root.com 密码 root
进入后,左上角切换模型即可使用
以上是优云智算平台提供的2种Qwen3系列模型的使用方法,后续我们将推出更多基于Qwen3系列的镜像,欢迎大家多多体验!
来源:优云智算