摘要:苍何在Mac上成功部署了阿里开源的Qwen3模型,并挖掘出三种令人兴奋的玩法。本文将带你领略Qwen3的强大性能,以及它如何在本地部署中实现知识库管理、辅助写作和数据库操作等实用功能,展现其在AI应用中的巨大潜力。
苍何在Mac上成功部署了阿里开源的Qwen3模型,并挖掘出三种令人兴奋的玩法。本文将带你领略Qwen3的强大性能,以及它如何在本地部署中实现知识库管理、辅助写作和数据库操作等实用功能,展现其在AI应用中的巨大潜力。
五一回老家那会,和发小吃了个饭,聊到了现在的 AI。
发小说看我玩 AI 玩的挺疯的,也想用在工作中提效,可公司电脑不让联网。
这一下就把我拉回到了数年前,在讯飞某保密项目中无网干撸代码的情形。
这真是太痛苦了。
为了让发小能在工作中用到 AI,我尝试教他本地部署最近很火的 Qwen3。
并发现了下面 3 种有趣实用的玩法,该说不说,Qwen3 确实让人上头。
经过一番折腾,发现果然官方说的“Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。”,诚不欺我。
我的 Mac 部署的是最新的 Qwen3-8b,如果配置再好点,搞个 14b,那效果又上一个层次了。
不过在介绍本地部署和我的几个实践之前,觉得还是有必要和大家先聊聊 Qwen3。
后面会介绍如何本地部署 Qwen3 以及 3 大玩法。Qwen3 是阿里在上个月底发布的新一代开源大语言模型系列,属于通义千问(Qwen)家族的最新一代模型。
短短半个多月,就已经在 GitHub 上获得了可怕的 21.1 k 的 star。
牛逼,我的开源项目 PmHub 快一年了也才三百多个 star。
还有一个很让我意外的新闻,国际权威媒体日本经济新闻(NIKKEI)4月公开的AI模型评分榜,阿里的通义千问在113个模型中排名第6,是排名第一的开源模型。
据说,日本企业中得分最高的模型ABEJA-Qwen2.5-32B正是基于千问开发,日经媒体官方甚至也表示:千问已经成为了日本AI开发的基础。
写到这里的时候,我其实是有些热泪盈眶的,忽然想起钱学森归国时说过的话:”手里没剑和有剑不是一回事。
Qwen3 目前能支持 119 种语言,还能支持一些地方语言。
这个其实意义还蛮大的,别看 AI 这么火,但还是很多国家并没有技术能力去开发自己语种的 AI 大模型。
Qwen3 的开源,直接让他们有了可以依赖的开源模型。
可以看到的是,不止是日本,通义千问已经成为多国AI开发基础,
比如这位国外的 X 老哥基于Qwen/Qwen2-72B 开发了个用法语回答问题的机器人。
还有这个日本老哥(或是老姐?)用 Qwen3-8 B 进行日语微调。
我发现,在 X 上,对 Qwen3 大家还是相当认可的,国外博主都在争相报道。也难怪 GitHub 飙升的这么快。
突然感觉,这一幕似成相识,这不咱们这边蹲OpenAI的既视感吗?
在墙外人的眼中,它好像真是香饽饽。
很多人好奇为啥不是 DeepSeek?从数据来看,DeepSeek 的部署成本还是相对高了,Qwen3 的成本很低,旗舰模型235B参数部署成本几乎只要DeepSeek-R1的三分之一。
而且 Qwen3 是一个开源的混合推理模型,能够在思考模式和非思考模式下自由切换,可以帮助在成本效益和推理质量之间实现更优的平衡。
除此之外,Qwen3 在 Agent 能力上表现很出色,模型底层天然支持MCP协议。
这就很舒服了呀,也难怪那么人选择作为 AI 开发基础。
好啦,如果想更多了解,大家可以通过以下地址了解和体验 Qwen3:
Qwen Chat:https://chat.qwenlm.ai
通义 APP:https://www.tongyi.com/GitHub:
当然你也可以向苍何一样本地部署个小模型 Qwen3,玩一玩,还可以进行微调。
下面我们沉浸式体验下。本地部署Qwen3
这里我依旧使用 Ollama 来部署。
具体详细可参考本地部署大模型教程。在 Ollama 选择 Models,找到 qwen3:
选择对应尺寸参数,我的 Mac 最多支撑 8 b 了。
具体计算大家可以参考这个公式:模型所需GPU内存大小≈模型大小×1.2。我的 mac 是 16 G,理论上能跑 8 b。
复制这个命令,本地终端执行。
一共 5.2 G,偷偷看了一眼电脑剩余空间,留下了不争气的泪水。
复制命令后,慢慢等他下载模型,等就好了。
部署完后,你就可以直接和他对话。
但我想没人会直接这么完。通常会结合具体的使用场景来搞。
下面是一些我觉得本地部署模型能给我们实际带来的一些帮助 case。
本地部署数据隐私可以保护,而且可以针对性的做微调,做 RAG。
知识库这里我用 Cherry Studio 做了 3 个知识库,把相应的数据导入。
然后在模型这里选择刚部署的 Qwen3,就可以实现基于知识库的提问了。比如我的知识库里面有之前自己写的 rocketmq 专栏,他都能给我快速找到。
基于微信读书笔记进行特定语句提问以及总结。
整体效果我体验下来是比之前要好很多的。不过知识库不能太大,不能小模型也抵不住。写作
试想一下,如果你电脑此时没有网,要想让 AI 辅助写作是不是就没办法啦?
但如果此时你的电脑装了个 Qwen3,完全可以基于此来辅助。
可以装在 WPS 上,也可以放在 Obsidian 中,无网下也可以正常使用 AI。
具体操作方法可以看苍何之前分享的文章:
1、WPS 接入本地大模型2、Obsidian 中接入本地大模型
只需要把这里的模型替换为新部署的 Qwen3。
在 WPS 中也是一样,替换模型后,本地使用起来超级方便。
反正我发小搞完,给我买了好几包辣条,一边用一边说,真香。MCP 本地操作数据库
在之前的这篇文章:Cursor+MCP实现用嘴操纵数据库,很多人担心在 Cursor 中操作数据涉及到数据隐私问题,不敢玩。
但现在如果你用的是本地部署的 Qwen3,真的就做到了全链路的私有化,你的数据库在本地、大模型在本地、MCP Server 也在本地。
你只需要用嘴操作数据库,他不香吗?
因为 Qwen3 是混合推理模型,不想他思考,直接使用使用/no_think标签就好了,比如查询数据表这种简单任务,完全可以不用思考,需要思考,再加上/think标签就行。
这里就不列举了,具体数据库的 CRUD 都可以操作,而且还可以多表联查,基于数据生成可视化报表等。
用嘴操作数据库这事,有了本地部署的 Qwen3,安全又上了一个台阶。
Qwen 3 真的,让我知道了,什么叫小模型,大能量。
用更少的参数获得更好的效果,推理成本低才能实现AI普惠,这一波必须给阿里点赞。
现在,很多中小公司,也终于可以用 Qwen3 训练自己的企业数据,做垂类应用,做出差异化的东西出来。
而且,这个模型是完全开源的,任何公司个人都可以使用。
来源:人人都是产品经理