AMD显卡 Deepseek R1本地部署AI大模型教程

360影视 2025-02-07 05:00 3

摘要:需要安装最新的25.1.1版本驱动,目前为内测驱动,下载方法为去amd.com官网直接搜索25.1.1然后第一篇文章,点进去可以找到下载链接。

需要安装最新的25.1.1版本驱动,目前为内测驱动,下载方法为去amd.com官网直接搜索25.1.1然后第一篇文章,点进去可以找到下载链接。

找到安装下载链接

如果你找不到,我放链接在下面:

兼容的显卡型号

PC桌面显卡型号:

Radeon™ RX 7900/7800/7700/7600 Series GraphicsRadeon™ RX 6900/6800/6700/6600/6500/6400 Series GraphicsRadeon™ RX 5700/5600/5500/5300 Series Graphics

笔记本显卡型号:

LM-Studio是本地部署AI大模型的软件,具有可视化窗口界面,比起其它本地部署软件Ollama更方便用户操作(Ollama没有可视化图形界面),点击上方链接(https://lmstudio.ai/ryzenai)可以进行下载安装LM-Studio的AMD锐龙版本。

使用管理员模式进行LM-Studio安装,安装完成后可以在Lm-Studio加载运行Deepseek R1模型。

在左侧菜单点击Discover后,展示模型列表,进行选择或在输入框输入Deepseek然后进行下载载入模型。

如果网络不好没法加载模型信息,可以在设置开启模型库代理,设置方法如下图,在设置那里勾选Hugging Face Proxy相关选项,代表使用代理连接Hugging Face模型库服务器。

选择需要使用的模型进行下载,模型名称一般都有7B这样的字符,表示该模型是7 billion即70亿参数,参数量越大大模型就越智能,同时文件也越大,且需要的硬件配置也越高,主要是显卡配置需求就越高。文末有硬件参数对照,一般每1B参数需要2-3G显存,你可以根据自己显卡显存估算能使用的模型参数。

安装好模型以后就可以在软件界面进行聊天对话了,下载按钮在下载完成后变成使用模型进行对话,点击按钮即可和大模型对话聊天。

在对话界面进行大模型聊天对话即代表本地大模型安装成功。

英语不好的可以在软件设置里切换为简体中文,点Preferences > Language.进行语言切换,快捷键为苹果系统快捷键,cmd + , on Windows/Linux.系统快捷键 ctrl + ,本文说的是AMD显卡,也就是Windows用户,使用Ctrl+,。

本地运行大模型消耗显卡资源,支持的参数有限,如果显卡跟我一样不是很好那就用在线版本就行了,一般的个人电脑显卡再好也不支持最大参数的模型。

上图是各显卡对应的模型参数量,目前AMD最强显卡也只能是32B的参数,如果你的显卡不在此列,那么可以自行计算,每1B参数需要2-3Gb显存,比如你的显卡是8B显存,那么支持的参数量最多4B,多了就难以支撑。参数太少,效果就差,目前Deepseek最大参数量可选671B参数,个人显卡还是不用想了。

来源:安浪

相关推荐