摘要:如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!
如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!
最近 DeepSeek 狠狠刷了一波屏,国产大模型真的越来越厉害了,官方的服务器已经爆满了,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前 ChatGPT 的遭遇颇为相似。
我已经好久没有本地部署模型了(现在各厂商的模型都便宜量大),这次正好来试试 DeepSeek 开源模型的效果。
我是在 Linux 服务器上安装的,一行命令就可以。如果是 Windows 的话,可能是下载安装包就行。
curl -fsSL https://ollama.com/install.sh | sh我安装的时候似乎遇到网络问题,改成先下载
wget https://ollama.com/install.sh然后手动执行安装,就可以了
sh ./install.shollama 安装后默认监听 127.0.0.1, 为了方便使用,要么修改监听地址,要么用 ssh 转发,这里我选择了修改地址
sudo systemctl edit ollama它会自动在 /etc/systemd/system/ollama.service.d/override.conf 中存储你添加或修改的配置。在里面添加配置
[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"即可覆盖主服务文件里对 OLLAMA_HOST 的设置,其他环境变量(如 PATH 等)则仍保留主服务文件里的值。
先重启以下
sudo systemctl daemon-reloadsudo systemctl restart ollama然后执行以下命令验证
sudo systemctl show ollama | grep Environment你会看到系统最终为该服务设置的所有环境变量。其中如果存在同名变量,就会以最后写入(即 override 配置)的值为准。
https://ollama.com/search?q = deepseek
目前最火的 DeepSeek-R1 排在显眼位置
这里根据显存选择合适的模型,我选了 14b 的模型
右侧有安装命令,点击按钮复制
安装接着执行命令
ollama run deepseek-r1:14b开始下载,14b 的模型大小是 9GB
使用在命令行可以直接使用
conda create -n open-webui python=3.11切换环境
conda activate open-webui安装
pip install open-webui启动
open-webui servedocker官方只提供了 docker 命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main我改成了 docker-compose 配置
services:open-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: open-webuirestart: alwaysports:- "3000:8080"extra_hosts:- "host.docker.internal:host-gateway"volumes:- "./open-webui:/app/backend/data"SSH 转发ssh -L 3000:localhost:3000 用户名@服务器地址 -p 端口很简单,第一次打开会需要创建管理员账号
进入之后界面与 ChatGPT 有点相似
和 DeepSeek 模型对话,这个14b的模型就感觉效果已经不错了,如果完整版模型就更好,真的未来可期啊!
来源:IT技术资源爱好者