摘要：基于我们一直使用的AMD EPYC Rome基准系统获得了稳定性能表现 这套初始配置依然出色！设备拥有者现在可以在Q4 671b完整模型上获得4.25-3.5 TPS（每秒令牌数）。完整版16K以上上下文窗口的模型体验远胜精简版，值得投入。纯CPU运行时可同时
好消息：基于我们一直使用的AMD EPYC Rome基准系统获得了稳定性能表现 这套初始配置依然出色！设备拥有者现在可以在Q4 671b完整模型上获得4.25-3.5 TPS（每秒令牌数）。完整版16K以上上下文窗口的模型体验远胜精简版，值得投入。纯CPU运行时可同时运行视觉模型等小型模型。
2024/02/01补充参数：
空载功耗：60W（未接GPU）
满载功耗：260W
当前内存速度：2400（3200可能有性能提升）
若已按我之前的3090四卡指南装机，恭喜你！7702依然强劲。建议升级同价位性能更强的CPU，但本文结果基于7702。MZ32-AR0主板通过16个DDR4 3200内存插槽可轻松实现512GB-1TB内存扩容（注意：不能混用LRDIMM和RDIMM内存！）
(2025年1月29日报价)
总成本约$2000（使用512GB 2400内存和7702时）。建议优先升级7C13/7V13 CPU，其次768GB内存，最后考虑3200内存。
# 安装基础工具sudo apt install -y htop git glances nano# 下载安装Ollamacurl -L -o ollama.tgzsudo tar -C /usr -xzf ollama.tgzsudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama# 服务配置sudo nano /etc/systemd/system/ollama.service# 添加环境变量：Environment=OLLAMA_NUM_PARALLEL=62Environment=OLLAMA_KEEP_ALIVE=3h# 安装dockersudo apt-get install docker-ce# 部署Dockge管理界面sudo mkdir -p /opt/stacks /opt/dockgecd /opt/dockgesudo curl -O docker compose up -d# OpenWEBUI配置version: "3.3"services:open-webui:ports:- 7000:8080image: ghcr.io/open-webui/open-webui:latest完整配置后可实现3.5-4.25 TPS的推理速度。该方案虽需技术调试，但能获得完整版模型的优质体验。后续将推出llama.cpp等框架的优化指南。
本文翻译自https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/?continueFlag=d7f6384b375643a120a8439ff012b5ac
来源：RobinNotes
