摘要：以下是一篇关于本地部署 DeepSeek 的图文教程，DeepSeek 包含 DeepSeek Coder 代码模型和 DeepSeek Chat 对话模型，这里以 DeepSeek Coder 为例进行说明，部署环境为 Linux 系统，使用 GPU 加速推
以下是一篇关于本地部署 DeepSeek 的图文教程，DeepSeek 包含 DeepSeek Coder 代码模型和 DeepSeek Chat 对话模型，这里以 DeepSeek Coder 为例进行说明，部署环境为 Linux 系统，使用 GPU 加速推理。
硬件：NVIDIA GPU（建议显存 16GB 及以上），如 NVIDIA A10、V100 等。软件：操作系统：Ubuntu 20.04 及以上。CUDA：版本 11.3 及以上。Python：版本 3.8 及以上。Git打开终端，更新系统软件包列表：收起
bash
sudo apt update安装 CUDA 相关依赖和其他必要工具：收起
bash
sudo apt install build-essential python3-dev python3-pip libnvidia-common- libcudnn8 libcudnn8-dev注意： 需要替换为你实际安装的 CUDA 版本，如 525。
3. 安装 Python 依赖库：
收起
bash
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118pip install transformers accelerate bitsandbytes sentencepiece在终端中执行以下命令克隆 DeepSeek Coder 的代码仓库：
收起
bash
git clone https://github.com/deepseek-ai/DeepSeek-Coder.gitcd DeepSeek-Coder你可以从 Hugging Face 上下载 DeepSeek Coder 的模型权重，以 deepseek-coder-6.7b-base 为例：
收起
python
from transformers import AutoModelForCausalLM, AutoTokenizerimport torchmodel_path = "deepseek-ai/deepseek-coder-6.7b-base"tokenizer = AutoTokenizer.from_pretrained(model_path)model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")以下是一个简单的推理示例代码：
input_text = "def hello_world:"inputs = tokenizer(input_text, return_tensors="pt").to(model.device)outputs = model.generate(**inputs, max_new_tokens=128)print(tokenizer.decode(outputs[0], skip_special_tokens=True))如果终端输出了基于输入代码生成的代码内容，说明 DeepSeek Coder 本地部署成功。
模型权重较大，下载可能需要较长时间，请确保网络稳定。如果显存不足，可以尝试使用 bitsandbytes 库进行 8 位或 4 位量化推理。例如，在加载模型时添加 load_in_8bit=True 或 load_in_4bit=True 参数。以上教程详细介绍了如何在本地部署 DeepSeek Coder 模型，通过上述步骤你可以在自己的环境中使用该模型进行代码生成。如果要部署 DeepSeek Chat 模型，步骤类似，只需将模型路径替换为相应的 Chat 模型路径即可。
来源：哈eye看看一点号
免责声明：本站系转载，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本站联系，我们将在第一时间删除内容!