欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 健康 > 养生 > 双3060、Ubuntu22.04、cuda12.8安装deepseek 32b-Q8

双3060、Ubuntu22.04、cuda12.8安装deepseek 32b-Q8

2025/3/18 13:21:14 来源:https://blog.csdn.net/shaken/article/details/146261733  浏览:    关键词:双3060、Ubuntu22.04、cuda12.8安装deepseek 32b-Q8

以下是针对双RTX 3060显卡(12GB显存)在Ubuntu 22.04系统部署DeepSeek-R1-32b-qwen-distill-q8模型的完整流程,结合最新技术规范与魔塔社区资源:


一、驱动与CUDA环境配置

1. 禁用开源驱动
 

bash

sudo tee /etc/modprobe.d/blacklist-nouveau.conf <<< "blacklist nouveau
options nouveau modeset=0"
sudo update-initramfs -u && sudo reboot  # 参考网页2的驱动管理方法
2. 安装NVIDIA驱动570.57(适配CUDA 12.8)
 

bash

wget https://us.download.nvidia.com/XFree86/Linux-x86_64/570.57/NVIDIA-Linux-x86_64-570.57.run
sudo chmod +x NVIDIA-Linux-x86_64-570.57.run
sudo ./NVIDIA-Linux-x86_64-570.57.run --silent --no-opengl-files
sudo reboot

验证驱动:nvidia-smi应显示驱动版本570.57且双卡在线

3. 安装CUDA 12.8
bash
wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda_12.8.0_555.51_linux.run
sudo sh cuda_12.8.0_555.51_linux.run  # 取消勾选Driver选项
bash
echo 'export PATH=/usr/local/cuda-12.8/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

二、Python环境与PyTorch安装

1. 安装Python 3.10
bash
sudo apt update && sudo apt install python3.10 python3.10-venv
python3.10 -m venv ~/deepseek-env
source ~/deepseek-env/bin/activate
2. 安装PyTorch 2.3.1(适配CUDA 12.8)(这里使用了官方nightly编译版本,方法到官网复制)
bash
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128

版本对应关系:CUDA 12.8 + 驱动570.57 → PyTorch 2.3.1+cu121

2

3


三、llama.cpp服务端部署

1. 获取源码(不使用git clone)

bash

wget https://github.com/ggerganov/llama.cpp/archive/refs/tags/b3117.tar.gz
tar -zxvf llama.cpp.tar.gz && cd llama.cpp-b3117
2. CMake编译双显卡优化版本

bash

mkdir build && cd build
cmake .. -DLLAMA_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_NVCC_FLAGS="--use_fast_math" -DLLAMA_AVX2=ON
cmake --build . --config Release -j $(nproc)  # 参考网页3的编译优化思路

关键参数说明:

  • -DLLAMA_CUDA=ON:替代已弃用的CUBLAS参数
  • -DCMAKE_CUDA_ARCHITECTURES=86:适配RTX 3060的Ampere架构
  • -DLLAMA_NVCC_FLAGS:启用快速数学优化

四、模型下载与部署

1. 魔塔社区下载地址
魔搭社区

bash

wget https://www.modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF/resolve/master/DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf

注:需登录魔塔社区

1

3

2. 模型存放

bash

mkdir -p ~/models && mv deepseek-r1-32b-qwen-distill.Q8_0.gguf ~/models/

五、双显卡API服务配置

1. 启动命令

bash

./server -m ~/models/deepseek-r1-32b-qwen-distill.Q8_0.gguf \--host 0.0.0.0 --port 11434 \--n-gpu-layers 99 \             # 全量GPU计算层--tensor-split 11,11 \          # 显存分配(每卡11GB)--parallel 2 \                  # 双卡张量并行--main-gpu 0 \                  # 主卡ID--ctx-size 4096 \--mlock \--flash-attn \--batch-size 512
2. 性能优化技巧
  • 显存分配:根据网页3建议,实际可用显存=总显存-2GB系统保留
  • PCIe带宽优化sudo nvidia-smi -i 0,1 -pm 1保持高性能模式

    2

  • 冷启动加速:添加--preload参数预加载模型至显存

    1


六、服务验证

bash

# GPU利用率监控
nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv -l 2# API压力测试
curl http://localhost:11434/v1/completions \-H "Content-Type: application/json" \-d '{"prompt": "如何优化双显卡的深度学习推理性能?", "max_tokens": 500}'

版本兼容性矩阵

组件版本适配说明
NVIDIA驱动570.57CUDA 12.8最低要求
CUDA12.8.0需驱动≥570
PyTorch2.3.1+cu121通过cu121后缀兼容
llama.cppb3117支持张量并行

常见问题处理

  1. 显存不足:降低--tensor-split值(如10,10),或减少--ctx-size至2048
  2. 模型加载失败:使用md5sum校验模型文件,魔塔社区提供完整校验码
  3. 多卡未启用:检查PCIe连接状态,建议使用PCIe 4.0 x16插

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词