低成本抗衡DeepSeek-R1！QwQ-32B本地部署教程：消费级硬件可部署

QwQ-32B是阿里通义千问团队在3月6日发布的开源大模型，这款仅有320亿参数的模型，在数学、代码、通用能力等核心场景里，几乎跟满血版DeepSeek-R1（6710亿参数）不相上下。可以说实现了开源领域的降维打击。

参数规模与性能对标
QwQ-32B仅拥有320亿参数，但在多项基准测试中性能媲美DeepSeek-R1（6710亿参数，激活370亿），甚至在数学推理（AIME24评分79.5 vs. DeepSeek-R1的79.8）、编程能力（LiveCodeBench评分63.4 vs. 65.9）等任务中表现接近或略优48。其性能远超OpenAI的o1-mini及同尺寸蒸馏模型。
轻量化部署优势
该模型支持消费级GPU单卡（如RTX 3090 Ti）或Mac设备本地部署，量化后最低仅需13GB显存（Q4量化版本约20GB），显著降低了运行门槛。例如，苹果M4 Max笔记本可流畅运行，输出速度达30+ token/s。
强化学习驱动
通过多阶段强化学习（RL）技术优化：
- 第一阶段：基于数学准确性验证器和代码执行测试反馈，提升数学与编程能力；
- 第二阶段：引入通用奖励模型增强指令遵循、智能体协作等通用能力，同时保持数学/编程性能稳定。

本地部署教程

此存储库包含 QwQ 32B 模型 ，该模型具有以下特点：

类型：因果语言模型
训练阶段：预训练和后训练（监督微调和强化学习）
架构：具有 RoPE、SwiGLU、RMSNorm 和 Attention QKV 偏置的变压器
参数数量：32.5B
参数数（非嵌入）：31.0B
层数： 64
注意头数（GQA）：Q 为 40 个，KV 为 8 个
上下文长度：完整 131,072 个令牌
- 对于长度超过 8,192 个令牌的提示，您必须启用 YaRN，如本节所述。

1、安装 ollama

运行命令进行安装：

curl -fsSL https://ollama.com/install.sh | sh

设置模型下载地址、开放 ip 及端口：

（可选）如有模型地址更改需求，可用下命令：

export OLLAMA_MODELS=/root/sj-tmp/ollama/models

设置 ip 地址及端口：

export OLLAMA_HOST=0.0.0.0:8080

然后记得通过 vim /root/.bashrc 写入文件

2、运行 ollama

直接运行：

ollama serve

等待运行成功后，可以在另一个终端通过 api 访问：

curl http://127.0.0.1:8080/api/tags

持久运行（后台模式）

如果你需要 ollama 在后台运行，可以使用：

nohup ollama serve > ollama.log 2>&1 &

或者使用 tmux / screen 来保持会话。

3、下载并启动 QWQ 模型

ollama run qwq:32b-fp16

等待下载完成后，可以直接进行对话：

如何 api 调用？

可以使用 PowerShell 或 Python 访问它。

✅ PowerShell

如果你想在 PowerShell 里 调用 ollama run qwq:32b-fp16 进行推理 ：

Invoke-RestMethod -Uri "http://192.168.1.100:8080/api/generate" -Method Post -Body (@{model="ollama run qwq:32b-fp16"; prompt="你好，介绍一下自己"} | ConvertTo-Json -Depth 10) -ContentType "application/json"

✅ Python

如果你想在 Python 里调用 ：

import requests 
import json 
url = "http://127.0.0.1:8080/api/generate" 
data = { 
"model": "qwq:32b-fp16", 
"prompt": "在数学中，3.11 和 3.8 谁大？请给出详细分析。", 
} 
response = requests.post(url, json=data) 
# 存储最终的文本结果 
text_output = "" 
# 逐行解析 JSON 
for line in response.text.strip().split("\n"): 
try: 
json_data = json.loads(line) # 解析每一行 JSON 
if "response" in json_data: 
text_output += json_data["response"] # 拼接文本 
if json_data.get("done", False): # 检查是否完成 
break 
except json.JSONDecodeError as e: 
print("JSON 解析错误:", e) 
print("最终结果:", text_output)