欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 新车 > 低成本抗衡DeepSeek-R1!QwQ-32B本地部署教程:消费级硬件可部署

低成本抗衡DeepSeek-R1!QwQ-32B本地部署教程:消费级硬件可部署

2025/3/17 6:42:41 来源:https://blog.csdn.net/SJJS_1/article/details/146237705  浏览:    关键词:低成本抗衡DeepSeek-R1!QwQ-32B本地部署教程:消费级硬件可部署

QwQ-32B是阿里通义千问团队在3月6日发布的开源大模型,这款仅有320亿参数的模型,在数学、代码、通用能力等核心场景里,几乎跟满血版DeepSeek-R1(6710亿参数)不相上下。可以说实现了开源领域的降维打击。

  1. 参数规模与性能对标
    QwQ-32B仅拥有320亿参数,但在多项基准测试中性能媲美DeepSeek-R1(6710亿参数,激活370亿),甚至在数学推理(AIME24评分79.5 vs. DeepSeek-R1的79.8)、编程能力(LiveCodeBench评分63.4 vs. 65.9)等任务中表现接近或略优48。其性能远超OpenAI的o1-mini及同尺寸蒸馏模型。

  2. 轻量化部署优势
    该模型支持消费级GPU单卡(如RTX 3090 Ti)或Mac设备本地部署,量化后最低仅需13GB显存(Q4量化版本约20GB),显著降低了运行门槛。例如,苹果M4 Max笔记本可流畅运行,输出速度达30+ token/s。

  3. 强化学习驱动
    通过多阶段强化学习(RL)技术优化:

    • 第一阶段:基于数学准确性验证器和代码执行测试反馈,提升数学与编程能力;

    • 第二阶段:引入通用奖励模型增强指令遵循、智能体协作等通用能力,同时保持数学/编程性能稳定。

image.png

本地部署教程

此存储库包含 QwQ 32B 模型 ,该模型具有以下特点:

  • 类型: 因果语言模型
  • 训练阶段:预训练和后训练(监督微调和强化学习)
  • 架构:具有 RoPE、SwiGLU、RMSNorm 和 Attention QKV 偏置的变压器
  • 参数数量:32.5B
  • 参数数(非嵌入):31.0B
  • 层数: 64
  • 注意头数 (GQA):Q 为 40 个,KV 为 8 个
  • 上下文长度:完整 131,072 个令牌
    • 对于长度超过 8,192 个令牌的提示,您必须启用 YaRN,如本节所述。

1、安装 ollama

运行命令进行安装:

curl -fsSL https://ollama.com/install.sh | sh

设置模型下载地址、开放 ip 及端口:

(可选)如有模型地址更改需求,可用下命令:

export OLLAMA_MODELS=/root/sj-tmp/ollama/models

设置 ip 地址及端口:

export OLLAMA_HOST=0.0.0.0:8080

然后记得通过 vim /root/.bashrc 写入文件

2、运行 ollama

直接运行:

ollama serve

等待运行成功后,可以在另一个终端通过 api 访问:

curl http://127.0.0.1:8080/api/tags

持久运行(后台模式)

如果你需要 ollama 在后台运行,可以使用:

nohup ollama serve > ollama.log 2>&1 &

或者使用 tmux / screen 来保持会话。

3、下载并启动 QWQ 模型

ollama run qwq:32b-fp16

等待下载完成后,可以直接进行对话:

image.png

如何 api 调用?

可以使用 PowerShell 或 Python 访问它。

✅ PowerShell

如果你想在 PowerShell 里 调用 ollama run qwq:32b-fp16 进行推理 :

Invoke-RestMethod -Uri "http://192.168.1.100:8080/api/generate" -Method Post -Body (@{model="ollama run qwq:32b-fp16"; prompt="你好,介绍一下自己"} | ConvertTo-Json -Depth 10) -ContentType "application/json"

✅ Python

如果你想在 Python 里调用 :

import requests 
import json 
url = "http://127.0.0.1:8080/api/generate" 
data = { 
"model": "qwq:32b-fp16", 
"prompt": "在数学中,3.11 和 3.8 谁大?请给出详细分析。", 
} 
response = requests.post(url, json=data) 
# 存储最终的文本结果 
text_output = "" 
# 逐行解析 JSON 
for line in response.text.strip().split("\n"): 
try: 
json_data = json.loads(line) # 解析每一行 JSON 
if "response" in json_data: 
text_output += json_data["response"] # 拼接文本 
if json_data.get("done", False): # 检查是否完成 
break 
except json.JSONDecodeError as e: 
print("JSON 解析错误:", e) 
print("最终结果:", text_output) 

4、下载 open webui 界面

通过 Python pip 🐍 安装
Open WebUI 可以使用 Python 包安装程序 pip 进行安装。在继续之前,请确保您使用的是 Python 3.11 以避免兼容性问题。

(1)安装 Open WebUI: 打开终端并运行以下命令以安装 Open WebUI:

pip install open-webui

运行 Open WebUI: 安装后,您可以通过执行以下命令来启动 Open WebUI:

open-webui serve

等待服务启动之后,可以看到出现 0.0.0.0:8080 的地址,这时我们只需在平台开放端口即可进行访问 open webui 界面

image.png

第一次使用需要进行注册账号:

image.png

首次登录需要等待一会儿,进入以后界面如下:

image.png

注:如果忘记账号密码导致无法登入界面,可以删除账号信息,选择重新注册:

(1)点击文件管理,输入 /root/miniconda3/lib/python3.11/site-packages/open_webui/data/ 的路径并进入

(2)删除下面 webui.db 这个文件,然后重新启动即可

image.png

5、管理 Ollama 实例

正常情况下,进入 open webui 界面中就能自动获取模型,如果没有可以按照下面操作进行:

要在 Open WebUI 中管理您的 Ollama 实例,请执行以下步骤:

  1. 转到 Open WebUI 中的 管理员设置 。

    image.png

     

    image.png

  2. 导航到 Connections > Ollama > Manage (单击下载图标)。
    在这里,您可以下载模型、配置设置并管理与 Ollama 的连接。

管理屏幕如下所示:

image.png

image.png

然后返回对话界面即可进行对话:

image.png

还有快速有效的模型下载方式

可以直接从 Model Selector 下载模型。只需输入想要的模型的名称,如果它还不可用,Open WebUI 将提示从 Ollama 下载它。

下面是一个工作原理示例:

Ollama 下载提示

如果想跳过 Admin Settings 菜单的导航,直接使用的模型,则此方法非常理想。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词