欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 财经 > 产业 > 如何手动使用下载并且运行 QwQ-32B-GGUF

如何手动使用下载并且运行 QwQ-32B-GGUF

2025/3/15 23:05:14 来源:https://blog.csdn.net/junming4/article/details/146253562  浏览:    关键词:如何手动使用下载并且运行 QwQ-32B-GGUF

首先使用安装

pip install ModelScope

使用 ModelScope 下载对应的模型

modelScope download --model Qwen/QwQ-32B-GGUF qwq-32b-q4_k_m.gguf

第二步开始下载 ollama

git clone https://githubfast.com/ggerganov/llama.cpp # githubfast.com 可以加速下载

切换到目录,并且新增编译目录

mkdir build 
cd build 

开始设置编译,根据不同的系统架构可以选择不同的编译指令

cd build 
# CPU 编译
cmake .. -DCMAKE_BUILD_TYPE=Release# NVIDIA GPU 加速:
cmake .. -DCMAKE_BUILD_TYPE=Release -DLLAMA_CUDA=ON
# Apple Silicon 加速:
cmake .. -DCMAKE_BUILD_TYPE=Release -DLLAMA_METAL=ON

开始编译

 make -j$(nproc)

查询是否编译成功

# 查询是否编译成功,存在表示编译成功
ls -lh bin/llama-run

存在表示成功

可以运行模型

./bin/llama-run /mnt/workspace/.cache/modelscope/models/Qwen/QwQ-32B-GGUF/qwq-32b-q4_k_m.gguf

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词