Ubuntu通过Ollama部署deepseek和千问

2025/3/13 6:24:05 来源：https://blog.csdn.net/jianglovehong/article/details/146152697 浏览: 次关键词：Ubuntu通过Ollama部署deepseek和千问

一、准备文件

本地服务器是Ubuntu20.04，输入命令uname -a即可查看

部署方式有多样，点击Ollama访问官网

可复制命令直接粘贴下载，但是过程比较慢，所以我推荐下面这种方式

从githubReleases · ollama/ollama · GitHub上下载ollama的tar包进行解压，如图

二、安装Ollama

如果系统是x86_64的就选择amd64,下载完成后传到服务器上面进行解压，输入命令

sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local

然后进行赋权

sudo chmod +x /usr/local/bin/ollama

添加ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

创建service文件（方便后面启动服务）

sudo vim /etc/systemd/system/ollama.service

service文件内容如下

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

加载守护进程

sudo systemctl daemon-reload

启用

sudo systemctl enable ollama

验证

ollama -v

三、下载模型

1、deepseek

Ollama官网搜索deepseek r1

或者输入命令下载你想要的模型

ollama pull deepseek-r1:7bollama pull deepseek-r1:8bollama pull deepseek-r1:14bollama pull deepseek-r1:32bollama pull deepseek-r1:70bollama pull deepseek-r1:671b

等待下载，如果到后面下载慢的话ctrl +c结束然后在继续下载速度就会变快