Ollama介绍
Ollama是一款简单好用的模型部署工具,不仅可以部署DeepSeek,市面上开源模型大部分都可以一键部署,这里以DeepSeek为例
官网
DeepSeek
版本硬件要求
安装Ollama
环境
sudo apt update
sudo apt install curl
sudo apt install lsof
1.命令一键安装
在官网点击下载可以看到推荐的就是命令安装,根据需要选择系统版本
但是由于是外网地址会下载的非常慢,如果网络环境支持,首选命令行安装,简单方便
curl -fsSL https://ollama.com/install.sh | sh
2.压缩包安装
在网络环境不允许,或者下载太慢的情况下,可以选择压缩包安装
压缩包安装需要注意会有一些坑,命令行直接安装会自动匹配,不需要考虑架构问题
这里主要以linux系统为例子,系统架构会有很多版本主要 X86,ARM等等
这里需要先通过命令查看自己的系统架构版本
参考官方文档
sudo uname -m
我这里就是arm的架构
arm版本下载路径
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
amd /x86 版本
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
上面得解压路径一般官方文档是放在usr/bin ,amd版本一般放在/usr/local/bin 根据自己情况解压
解压之后可以在对应得路径看到一个ollama启动器文件
命令后台启动
/usr/bin/ollama serve &
启动报错可能是端口冲突,查看端口占用
sudo lsof -i :11434
kill -9 1234
编写自启动脚本
sudo vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
[Install]
WantedBy=multi-user.target
如果没有ollama用户则创建用户
sudo groupadd -r ollama
sudo useradd -r -g ollama -s /sbin/nologin ollama
sudo mkdir -p /home/ollama/.ollama
sudo chown -R ollama:ollama /home/ollama/.ollama
重新加载 Systemd 配置
sudo systemctl daemon-reload
启用 Ollama 服务自启动
sudo systemctl enable ollama.service
启动/停止.重启 Ollama 服务
sudo systemctl start ollama.service
sudo systemctl stop ollama.service
sudo systemctl restart ollama.service
检查 Ollama 服务状态
sudo systemctl status ollama.service
查看最近的日志输出
sudo journalctl -u ollama.service
重启系统以验证自启动
sudo reboot
下载DeepSeek模型并启动
官网上不止有DeepSeek模型,市面上大部分开源模型都可以一键安装,这里只是以DeepSeek为例
选择想要部署的版本,复制对应的命令
版本命令
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b
下载完成后会自动进入会话模式
ollama 常用命令
ollama --help #查看帮助信息。
ollama serve #启动 ollama 服务。
ollama create <model-name> [-f Modelfile] #根据一个 Modelfile 文件导入模型。
ollama show <model-name:[size]> #显示某个模型的详细信息。
ollama run <model-name:[size]> #运行一个模型。若模型不存在会先拉取它。
ollama stop <model-name:[size]> #停止一个正在运行的模型。
ollama pull <model-name:[size]> #拉取指定的模型。
ollama push <model-name> #将一个模型推送到远程模型仓库。
ollama list #列出所有模型。
ollama ps #列出所有正在运行的模型。
ollama cp <source-model-name> <new-model-name> #复制一个模型。
ollama rm <model-name:[size]> #删除一个模型。
Docker容器安装部署 Open-Webui
之所以选择Docker安装open-Webui,是因为简单方便.
除了Docker环境也可以通过编译的方式部署,但是过于复杂,各种环境需要安装Python3,ngode,js 等等一大堆,
Open-Webui官网
安装Docker容器
1.更新软件包
sudo apt update
sudo apt upgrade
2.安装依赖
sudo apt-get install ca - certificates curl gnupg lsb - release
3.添加 Docker 官方 GPG 密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
4.添加 Docker 软件源
echo "deb [arch=$(dpkg --print - architecture) signed - by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
5.将当前用户添加到 docker 组
sudo usermod -aG docker $USER
6.安装 Docker
sudo apt - get install docker - ce docker - ce - cli containerd.io
7.启动 Docker
sudo systemctl start docker
8.验证 Docker 是否安装成功
sudo docker run hello - world
部署 Open-WebUI
1.拉取 Open WebUI 镜像
sudo docker pull ghcr.io/open - webui/open - webui:main
2.创建open-WebUi容器并运行
sudo docker run -d --name open-webui --restart always -e OLLAMA_BASE_URL=http://10.1.18.122:11434 -v open-webui:/app/backend/data -p 3000:8080 ghcr.io/open-webui/open-webui:main
安装完成后OpenWebUI会自动连接已经运行的ollama服务中的DeepSeek服务
注意:
拉取open-webui镜像时可能会超时报错报错,以为官方地址是外网的
可以切换为国内镜像源
sudo vi /etc/docker/daemon.json
在文件中添加下面的配置
{"registry-mirrors": ["https://hub-mirror.c.163.com", "https://mirror.baidubce.com"]
}
重启docker服务
sudo systemctl restart docker
完毕!
