1 概述
本文介绍在一台机器上快速部署测试ollama和openwebui，免去国内网络环境的干扰。
2 环境
2.1 环境
版本信息如下：
a、操作系统：centos 7.9
c、docker版本：20.10.5-3
3 部署
3.1 安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2
yum install yum-utils -y
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum list docker-ce --showduplicates
yum install docker-ce-cli-20.10.5-3.el7 docker-ce-20.10.5-3.el7 -ymkdir -p /etc/docker
cat > /etc/docker/daemon.json << EOF
{"max-concurrent-downloads": 10,"log-driver": "json-file","log-level": "warn","log-opts": {"max-size": "100m","max-file": "3"},"live-restore": true,"exec-opts": ["native.cgroupdriver=systemd"]
}
EOFsystemctl daemon-reload
systemctl enable docker
systemctl restart docker
3.2 部署ollama v0.5.7
获取ollama二进制文件：
docker run --rm -v /tmp:/mnt swr.cn-south-1.myhuaweicloud.com/migrator/ollama-bin:0.5.7 cp /ollama /mnt
mv /tmp/ollama /usr/bin/
ollama -v
将ollama纳入systemd管理：
cat > /etc/systemd/system/ollama.service << EOF
[Unit]
Description=Ollama Service
After=network-online.target[Service]
Environment="HOME=/root"
ExecStart=/usr/bin/ollama serve
Restart=always
RestartSec=3[Install]
WantedBy=default.target
EOF
启动ollama并开启自启动：
systemctl enable ollama
systemctl start ollama
systemctl status ollama
ollama服务监听在lo网卡上。
3.2 部署open webui
通过构建好的open webui镜像来启动服务，免去build过程（时间很长导致容器几分钟都不能就绪）。
docker run -d --name webui --net=host -e OLLAMA_BASE_URL=http://localhost:11434 -e HF_ENDPOINT=https://hf-mirror.com -e OPENAI_API_KEY=None -e OPENAI_API_BASE_URL=None swr.cn-south-1.myhuaweicloud.com/migrator/open-webui:main-done
openwebui监听在宿主机的8080端口，在浏览器上访问该端口即可。
4 小结
本文介绍在一台机器上快速测试ollama和openwebui，ollama二进制文件是从容器镜像中获取，消除了官方文档脚本从外国服务器拉取文件的过程。openwebui的镜像是经过前端构建的，免去第一次启动时的build过程（国内环境会导致容器长时间不就绪）。
)
