Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,旨在完全离线运行。它支持各种 LLM 运行器,如 Ollama 和 OpenAI 兼容的 API,并内置了 RAG 推理引擎,使其成为强大的 AI 部署解决方案。
1.docker拉取镜像
(1)如果 Ollama 在您的计算机上,请使用以下命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
(2)如果 Ollama 位于其他服务器上,请使用以下命令
docker run -d -p 3000:8080 -e 【OLLAMA_BASE_URL=https://example.com】 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
——————————
注意:要连接到另一台服务器上的 Ollama,请将OLLAMA_BASE_URL 更改为服务器的 URL:例如是http://10.30.45.47
——————————
(3)要运行支持 Nvidia GPU 的 Open WebUI,请使用以下命令
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
——————————————————
我的机器符合(3)的条件,拉取成功截图如下
对于Docker 无法找到合适的设备驱动程序来支持 GPU这个问题解决如下:
(1)确保安装了 NVIDIA 驱动
nvidia-smi
安装驱动的截图如下
(2)安装 NVIDIA Container Toolkit
如果是其他系统的话,选择合适安装命令去看官网指导说明
配置生产存储库:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
配置成功截图
从存储库更新软件包列表:
sudo apt-get update
更新成功如下
安装 NVIDIA Container Toolkit 软件包:
sudo apt-get install -y nvidia-container-toolkit
安装成功截图
重启docker生效设置
sudo systemctl restart docker
确保所有依赖项都已安装后,再次运行你的 Docker 命令
为了保险起见重新运行容器,需要删除原有的容器,【】里面是容器ID
docker rm -f 【a529094ccd1564f84244d7716de7f657b0e006c5149665b6d8b78e0667b47981】
再次运行docker run 命令
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
成功如下截图
————————————————
2.启动Open WebUI服务器
docker logs open-webui
启动成功截图如下
3.访问Open WebUI
打开浏览器输入:http://【服务器IP】:3000
4.登录Open WebUI界面后空白很长时间才能反应过来
解决如下:
设置-》管理员设置-》外部连接-》OpenAI-》关闭 即可
5.测试正常问答
到此,docker部署Open WebUI+Ollama就结束了!