1. 安装ollama
1.1. linux 安装
Ollama是目前常用的AI模式部署的第三方工具,能一键部署deepSeek
Ollama官方网址https://ollama.com/ 选择Download下载对应的服务版本
服务器选择Linux,下面是下载代码
curl -fsSL https://ollama.com/install.sh | sh
1.2. docker安装
官网的下载链接几乎下载不了,所以使用docker下载,需要搭建docker环境
docker快速安装https://blog.csdn.net/duomu_DAT/article/details/140458392Ollama官方github,docker下载
https://github.com/ollama/ollama/blob/main/docs/docker.md
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
2. 启动DeepSeek-r1
DeepSeek的模块下载,在Ollama官网的Models就有对应的DeepSeek模型
Ollama的模型下载https://ollama.com/library/deepseek-r1 DeepSeek-r1有6个蒸馏版本和一个满血版本,个人尝试了如果没有显卡的服务器,只能运行1.5b的模型
# linux本地启动命令
ollama run deepseek-r1:1.5b# docker启动命令
# 先通过Docker启动Ollama,再启动DeepSeek模型
docker exec -it ollama ollama run deepseek-r1:1.5b
启动成功,会出现对话框,部署DeepSeek就完成了
3. 部署open-webui
Open WebUI 是一个可扩展的、功能丰富、用户友好的自托管 AI 平台,专为完全离线运行而设计。 它支持多种 LLM 运行环境,包括 Ollama 和 OpenAI 兼容的 API,并内置了用于 RAG 的推理引擎,是一个强大的 AI 部署解决方案
open-webui的github
https://github.com/open-webui/open-webuiopen-webui的说明文档
https://openwebui-doc-zh.pages.dev/getting-started/quick-start/ 通docker命令直接启动,下面额外添加了两个环境变量
OLLAMA_BASE_URL:是你启动的ollama服务器ip,一般是本地ip127.0.0.1
ENABLE_OPENAI_API:是open-ai的请求接口,这个是默认开启,需要关闭,否则open-webui每一次请求都会去访问open-ai的地址,导致页面加载不了
docker run -d -p 3000:8080 \-v open-webui:/app/backend/data \-e OLLAMA_BASE_URL=http://<you.ip>:11434 \-e ENABLE_OPENAI_API=False \--name open-webui \--restart always ghcr.io/open-webui/open-webui:main
启动成功后,就可以通过 "ip:3000" 进行访问
3. 注意问题
如果是在云服务上部署,需要额外的注意两个问题:
第一个是端口的问题,云服务器默认的端口都是关闭的,需要手动开启
第二个是docker启动不成功,通过docker logs <id>,就可以查询对应的错误