ollama部署

1.下载 Ollama

访问 Download Ollama on macOS，下载对应系统 Ollama 客户端。

对于linux系统，

curl -fsSL https://ollama.com/install.sh | sh

2.镜像容器安装

如果不想在本地环境安装，可以基于镜像启动容器部署。

参考网址：https://hub.docker.com/r/ollama/ollama

docker run  --privileged  -d --gpus=all -v /data/1xiu/projects/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

其中： --gpus=all 指定gpu执行；

           --privileged开启权限

           -v 定义映射路径，方便进行模型管理

访问：http://127.0.0.1:11434/，返回 Ollama is running，说明安装成功

3.加载模型

可以进入到容器内部执行相关命令

Usage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

例如：加载qwen2.5 32b量化版模型：

 ollama run qwen2.5-coder:32b-instruct-q3_K_S

也可以不进入到容器中，执行下面的命令：

docker exec -it ollama  ollama run qwen2.5-coder:32b-instruct-q3_K_S

4.部署前端open-webui

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

docker run --privileged  -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v /data/1xiu/projects/ollama:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

容器构建之后，打开浏览器，http://localhost:3000

可以选择不同的模型，进行对话。