Docker基于Ollama本地部署大语言模型

一、Ollama介绍

Ollama 是一个开源的大型语言模型（LLM）平台，旨在简化大型语言模型在本地环境中的运行、管理和交互。通过Ollama，用户可以轻松加载和使用各种预训练的语言模型，执行诸如文本生成、翻译、代码编写、问答等多种自然语言处理任务。本文将详细介绍如何使用Ollama和Docker在本地部署大型语言模型。

二、Ollama安装

2.1、拉取镜像

我们将使用Docker容器来安装Ollama。首先，从华为云的镜像仓库拉取Ollama镜像：

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama:rocm

在这里插入图片描述

2.2、运行容器

接下来，运行我们刚刚拉取的镜像，并将容器的11434端口映射到主机的11434端口。为了简化操作，这里不进行磁盘卷挂载。

docker run -d -p 11434:11434 --name ollama swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama

在这里插入图片描述

运行成功后，可以通过访问localhost:11434来确认Ollama是否成功运行。

在这里插入图片描述

三、模型部署

我们可以使用Ollama指令直接下载并运行大型语言模型。这里，我们将演示如何使用GGUF文件加载阿里开源的Qwen2模型。

首先，从以下地址下载Qwen2模型：

Qwen2下载地址

下载完成后，将模型文件拷贝到Docker容器中

docker cp Qwen2-0.5B.Q3_K_M.gguf ollama:/

在拷贝的目录下创建Modelfile文件

docker exec -it ollama bash
vim Modelfile

在文件中指定gguf文件的地址

FROM ./Qwen2-0.5B.Q3_K_M.gguf

开始创建模型

ollama create qwen2 -f Modelfile

在这里插入图片描述

模型创建成功后，我们可以使用Ollama来管理模型，类似于Docker管理容器镜像。以下是一些常用的Ollama命令：

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息
ollama ps            #查看运行的模型
ollama list          #查看模型列表

运行我们创建的模型，进入会话终端。虽然模型运行成功，但效果可能不太理想（可能是模型文件的问题）。不过，这已经证明了我们在本地成功部署了Qwen2大型语言模型。

ollama run qwen2

在这里插入图片描述

四、API接口调用

既然我们已经本地成功部署运行了大模型，现在我们使用python通过ollama的API接口来调用大模型。

4.1、本地调用

在本地环境中，我们可以使用Python中的Ollama模块来调用模型。首先，安装Ollama模块：

pip install ollama

from ollama import chat
from ollama import ChatResponseresponse = chat(model='qwen2', messages=[{'role': 'user','content': '屁的化学成分是什么？',},
])
print(response['message']['content'])
print(response.message.content)

在这里插入图片描述

OK，这个结果就还行。

4.2、IP地址调用

在实际应用中，我们通常会将模型部署在云服务器上，并通过API接口发送HTTP请求来调用模型。以下是使用Python通过IP地址调用模型的示例代码：

import requestsurl = "http://localhost:11434/api/generate"
data = {"model": "qwen2","prompt": "屁是由什么组成的？","stream": False
}
response = requests.post(url, json=data)
data = response.json()
print(data["response"])