前言
使用AI几乎成为互联网工作者必备技能了,DeepSeek的出现把AI再次推向高潮,在本文中,我们将带领大家借助 Ollama、WebUI 和 deepseek 这三个工具,成功搭建属于自己的本地大模型环境。Ollama 作为一款轻量级的大模型运行工具,为模型在本地的运行提供了坚实的基础;WebUI 则为我们打造了直观便捷的用户交互界面,让操作更加简单易懂;而 deepseek 作为一款优秀的大模型,拥有强大的性能和出色的表现。通过将这三者结合起来,我们能够完成从模型部署到实现交互的完整流程。无论你是经验丰富的技术专家,还是刚刚涉足人工智能领域的新手,都能从本文的详细步骤和讲解中收获知识,顺利踏上本地大模型部署之旅。如果有些网站访问不了,请提前准备好“科学上网哦”
1.下载Ollama
Ollama 是一个开源项目,专注于在本地运行、创建和分享大型语言模型(LLMs)。它支持多种模型,包括 Llama 2、Code Llama 等,适用于文本生成、代码编写等任务。用户可以通过命令行与模型交互,并自定义模型配置。
Ollama下载地址:https://ollama.com/download , 考虑到小白,我这里使用windows版本就好
下载好之后双击 OllamaSetup.exe 安装 ,无脑下一步即可
2.安装大模型
我的登录用户名是Administrator,所以默认的安装地址是 :C:\Users\Administrator\AppData\Local\Programs\Ollama ,我们进入到该目录,然后通过CMD执行
在CMD中安装模型,模型选择地址:https://ollama.com/library/deepseek-r1
我选择了一个体积较小的模型:deepseek-r1:7b ,在 CMD中执行命令 ollama run deepseek-r1:7b
Ollama会把模型安装到 :C:\Users\Administrator.ollama\models 目录,如果想要更换模型的安装目录,那么需要配置环境变量: OLLAMA_MODELS =新的路径,然后通过任务管理器结束ollama进程,重启ollama即可.
如果磁盘不够大那么可以选择小一点的模型。我选择7B(70亿参数).模型的选择可以查看ollama官网.
3.使用模型
安装好之后就可以对大模型提问了,执行 ollama run 模型名字
,比如:
如果本地未安装该模型,那么会进行自动下载.ollama的API接口使用可以查考官网的接口地址:https://github.com/ollama/ollama/blob/main/docs/api.md
4.安装Hyperv
ollama安装好之后是没有可视化界面的,这里我采用在Windows上安装DockerDesk,然后通过Open-WebUI来作为Ollama大模型的可视化界面,安装之前需要先安装Hyperv,
在控制面板-程序和功能-启用或者关闭windows功能中,找到 Hyper-V把它勾上,确定后重启
5.安装DockerDesk
在Docker官网 https:www.docker.com/products/docker-desktop
下载最新版本的Docker Desktop ,如果是低版本的Docker Desktop,那就需要自己手动安装Docker-Compose了
默认情况下会把Docker安装到下面目录:C:\Program Files\Docker , 我们给Docker配置一个环境变量,路径为C:\Program Files\Docker\Docker\resources\bin
,。然后登录DockerDesk,如果没有账号需要先创建账号,根据提示流程走即可
进入DockerDesk界面后,找到设置按钮-DockerEngine配置中指定进行仓库地址为国内,在JSON文件中加上这一段
{"registry-mirrors": ["https://5pfmrxk8.mirror.aliyuncs.com"]
}
这里我使用的是阿里云的镜像仓库,如下:
6.安装Open-WebUI
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,可以完全离线运行。它支持各种 LLM 运行器(如Ollama)和与OpenAI 兼容的 API,并内置RAG 推理引擎,是一款强大的 AI 部署解决方案。
第一步下载WebUI镜像:进入到Docker的Bin目录,C:\Program Files\Docker\Docker\resources\bin 使用CMD执行
C:\Program Files\Docker\Docker\resources\bin>docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这条命令将会拉取最新的 Open WebUI 镜像,并将其映射到主机的 3000 端口上,还设置了持久化存储路径以及自动重启策略。
安装完成后,在浏览器中访问http://localhost:3000,首次访问时建议创建一个管理员账户,之后就可以根据具体需求选择相应的模型进行使用了
7.配置 DeepSeek
在 Open Web UI 的设置中,找到模型提供方的选项,选择 “Ollama”,在模型列表中,选择已安装的 DeepSeek 模型(如 deepseek-r1:7b)
文章结束,如果文章对你有帮助不要吝啬你的三连哦