欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 新车 > Ollama+WebUI+DeepSeek部署自己的本地大模型

Ollama+WebUI+DeepSeek部署自己的本地大模型

2025/2/13 13:33:36 来源:https://blog.csdn.net/u014494148/article/details/145484048  浏览:    关键词:Ollama+WebUI+DeepSeek部署自己的本地大模型

前言

使用AI几乎成为互联网工作者必备技能了,DeepSeek的出现把AI再次推向高潮,在本文中,我们将带领大家借助 Ollama、WebUI 和 deepseek 这三个工具,成功搭建属于自己的本地大模型环境。Ollama 作为一款轻量级的大模型运行工具,为模型在本地的运行提供了坚实的基础;WebUI 则为我们打造了直观便捷的用户交互界面,让操作更加简单易懂;而 deepseek 作为一款优秀的大模型,拥有强大的性能和出色的表现。通过将这三者结合起来,我们能够完成从模型部署到实现交互的完整流程。无论你是经验丰富的技术专家,还是刚刚涉足人工智能领域的新手,都能从本文的详细步骤和讲解中收获知识,顺利踏上本地大模型部署之旅。如果有些网站访问不了,请提前准备好“科学上网哦”

1.下载Ollama

Ollama 是一个开源项目,专注于在本地运行、创建和分享大型语言模型(LLMs)。它支持多种模型,包括 Llama 2、Code Llama 等,适用于文本生成、代码编写等任务。用户可以通过命令行与模型交互,并自定义模型配置。

Ollama下载地址:https://ollama.com/download , 考虑到小白,我这里使用windows版本就好
在这里插入图片描述
下载好之后双击 OllamaSetup.exe 安装 ,无脑下一步即可
在这里插入图片描述

2.安装大模型

我的登录用户名是Administrator,所以默认的安装地址是 :C:\Users\Administrator\AppData\Local\Programs\Ollama ,我们进入到该目录,然后通过CMD执行
在这里插入图片描述
在CMD中安装模型,模型选择地址:https://ollama.com/library/deepseek-r1
在这里插入图片描述
我选择了一个体积较小的模型:deepseek-r1:7b ,在 CMD中执行命令 ollama run deepseek-r1:7b Ollama会把模型安装到 :C:\Users\Administrator.ollama\models 目录,如果想要更换模型的安装目录,那么需要配置环境变量: OLLAMA_MODELS =新的路径,然后通过任务管理器结束ollama进程,重启ollama即可.

如果磁盘不够大那么可以选择小一点的模型。我选择7B(70亿参数).模型的选择可以查看ollama官网.
在这里插入图片描述

3.使用模型

安装好之后就可以对大模型提问了,执行 ollama run 模型名字,比如:

在这里插入图片描述
如果本地未安装该模型,那么会进行自动下载.ollama的API接口使用可以查考官网的接口地址:https://github.com/ollama/ollama/blob/main/docs/api.md

4.安装Hyperv

ollama安装好之后是没有可视化界面的,这里我采用在Windows上安装DockerDesk,然后通过Open-WebUI来作为Ollama大模型的可视化界面,安装之前需要先安装Hyperv,

在控制面板-程序和功能-启用或者关闭windows功能中,找到 Hyper-V把它勾上,确定后重启
在这里插入图片描述

5.安装DockerDesk

在Docker官网 https:www.docker.com/products/docker-desktop下载最新版本的Docker Desktop ,如果是低版本的Docker Desktop,那就需要自己手动安装Docker-Compose了
在这里插入图片描述
默认情况下会把Docker安装到下面目录:C:\Program Files\Docker , 我们给Docker配置一个环境变量,路径为C:\Program Files\Docker\Docker\resources\bin ,。然后登录DockerDesk,如果没有账号需要先创建账号,根据提示流程走即可
在这里插入图片描述
进入DockerDesk界面后,找到设置按钮-DockerEngine配置中指定进行仓库地址为国内,在JSON文件中加上这一段

{"registry-mirrors": ["https://5pfmrxk8.mirror.aliyuncs.com"]
}

这里我使用的是阿里云的镜像仓库,如下:
在这里插入图片描述

6.安装Open-WebUI

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,可以完全离线运行。它支持各种 LLM 运行器(如Ollama)和与OpenAI 兼容的 API,并内置RAG 推理引擎,是一款强大的 AI 部署解决方案。

第一步下载WebUI镜像:进入到Docker的Bin目录,C:\Program Files\Docker\Docker\resources\bin 使用CMD执行

C:\Program Files\Docker\Docker\resources\bin>docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这条命令将会拉取最新的 Open WebUI 镜像,并将其映射到主机的 3000 端口上,还设置了持久化存储路径以及自动重启策略。
在这里插入图片描述

安装完成后,在浏览器中访问http://localhost:3000,首次访问时建议创建一个管理员账户,之后就可以根据具体需求选择相应的模型进行使用了
在这里插入图片描述

7.配置 DeepSeek

在 Open Web UI 的设置中,找到模型提供方的选项,选择 “Ollama”,在模型列表中,选择已安装的 DeepSeek 模型(如 deepseek-r1:7b)
在这里插入图片描述
文章结束,如果文章对你有帮助不要吝啬你的三连哦

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com