本地部署基于DeepSeek驱动的AI智能助手实践

1. 引言

最近爆火的DeepSeek-R1系列模型，凭借其卓越的推理性能，尤其是在数据分析、代码编写、以及数学任务处理方面的高效表现迅速在全球范围内引发了热议。其出色的问题解决能力让众多职场人士感到惊叹，大家纷纷开始研究如何将 DeepSeek 应用于自己的工作，以提升自身竞争力。

构建个人知识库是AI赋能的一个典型的场景，在日常工作和学习中，我们常常会积累大量的文档、代码、笔记等资料。如果没有一个统一的存储和检索系统，这些资料很容易变得杂乱无章，查找起来费时费力。本文将介绍如何快速用DeepSeek搭建自己的专属智能助手。

2. 部署Ollama

官网地址：https://ollama.com/

Ollama 是一个开源的 AI 模型部署平台，旨在简化大语言模型（LLM）的本地部署和使用。它允许用户在个人电脑或服务器上轻松运行和管理各种 AI 模型，无需复杂的配置和高昂的硬件成本。通过 Ollama，用户可以快速加载预训练模型，如 Mistral、Llama 3.3、DeepSeek R1 等，并根据需求进行微调，以适应特定的应用场景。Ollama具有以下优势：

• 一行命令搞定大模型部署

• 完全本地运行，保护隐私

• 支持 Mac、Windows、Linux 系统，快速上手

• 响应速度快，支持GPU加速

2.1 下载Ollama

https://ollama.com/download

Ollama 支持 Mac,Linux,Windows 等多种系统，本文以Windows版本本地化安装和部署为例。

2.2 Ollama安装

双击运行 OllamaSetup.exe，点击 Install

2.3 Ollama测试

win+r 输入 cmd 打开Windows命令行

测试 ollama 指令是否可用，出现下方提示即为安装成功

3. 部署DeepSeek R1

https://ollama.com/search

在 Ollama 推荐模型中选择合适的DeepSeek R1模型，模型与硬件参数对应关系可参考下表。 

模型参数规模	典型用途	CPU 建议	GPU 建议	内存 (RAM) 建议	磁盘空间建议	适用场景
1.5B (15亿)	快速推理、 轻量应用	4核以上 (Intel i5 / AMD Ryzen 5)	可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存)	8-16 GB	20-50 GB SSD	通用推理、嵌入式设备
7B (70亿)	多语言理解、 对话生成	6核以上 (Intel i7 / AMD Ryzen 7)	中端 GPU (如 NVIDIA RTX 3060, 12GB 显存)	16-32 GB	50-100 GB SSD	多语言任务、客服系统
14B (140亿)	复杂文本生成、 代码理解	8核以上 (Intel i9 / AMD Ryzen 9)	高端 GPU (如 NVIDIA RTX 3090, 24GB 显存)	32-64 GB	100-200 GB SSD	高级NLP任务、代码助手
32B (320亿)	高级文本生成、 复杂推理	12核以上 (Intel Xeon / AMD Threadripper)	高性能 GPU (如 NVIDIA A100, 40GB 显存)	64-128 GB	200-300 GB SSD	企业级应用、研究开发
70B (700亿)	通用人工智能、 复杂推理	16核以上 (服务器级 CPU)	多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存)	128-256 GB	300-500 GB SSD	开发研究、企业级应用
671B (6710亿)	通用人工智能、 复杂推理	服务器级 CPU (如 AMD EPYC / Intel Xeon)	多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存)	256-512 GB	500-1000 GB SSD	开发研究、企业级应用

 运行指定的大模型：ollama run+模型名称

例如：ollama run deepseek-r1:7b

然后打开命令行窗口，直接粘贴之前复制的一行命令即可开始下载

 下载完成后会显示Send a message表示模型运行成功。到此本地部署DeepSeek完成。

4. 部署AnythingLLM

官网地址：https://anythingllm.com/desktop

AnythingLLM 是一个开源的企业级文档聊天机器人解决方案，由 Mintplex Labs Inc. 开发。它支持多种文档格式（如 PDF、TXT、DOCX 等），并能将文档内容转化为大语言模型（LLM）可理解的上下文信息，从而实现智能对话。该工具还具备多用户支持和权限管理功能，支持多种部署方式（包括本地和云部署），并提供开发者友好的 API。此外，它还支持多种 LLM 和向量数据库，能够高效处理大型文档，帮助企业构建私有知识库。

4.1 AnythingLLM下载及安装

AnythingLLM 也支持 Mac,Linux,Windows 等多种系统。

双击 AnythingLLMDesktop.exe，点击 Install 等待安装完成。 

4.2 AnythingLLM配置

启动AnythingLLM后会看到这个LLM偏好页面：

LLM提供商选择Ollama，模型配置参数可根据实际情况调整，此处使用默认配置参数即可。

点击Auto-Detect按钮检测Ollama服务端，显示以下信息时表示本地Ollama服务端可用。

4.3 上传并解析数据集

在配置完模型后就可以开始上传知识库文档：

 AnythingLLM支持上传本地文档或者网页链接：

 这里我提供的数据是txt文档。

4.4 问答测试

数据集解析完成后，DeepSeek就能参考本地知识库解答问题了，随便输入一个数据集中的问题，可以看到大模型的回答参考了我们提供的资料。

5. 结语

使用 Ollama + DeepSeek + AnythingLLM搭建的个人知识库的方案具有以下显著优点：

• 易用性与灵活性：

  • 方案开箱即用：整个系统无需复杂配置，用户可以通过简单的命令或图形界面快速完成部署和使用。

  • 定制化：支持高度定制，用户可以根据需求调整检索参数、优化性能或集成其他工具。

• 拥有强大的知识管理能力

  • 多文件格式支持：支持PDF、TXT、DOCX、Excel等多种常见文档格式，方便用户将各类资料整合到知识库中。

  • 智能检索与向量化：通过向量数据库（如Pinecone、Weaviate）和语义检索技术，能够快速匹配用户问题与知识库中的相关内容，提供精准答案。

  • 动态更新：新文档上传后自动切片、编码并整合到知识库中，实时扩充知识储备

• 隐私与安全性：所有数据存储和计算均在本地完成，无需联网，确保数据不会泄露到云端，特别适合处理敏感信息