搭建本地大模型和知识库最简单的方法：Ollama + AnythingLLM
【更新时间】2024年12月19日11:06:52
本文源自学习黄益贺老师的在线视频，是从中一步步跟进摸索学习的心得文章，欢迎大家多多批评。
第一步：下载
下载地址：ollama下载地址
不出所料，就是会出现意外：
原因当然就是“github.com”不能访问，其实很多年前是可以访问的。不过幸好，地址还是给弹出来了，大家可以使用自己知道的下载工具，尝试是否可以下载，反正我直接把地址送给迅雷，不负所托，她给我下载好了，地址在这里:
windows版下载地址
下载完成后，安装，安装完毕会在桌面上有这样一个图标
打开你的windows终端（在搜索栏输入“cmd”打开）
运行你要运行的大模型，比如llama2，如下：
系统就开始进行大模型数据下载。开始我还害怕由于墙的问题，不能下载呢，结果一看速度杠杠的。
后面越下越慢（下到97%就只有几十K的速度了），心理素质要好，出去听音乐，看电视，一会再来。
如果不知道下载什么大模型，就可以去官网页面Models栏去查看。
安装完成后就是这样
这里需要说明一下的是，对于不同的大模型，所需要的内存也是不一样的，按照视频上的说法，有这样一个参照：
一般来说7B 的模型需要8G内存空间，13B的需要16G，70B需要64G内存。
Memory reguirements
7b models generally require at least 8GB of RAM
I3b models generally require at least 16GB Of RAM70b models generally require at least 64GB Of RAM
if you run into issues with higher quantization levels, try using the q4 model or shut down anyother programs that are using a lot of memory.
第二步： 安装OPEN WEBUI，实现图形化终端操作大模型
如果想使用图形化的界面来进行操作，那么一种比较好的选择是使用Docker。这个可以去Github当中查看：
OpenWebUI
这里有详细的说明。
看其中的这句话：
看来如果要使用Open webUI需要先在PC上安装Docker。
1、安装Docker
进入Docker网站：
Docker网站
下载Windows版本的Docker。这里有两个版本：
对于PC的使用AMD64，对于平板电脑下载ARM64。我下载了前者：
同样，不出所料的，因为墙的原因，没法下载，不过好在我打开了迅雷，自动就跳转迅雷给下载了，诶~！
运行安装
不知道会不会再次出现墙的原因使得安装失败，耐心等待。
运气不错，安装完成。结果，安装系统弹出说重启，我还以为是软件重启，结果是系统重启，差点让我写的文件丢失了，大家注意保存哈。
重启之后，弹出窗口，说升级失败。
怎么升级呢？
按照上面的说明，打开cmd窗口，输入wsl --update
尝试运行一下，运气不错，居然很快的运行完成。
C:\Users\luck**>wsl --update
请求的操作需要提升。
正在下载: 适用于 Linux 的 Windows 子系统 2.3.26
正在安装: 适用于 Linux 的 Windows 子系统 2.3.26
已安装 适用于 Linux 的 Windows 子系统 2.3.26。
操作成功完成。
正在检查更新。
已安装最新版本的适用于 Linux 的 Windows 子系统。
运行Docker Desktop
注册页面打不开，看来需要梯子才行，那就先略过。填写了一些问题后，进来了：
接下来还是要安装open webui
2、安装open webui
回到Github：open webui
按照安装提示：
If Ollama is on your computer, use this command:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
在命令窗口中输入上述命令：
自动下载了很多东西，感觉速度超快。
很快就安装完成：
再次回到docker desktop 软件，可以看到里面多了一个open webui的容器。
点击就可以打开一个web页面：
感觉好极了！
第一次进去会让你创建一个管理员账号，通过邮件和你的密码就可以搞定，这里不再抓图了。
结果就可以使用了！！！
3、使用ollama
在上面的浏览器对话框当中就可以进行问答了。感觉这样的大模型很快就建立起来了。
不知道她的数据库或者内容库怎样，测试一下。
看了一下，挺吃内存的。CPU也相当紧张，看来个人家用PC还是有一定的负担的。
怎么用呢？首先打开
选择ollama大模型，当然本身也有一个竞技场模型可选，我测试了，竞技场模型能快点。
然后在对话框里面输入，目的是想总结一下网上文章：
总结这篇文章 #http://www.mzph.cn/news/770818.shtml
想让大模型给概括一下网上的文章，只需要再链接前面加上井号“#”。
这篇文章我们先看看，是关于open webui的文章，可是这个ollama给总结出来的结果真是一言难尽，简直是胡说八道了。
原文链接的内容是：
哈，所以大模型大家还是要留心使用哈。
此外，也可以对上传文章进行内容分析和概括。
第三步：将Ollama当服务器运行提供服务
只需要在命令终端ollama里面运行下面语句：
ollama serve
得到如下结果：
C:\Users\lucky>ollama serve
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
说明服务器运行起来了。接下来需要进行调用，于是涉及到安装一个软件：anything LLM
1、安装Anything LLM
前往大神网站：
下载Anything
下载Anything LLM
我选择x64，PC端用的。
WindowsX64下载链接
同样的下载方式（迅雷），然后安装。感觉安装有点慢
不过吭哧了有十多分钟，终于装好了。
选择ollama再按下一步：
最后出现这个页面：
