安装准备
openwebui
这个本地安装之前写过使用python安装。也可以直接用docker 命令
docker run --rm -d \-p 3080:8080 \-p 3081:8081 \-e WEBUI_AUTH=true \-e DEFAULT_LOCALE=cn \-e GLOBAL_LOG_LEVEL="INFO" \-e AIOHTTP_CLIENT_TIMEOUT=100 \--privileged=true \-v /opt/app/test/ai/ollama/modelfile:/root/modelfile \-v /opt/app/test/ai/dev_open-webui_test/ollama:/root/.ollama \-v /opt/app/test/ai/dev_open-webui_test/data:/app/backend/data \-v /opt/app/test/ai/dev_open-webui_test/open_webui-0.4.8/backend/open_webui:/app/backend/open_webui \--name dev_open-webui_test \ghcr.io/open-webui/open-webui:ollama
docker logs -f dev_open-webui_test
启动的时候,会因为huggingface加载sententranformer的模型报错,但是应该不影响启动openwebui。
sententranformer是个语义小模型,如果只是使用openwebui与后台的聊天可以忽略这个错误,但是做知识库,而且使用默认的sententranformer进行语义分析,就需要安装
先从别的途径下载这个模型,魔塔等国内资源都可以获取到。
windows下装sententranformer
windows可以直接放到对应目录然后openwebui启动的时候,自动加载,windows目录
C:\Users\用户名.cache\huggingface\hub\models–sentence-transformers–all-MiniLM-L6-v2
linux下装sententranformer
linux的docker安装的话,可以拷贝到可以进入容器查看 环境变量SENTENCE_TRANSFORMERS_HOME配置的位置,我的是在 /app/backend/data ,所以看到docker启动的时候,也挂载了这个目录
配置 语义向量模型
当然语义模型也可以换其他ollama或者openai接口
当然基础的聊天模型是需要配置好,这个基础
配置知识库
首页侧边栏,工作空间 -》知识–》+ 增加知识库
创建知识库
点击知识库,进入可以点击+ 上传文档,就可以上传知识了。
配置知识库的模型
知识库是基础模型上知识库,还是得进入工作模型-》模型
选上基础模型 ,添加刚建立的数据库,保存。比如我们保存的模型叫test_model
测试本地知识库
进入对话窗口,模型选择刚才建立的 test_model,然后对话的时候,就会显示如下:
下面红框会显示从知识库中查出来的内容链接,当然这些内容也会传给后台消息,后台可以总结这些信息做一下输出。