本文主要基于dify平台搭建一个LLM专家客服。
关于dify平台的介绍读者自行了解,这是官网链接:Dify.AI · 生成式 AI 应用创新引擎,概括来说,就是一个可快速开发AI应用的、具有精细工程设计和软件测试的脚手架系统。
Dify 是一个开源的大型语言模型(LLM)应用开发平台,结合 Backend-as-a-Service 和 LLMOps 理念,帮助开发者快速构建生产级的生成式 AI 应用,即便是非技术人员也可以参与 AI 应用的定义和数据操作。
通过集成构建 LLM 应用所需的关键技术栈,包括对数百种模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎和灵活的 Agent 框架,同时提供一组易于使用的接口和 API,Dify 为开发人员节省了大量重复造轮子的时间,使他们能够专注于创新和业务需求。
本文搭建“LLM专家客服”的主要步骤分为四步:
step1:注册相关工作。
step2:RAG知识库建立。
step3:编排与调试。
step4:应用发布。
step1:注册相关工作
此步骤相对简答,跟着官网走就行,值得注意的是,对于新用户,open ai提供了200的免费消息额度,这个额度对于完成体验没有问题,如果后续需要进行更多的实验,需要提前设置后续需要的LMM基座模型的 API KEY,当然,你的key 需要可用,也就是需要绑定相关的信用卡。
step2:RAG知识库建立
此步骤可以提前做,也可以后续在开发应用的过程中做,提前做需要对自己后续要开发的应用需要的上下文有清晰的认知,比如笔者需要开发一个“LLM知识客服专家”,那我需要准备LLM相关的专业书籍来构建RAG知识库。建好的知识库都可以链接到 Dify 引用。
笔者上传了一本LLMbook,随后平台会对书籍进行分段与清洗处理,我这里采用高质量的模式,该模式下会调用Embedding模型进行处理,以在用户查询时提供更高的准确度,当时是需要收费的。
进行分段处理
接下来就是选择知识库的可见权限、索引模式、Embedding模型、以及检索设置。
step3:编排与调试
调试过程中是个有趣的过程,首先需要设置提示词,笔者的提示词为:
现在你扮演一个大模型领域的专家客服,你的名字叫dimu。你在回答问题的时候需要保持礼貌的态度,适当的时候可以使用一些emoji表情与用户互动。注意,如果问题不在你的上下文内的,可以调用wikipedia工具进行查询后回答。
随后,在上下文处调用上一步建立好的知识库,在工具处选择wikipedia,当然这里有很多工具可以选择,主要看需要实现什么功能。最后未来提高对话的代入感,点击添加功能,增加对话开场白。
这些都设置完毕后,可进一步选择调试模型的品牌和相关参数,这里对相关参数不做详细介绍,读者可在chatgpt上进行提问。
接下来开始调试,
问题1:大模型的训练步骤是怎样的。效果还不错,还给出了其他推荐问题。
问题2: 电影《人工智能》主要讲了什么?可以发现,不在知识库的内容,智能体自动调用了wikipedia进行了搜索。
问题3:质能方程如何证明?
OK,调试就到这里,当然可以进一步去替换不同的基座模型、模型相关参数、相关提示词等内容进行调试。
step 4:应用发布
发布自己的应用可用通过嵌入网站和访问API方式。
笔者采用嵌入网站方式,通过安装Dify Chome浏览器扩展器完成。
效果如下: