本文主要基于dify平台搭建一个LLM专家客服。
关于dify平台的介绍读者自行了解，这是官网链接：Dify.AI · 生成式 AI 应用创新引擎，概括来说，就是一个可快速开发AI应用的、具有精细工程设计和软件测试的脚手架系统。
Dify 是一个开源的大型语言模型（LLM）应用开发平台，结合 Backend-as-a-Service 和 LLMOps 理念，帮助开发者快速构建生产级的生成式 AI 应用，即便是非技术人员也可以参与 AI 应用的定义和数据操作。
通过集成构建 LLM 应用所需的关键技术栈，包括对数百种模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎和灵活的 Agent 框架，同时提供一组易于使用的接口和 API，Dify 为开发人员节省了大量重复造轮子的时间，使他们能够专注于创新和业务需求。
本文搭建“LLM专家客服”的主要步骤分为四步：
step1：注册相关工作。
step2：RAG知识库建立。
step3：编排与调试。
step4：应用发布。
step1：注册相关工作
此步骤相对简答，跟着官网走就行，值得注意的是，对于新用户，open ai提供了200的免费消息额度，这个额度对于完成体验没有问题，如果后续需要进行更多的实验，需要提前设置后续需要的LMM基座模型的 API KEY，当然，你的key 需要可用，也就是需要绑定相关的信用卡。
step2：RAG知识库建立
此步骤可以提前做，也可以后续在开发应用的过程中做，提前做需要对自己后续要开发的应用需要的上下文有清晰的认知，比如笔者需要开发一个“LLM知识客服专家”，那我需要准备LLM相关的专业书籍来构建RAG知识库。建好的知识库都可以链接到 Dify 引用。
笔者上传了一本LLMbook，随后平台会对书籍进行分段与清洗处理，我这里采用高质量的模式，该模式下会调用Embedding模型进行处理，以在用户查询时提供更高的准确度，当时是需要收费的。
进行分段处理
接下来就是选择知识库的可见权限、索引模式、Embedding模型、以及检索设置。
step3：编排与调试
调试过程中是个有趣的过程，首先需要设置提示词，笔者的提示词为：
现在你扮演一个大模型领域的专家客服，你的名字叫dimu。你在回答问题的时候需要保持礼貌的态度，适当的时候可以使用一些emoji表情与用户互动。注意，如果问题不在你的上下文内的，可以调用wikipedia工具进行查询后回答。
随后，在上下文处调用上一步建立好的知识库，在工具处选择wikipedia，当然这里有很多工具可以选择，主要看需要实现什么功能。最后未来提高对话的代入感，点击添加功能，增加对话开场白。
这些都设置完毕后，可进一步选择调试模型的品牌和相关参数，这里对相关参数不做详细介绍，读者可在chatgpt上进行提问。
接下来开始调试，
问题1：大模型的训练步骤是怎样的。效果还不错，还给出了其他推荐问题。
问题2： 电影《人工智能》主要讲了什么？可以发现，不在知识库的内容，智能体自动调用了wikipedia进行了搜索。
问题3：质能方程如何证明？
OK，调试就到这里，当然可以进一步去替换不同的基座模型、模型相关参数、相关提示词等内容进行调试。
step 4：应用发布
发布自己的应用可用通过嵌入网站和访问API方式。
笔者采用嵌入网站方式，通过安装Dify Chome浏览器扩展器完成。
效果如下：
