KidneyTalk-open系统，RAG在医疗场景的真实落地：用于解决肾脏疾病的医疗问答问题

如何在保护隐私的前提下，本地部署大型语言模型（LLMs），以支持肾脏疾病的医学决策支持。难点包括：云端LLMs的数据泄露风险、本地部署的复杂性、通用LLMs在医学知识整合方面的不足、检索增强系统在医学文档处理和临床可用性方面的挣扎。Med-PaLM 2和MedFound在医学问答和临床文本处理任务中表现出色，但在临床应用中存在参数过大、领域专业化导致的一般语言能力下降等问题。最近的研究表明，通用LLMs本身具有强大的医学推理能力，这为构建轻量级医学智能系统提供了可能性。中国医学科学院联合清华、北大医学部门联合开发了KidneyTalk-open，这是一个桌面系统，集成了三个技术组件：
1）通过本地推理引擎无代码部署最先进的开源LLM（如DeepSeek-r1、Qwen2.5）；
2）结合上下文感知的分块和智能过滤的医疗文档处理流程；
3）采用代理协作的自适应检索和增强流程（AddRep），以提高医疗文档的召回率。
设计了一个图形界面，使临床医生能够在没有技术专业知识的情况下管理医疗文档并进行AI驱动的咨询。
结果：在对1455个具有挑战性的肾脏病学考试问题进行实验验证时，证明了AddRep的有效性：通过智能知识整合实现了29.1%的准确率（比基线高出8.1%），同时通过4.9%的拒绝率来抑制幻觉，保持了鲁棒性。与主流产品（AnythingLLM、Chatbox、GPT4ALL）的比较案例研究表明，KidneyTalk-open在实际临床查询中的性能更优。
KidneyTalk-open作为第一个无代码的私有大型语言模型系统，成功实现了医学知识管理和智能推理的本地集成。通过创新性地结合开源LLM部署框架、语义知识数据库构建和多代理检索增强技术，解决了医学LLMs应用中的三个关键挑战。实验结果和在实际病例中的应用比较表明，该系统在肾脏疾病诊断和治疗等专业场景中表现出卓越的医学本地化能力和基于证据的推理质量。这一进展为促进智能医疗的包容性发展提供了新的工具。

KidneyTalk-open

在这里插入图片描述

KidneyTalk-open，用于解决肾脏疾病医学决策支持中的隐私保护和知识整合问题。具体来说，

无代码部署：通过本地推理引擎无代码部署最先进的开源LLMs（如DeepSeek-r1和Qwen2.5），消除了命令行操作和手动参数调优。
医学文档处理管道：结合上下文感知的分块和智能过滤，将各种格式的医学文档分割成语义单元，自动过滤冗余内容，并构建高效的HNSW向量索引检索系统，实现亚秒级的精确医学文献定位。
1. 上下文感知的分块和智能过滤：KidneyTalk-open利用LangChain解析PDF、Word和TXT文档，并应用自动分块技术，每块最大长度为512个令牌，重叠25%。然后，通过自定义的智能过滤代理过滤冗余内容，确保知识数据库的内容质量。
2. HNSW向量索引检索系统：系统将过滤后的知识片段转换为向量表示，并使用HNSWLib库构建高效的向量数据库。HNSW算法通过分层小世界图实现高效近似最近邻搜索，确保在海量医学文献中实现亚秒级的精确检索。
自适应检索和增强管道（AddRep）：采用多代理协作，提高医学文档的召回率。AddRep的工作流程包括查询优化、发散性思维提问和知识整合，生成最终回答。
AddRep管道通过以下三个主要机制提高医学知识问答性能：
1. 查询优化：Query Refinement代理接收用户查询和对话历史，自动生成高质量的查询描述，以解决用户查询中的歧义和检索偏差。
2. 发散性思维提问：Divergent Thinking代理分析初始检索到的知识片段，从多个角度生成发散性查询，扩展问题空间，同时保持与原查询的相关性。
3. 知识整合：Answer Generation代理综合所有检索到的知识片段，生成最终答案。通过链式思维提示引导模型推理，确保回答的逻辑性和准确性。