原文链接:https://i68.ltd/notes/posts/20250307-search-r1/
Search-R1
- DeepSeek团队开发的SEARCH-R1模型通过强化学习，让AI学会了自主搜索信息并将其与推理过程无缝结合，性能提升高达26%
- 高效、可扩展的RL训练框架，用于推理和搜索引擎调用，基于veRL的交错LLM
- 论文链接:https://arxiv.org/pdf/2503.09516v1
- 项目仓库:https://github.com/PeterGriffinJin/Search-R1
- Search-R1: 让AI学会搜索引擎互动，推理能力大幅提升26%
核心创新:通过强化学习让模型自主学习如何与搜索引擎交互
- 革命性的交互式搜索推理框架
SEARCH-R1将搜索引擎视为环境的一部分，使AI能够在推理过程中自主发起搜索请求。具体来说：
1）模型使用和标记触发搜索调用
2）检索内容被封装在和标记中
3）模型的思考步骤包含在和标记内
4）最终答案使用和标记呈现
这种结构化设计让模型能够进行多轮交错的推理与搜索，大大提升了解决复杂问题的能力。
- 稳定可靠的训练策略
SEARCH-R1采用了几项关键技术来确保训练稳定：
1）检索令牌掩码：仅对模型生成的内容进行优化，避免对检索内容的不当学习
2）简单有效的奖励函数：基于最终结果的准确性进行奖励，避免了复杂的过程奖励设计
3）兼容多种强化学习算法：支持PPO和GRPO等主流强化学习方法
实验结果：碾压现有方法
研究团队在七个问答数据集上进行了全面测试，结果令人振奋：
1）Qwen2.5-7B：性能提升26%
2）Qwen2.5-3B：性能提升21%
3）LLaMA3.2-3B：性能提升10%
R1-Searcher 通过强化学习激励LLMs中的搜索能力
- R1-Searcher采用两阶段强化学习方法，增强LLMs的搜索能力。
- 通过强化学习激励LLMs在推理过程中主动调用外部搜索系统，从而获取必要的知识来解决复杂问题。
- 与以往的方法不同，R1-Searcher框架完全依赖于RL，不需要过程奖励或通过蒸馏进行冷启动。
- 论文链接:https://arxiv.org/pdf/2503.05592
- 项目仓库:https://github.com/SsmallSong/R1-Searcher
- R1-Searcher告别SFT,强化学习提升LLM推理能力300%
- R1思考+RAG = R1-Searcher
search-o1 增强的大规模推理模型
- 通过代理检索增强生成（RAG）机制和文档中推理模块来增强LRM的框架，用于深入分析检索到的文档并将其集成到推理链中
- 论文链接:[2501.05366] Search-o1: Agentic Search-Enhanced Large Reasoning Models
- 项目仓库:https://github.com/sunnynexus/Search-o1
- HuggingFace:https://huggingface.co/papers/2501.05366
- 大&清华提出Search-o1：赋予推理模型主动搜索的能力
- Search-o1 升级：主动搜索+知识整合，推理能力更强！
