欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 汽车 > 维修 > LLM论文笔记 25: Chain-of-Thought Reasoning without Prompting

LLM论文笔记 25: Chain-of-Thought Reasoning without Prompting

2025/3/17 18:05:59 来源:https://blog.csdn.net/m0_65305142/article/details/146296900  浏览:    关键词:LLM论文笔记 25: Chain-of-Thought Reasoning without Prompting
  • Arxiv日期:2024.5.31
  • 机构:Google DeepMind

关键词

  • cot-decoding
  • 推理路径
  • pretrain

核心结论

1. LLMs 不需要prompting就可以生成链式推理路径,prompting只是将这些能力显性化的一种手段

2. cot path 往往与更高的model confidence相关,可以用作可靠性的metric

3. 探索多样化的解码路径能有效挖掘模型的内在推理能力,而不仅仅依赖于模型规模或训练数据的多样性

4. CoT-Decoding 可以弥补模型未经过指令调优时的推理能力缺陷,并在指令调优的模型中进一步优化性能

5. Cot-Decoding适用于多种任务和语言模型,显示出显著的通用性和鲁棒性

主要方法

(验证了内在推理能力的存在)使用pretrain模型,不使用greedy decoding,而是在第一个token预测使用top-k发现内化cot推理能力,且带cot的答案置信度更高

置信度衡量标准:

answer中每一个token在NTP时当前token和下一个token的概率差异

注:本系列不包括基础的知识点讲解,为笔记/大纲性质而非教程,用于论文知识点和思想和快速记忆和回顾,更多细节建议阅读论文原文

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词