- 文章提出了一种提高decoder-only LLM的embedding能力的方法,叫echo embeddings
- last-token pooling(即直接选最后一个token作为句子的embedding)和直接mean pooling都不如文章提出的echo embedding,做法是把句子重复两次,然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分,last-token pooling是太强调句子的后面部分,而重复两次后,第二次的句子的起始token也包含了完整句子的语义,从而不会出现直接mean pooling的问题。
- 另外一点是,输入要添加一些instruction以鼓励第二次的句子编码包含完整句子信息,如下:
Repetition Improves Language Model Embeddings论文阅读笔记
2024/10/26 1:20:26
来源:https://blog.csdn.net/weixin_44326452/article/details/139774956
浏览:
次
关键词:Repetition Improves Language Model Embeddings论文阅读笔记
版权声明:
本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。
我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com
热文排行
最新新闻
- Repetition Improves Language Model Embeddings论文阅读笔记
- 数据库设计中的需求分析
- 设计模式-visit模式-在语法树的实践
- 手写mybatis之通过注解配置执行SQL语句
- 【Material-UI】Radio Group中的 Label Placement 属性详解
- 智能EDA小白从0开始 —— DAY10 Yosys
- Dockerfile详情,Django项目中使用Dockerfile
- es简单实现文章检索功能
- 【代码随想录训练营】【Day 50】【动态规划-9】| Leetcode 198, 213, 337
- 数据结构常考基础代码题-顺序表有序插入
推荐新闻
- Repetition Improves Language Model Embeddings论文阅读笔记
- 数据库设计中的需求分析
- 设计模式-visit模式-在语法树的实践
- 手写mybatis之通过注解配置执行SQL语句
- 【Material-UI】Radio Group中的 Label Placement 属性详解
- 智能EDA小白从0开始 —— DAY10 Yosys
- Dockerfile详情,Django项目中使用Dockerfile
- es简单实现文章检索功能
- 【代码随想录训练营】【Day 50】【动态规划-9】| Leetcode 198, 213, 337
- 数据结构常考基础代码题-顺序表有序插入