- 这是篇想要用GPT来提取sentence embedding的工作,提出了两个框架,一个是SGPT-BE,一个是SGPT-CE,分别代表了Bi-Encoder setting和Cross-Encoder setting。
- CE的意思是在做阅读理解任务时,document和query是一起送进去,中间加个SEP token来做的,典型的是BERT。而GPT一般不是,但作者觉得GPT也可以是。也就是说,如果有k个document和一个新的query,需要把这个query和这k个document分别concate在一起,重新提取信息,走k次。
- 而BE的意思是,document和query单独提取信息。每段document用pooling来提取一个vector即可,query单独提取一个vector,然后算相似度,就能知道document中是否有query要的信息。
- BE的模型提出了新的pooling method,用的是position-weighted mean pooling,还有bias-only fine-tuning。
- position-weighted mean pooling的意思是,前面的token由于mask的存在,注意力的时候看不到后面的token,所以要给低一点的权重,后面的token给高一点的权重,就按1 2 3 4 5这样随位置单调线性递增的权重即可,如下:
SGPT论文阅读笔记
2024/10/24 5:18:24
来源:https://blog.csdn.net/weixin_44326452/article/details/139772911
浏览:
次
关键词:SGPT论文阅读笔记
版权声明:
本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。
我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com
热文排行
- 《警世贤文》摘抄:处人篇、受恩篇、宽人篇、听劝篇、劝善篇(多读书、多看报、少吃零食多睡觉)
- nccl 03 记 回顾:从下载,编译到调试 nccl-test
- 【CVE-2024-38077】核弹级Windows RCE漏洞如何自检并修复该漏洞(附批量漏洞检测工具及分析伪代码)
- 【HW必备】用友NC-Cloud存在17处漏洞合集
- Vmess协议是什么意思? VLESS与VMess有什么区别?
- AD24设计步骤
- ctfshow-web入门-php特性(web132-web136)
- HarmonyOS应用开发者高级认证,Next版本发布后最新题库 - 单选题序号4
- windows11 ,ubuntu20.04双系统,ubuntu没有wifi的解决方式
- [python][whl]causal-conv1d的python模块在windows上whl文件下载
最新新闻
- SpringBoot 快速入门(保姆级详细教程)
- SGPT论文阅读笔记
- SPSS(Statistical Package for the Social Sciences)和Stata的区别,2款数据分析和统计分析软件
- python(3.7版本)安装mitmproxy
- 玩具营销是如何拿捏成年人钱包?
- Python数据分析第一课:Anaconda的安装使用
- pyqt/pyside QTableWidget失去焦点后,选中的行仍高亮的显示
- Nginx网站服务
- AI 已经在污染互联网了。。赛博喂屎成为现实
- Java IO: 使用 `FileInputStream` 和 `FileOutputStream` 进行文件操作
推荐新闻
- SpringBoot 快速入门(保姆级详细教程)
- SGPT论文阅读笔记
- SPSS(Statistical Package for the Social Sciences)和Stata的区别,2款数据分析和统计分析软件
- python(3.7版本)安装mitmproxy
- 玩具营销是如何拿捏成年人钱包?
- Python数据分析第一课:Anaconda的安装使用
- pyqt/pyside QTableWidget失去焦点后,选中的行仍高亮的显示
- Nginx网站服务
- AI 已经在污染互联网了。。赛博喂屎成为现实
- Java IO: 使用 `FileInputStream` 和 `FileOutputStream` 进行文件操作