论文笔记：SIBO: A Simple Booster for Parameter-Efficient Fine-Tuning

ACL 2024

1 intro

• 基于 Transformer 的大模型一般都有很多层
  • 在广泛采用的 PEFT 技术（包括 Adapters 和 LoRA）中，尤其是在深层中，也存在过度平滑现象（即token之间的相似度很高）
• 论文评估了同一语句中 token 之间的余弦相似性以检测过平滑现象
  • 给定一个包含m个 token的句子(h1,h2,....hm)，其token间余弦相似性为
  • 
  • 结果如下：
    • 
    • 
    • 随着模型层数的增加，token之间越来越像了

• ——>论文提出了 SIBO
  • 通过在 PEFT 模块（adapter/LORA）的输入中注入初始残差，减少了 Transformer 模型中的过平滑问题

2 方法

3 结果