论文略读：Uncovering Hidden Representations in Language Models

202502 arxiv

说一下主要结论吧

• 对于下游任务，语言模型的中间层在所有架构和任务中始终优于最后一层
  • 这挑战了使用最后一层表示的传统观点。
  • 
• 不同的架构表现出不同的信息压缩模式。自回归模型在中间层存在瓶颈，而双向模型则保持更均匀的趋势
  • 
    • BERT通过双向编码整个输入，通常在各层之间保持较高的熵值，这表明压缩较少
      • 模型可以一次看到所有的token，因此不需要丢弃太多信息
    • 只有解码器的Pythia展示出一个明显的中层熵值下降
      • 反映出其自回归目标在网络中部倾向于过滤或剪枝非本地细节
      • 因此，Pythia的“最佳状态”通常位于中间深度，在这里它平衡了必要的上下文和压缩
    • Mamba通过状态空间方法处理序列，导致其在深度上的曲线更为平坦和均匀
      • 它既不像BERT那样保持大量信息，也不像Pythia的中间层那样进行激烈的压缩
• 较大的decoder-only模型表现出更明显的中间压缩
  • 这表明它们在提炼相关特征方面的能力增强
  • 
• 不同Transformer子组件对于信息压缩的影响不一样
  • 
  • 通过在每个子层后测量熵值，发现残差连接驱动了中间网络压缩
    • 在残差之前的子层（例如预注意力、原始注意力或MLP预残差输出）通常表现出较轻微的压缩；它们的表示仍然保留了大部分原始变异性。
    • 残差子层则表现出明显的熵值下降，反映出显著的信息过滤。
    • ——>表明残差连接作为一种正则化器或“噪声过滤器”，有助于平滑隐藏表示中的虚假成分
• 连锁思维（CoT）微调使模型能够在整个层中保持更丰富的上下文
  • CoT微调促使模型在其隐藏层中保持更多的上下文，从而能够更好地进行多步推理
  •