- 论文：https://arxiv.org/pdf/2402.13669
- 代码：https://github.com/sail-sg/sdft
- 机构：浙江大学、Sea AI Labs和腾讯
- 领域：模型微调
- 发表：ACL2024
这篇论文的标题是《Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning》，作者们探讨了在对大型语言模型（LLMs）进行微调（fine-tuning）以适应特定任务时遇到的挑战，尤其是如何在提升任务性能的同时保留模型的通用指令遵循能力。论文提出了一种新颖的微调方法——自蒸馏微调（Self-Distillation Fine-Tuning，简称SDFT），旨在通过引导微调过程使用模型自身生成的、与
