微调学习记录

目前看到的市面上的微调文章，想大体上给他们分个类，方便后续进行重点学习

参数高效微调

1. LoRA

不用多说含金量

2. Rein

https://github.com/w1oves/rein

把它也算进来了，类似。

Adapter

adapter类的我感觉都大差不差，具体看怎么设计这个adapter。相应的他们的创新性也不是很高。先贴一个。

1. T2I-Adapter

https://github.com/TencentARC/T2I-Adapter?tab=readme-ov-file

Additive learning

1. Side-tuning

反向传播的时候不经过之前的base 模型，这样就可以提升反向传播的速度。