常见的六种大语言模型微调框架

 六大主流微调框架详细解析

框架	简介	优势	劣势
Hugging Face PEFT	专注于「参数高效微调」（LoRA、Prefix、Prompt-tuning等）的小型库，直接挂在Transformers上用。	简单稳定，兼容性好，文档丰富，适配各种小模型到中型模型。	不自带训练流程，需要自己搭 Trainer，灵活但略麻烦。
Kiln	Hugging Face官方出的一站式微调套件（包含训练+QLoRA量化+推理部署一条龙）。	极简易用，自动配置，不用管底层细节，部署也帮你做好。	自定义性较弱，适合标准场景，不适合深度魔改。
LLaMA-Factory	社区做的LLaMA、Mistral系列快速微调开源框架，特别受中文圈欢迎。	配置文件清晰，支持LoRA、QLoRA各种模式，适配主流开源大模型。	定位偏「中文开源圈」，不如官方框架那样全球化，超大模型支持一般。
Axolotl	轻量化、超灵活的指令微调框架，可以自由定制dataset、分布式、存量参数等。	极度可定制，适合搞研究或者复杂场景实验。	上手有一定门槛，需要懂深一点的训练参数设置。
Unsloth	2024年爆火的超轻量QLoRA优化框架，极限提升微调速度，节省显存。	微调速度极快（最快可提升2-5倍），显存超低，非常适合消费级显卡。	还比较新，兼容性有时需要自己测试；大规模分布式训练支持一般。
DeepSpeed	微软出的重量级训练加速器，支持ZeRO、MoE、3D并行等超大规模技术。	可以训练千亿参数大模型，极限压缩显存，大规模分布式顶配神器。	配置复杂，新手上手困难，需要写大量json/yaml脚本；依赖环境偏重。
Alpa	斯坦福开发的高自动化分布式训练框架，优化跨机器超大模型训练。	自动切分计算图，跨机超大规模训练轻松搞定。	小规模（1-2张卡）不如DeepSpeed灵活，适合研究机构/大厂环境。

---

6大框架横向对比总结表

特性	Hugging Face PEFT	Kiln	LLaMA-Factory	Axolotl	Unsloth	DeepSpeed / Alpa
适用场景	通用参数高效微调	一键式训练+部署	快速搞定LLaMA/Mistral	魔改自由实验	超轻量极快微调	超大模型、超多显卡训练
上手难度	⭐	⭐	⭐⭐	⭐⭐⭐	⭐⭐	⭐⭐⭐⭐
自由度	⭐⭐	⭐	⭐⭐	⭐⭐⭐⭐	⭐⭐	⭐⭐⭐⭐
显存优化	LoRA/QLoRA	QLoRA集成	LoRA/QLoRA可选	LoRA/QLoRA灵活	4bit QLoRA极限版	ZeRO / 3D并行 极限优化
分布式支持	❓（需配Trainer）	❌（单机为主）	❓（基本支持）	✔️（fsdp/ddp）	❓（单机强）	✔️（主打分布式）
适配大模型	中小模型	中小模型	中模型（LLaMA类）	中小模型	中小模型	超大模型（百亿以上）
代表优势	稳定，兼容广	傻瓜式训练部署	中文社区活跃	深度定制可玩性高	极致快、省资源	科研级大模型训练神器

---

真实项目怎么选？

情况	推荐
公司要搞小微调上线，想保险一点	Kiln 或 PEFT
自己本地1张4090，想练练QLoRA	Unsloth 或 LLaMA-Factory
有8xA100服务器，搞科研大模型训练	DeepSpeed 或 Alpa
主要搞 LLaMA2/3、Mistral	LLaMA-Factory 或 Axolotl
想最大自由折腾（自定义LoRA、Prefix、Prompt方式）	Axolotl + PEFT
预算紧，想又快又省资源	Unsloth