本文使用LLaMA-Factory进行监督微调 Qwen2.5。
此监督微调（SFT）脚本具有以下特点：
- 支持单GPU和多GPU训练；
- 支持全参数调优，LoRA，Q-LoRA，Dora。
下面详细介绍一下该脚本的使用方法。
目录
安装
数据准备
训练
合并 LoRA
结论
安装
开始之前，请确保已安装以下软件包：
按照LLaMA-Factory的说明 ，构建环境。安装这些软件包（可选）：
pip install deepspeedpip install flash-attn --no-build-isolation如果想使用 FlashAttention-2，请确保 CUDA 是 11.6 及以上版本。
数据准备
LLaMA-Factory 在文件夹中提供了几个训练数据集data，可以直接使用。如果使用自定义数据集，请按如下方式准备数据集。
1将数据组织到json文件中，并将数据放入data 文件夹中。LLaMA-Factory 支持alpaca或sharegpt 格式的数据集。
alpaca格式的数据集应遵循以下格式：
[{"instruction": "user instruction (required)","input": "user input (optional)","output": "model response (required)","system": "system prompt (optional)","history": [["user instruction in the first round (optional)", "model response in the first round (optional)"],["user instruction in the second round (optional)", "model response in the second round (optional)"]]}
]
sharegpt格式的数据集应遵循以下格式：
[{"conversations": [{"from": "human","value": "user instruction"},{"from": "gpt","value": "model response"}],"system": "system prompt (optional)","tools": "tool description (optional)"}
]2 data/dataset_info.json按以下格式提供数据集定义。
对于alpaca格式数据集，dataset_info.json 应该是：
"dataset_name": {"file_name": "dataset_name.json","columns": {"prompt": "instruction","query": "input","response": "output","system": "system","history": "history"}
}对于sharegpt格式数据集，dataset_info.json 应该是：
"dataset_name": {"file_name": "dataset_name.json","formatting": "sharegpt","columns": {"messages": "conversations","system": "system","tools": "tools"},"tags": {"role_tag": "from","content_tag": "value","user_tag": "user","assistant_tag": "assistant"}}训练
执行以下训练命令：
DISTRIBUTED_ARGS="--nproc_per_node $NPROC_PER_NODE \--nnodes $NNODES \--node_rank $NODE_RANK \--master_addr $MASTER_ADDR \--master_port $MASTER_PORT"torchrun $DISTRIBUTED_ARGS src/train.py \--deepspeed $DS_CONFIG_PATH \--stage sft \--do_train \--use_fast_tokenizer \--flash_attn \--model_name_or_path $MODEL_PATH \--dataset your_dataset \--template qwen \--finetuning_type lora \--lora_target q_proj,v_proj\--output_dir $OUTPUT_PATH \--overwrite_cache \--overwrite_output_dir \--warmup_steps 100 \--weight_decay 0.1 \--per_device_train_batch_size 4 \--gradient_accumulation_steps 4 \--ddp_timeout 9000 \--learning_rate 5e-6 \--lr_scheduler_type cosine \--logging_steps 1 \--cutoff_len 4096 \--save_steps 1000 \--plot_loss \--num_train_epochs 3 \--bf16要更改训练，可以修改训练命令中的参数来调整超参数。需要注意的一个参数是cutoff_len，这是训练数据的最大长度。控制此参数以避免 OOM 错误。
合并 LoRA
如果使用 LoRA 训练模型，则可能需要将适配器参数合并到主分支。运行以下命令执行 LoRA 适配器的合并。
CUDA_VISIBLE_DEVICES=0 llamafactory-cli export \--model_name_or_path path_to_base_model \--adapter_name_or_path path_to_adapter \--template qwen \--finetuning_type lora \--export_dir path_to_export \--export_size 2 \--export_legacy_format False结论
以上内容是使用 LLaMA-Factory 训练 Qwen 的最简单方法。
Quickstart - Qwen
至此，本文的内容就结束了。
