【大模型】微调qwen2

之前qwen1.5给出了微调代码，但是后面的qwen系列似乎没有给出微调代码。试了一下，qwen1.5的微调代码也可以微调qwen2的模型。

但是第三方库的配置上需要特别注意，以下给出可运行的配置，亲测有效：

transformer==4.37.0
accelerate==0.34.2
deepspeed==0.14.4
peft==0.12.0
torch==2.0.1

如果报错 input should be a valid integer, got a number with a fractional part[type=int_from_float, xxxxxxx] 这种就是需要将deepspeed版本回退到0.14.4

微调方法为：进入qwen1.5/example/sft下，用命令行运行以下命令

# 不想用多卡训练的时候，先 export CUDA_VISIBLE_DEVICES=1
bash finetune.sh -m MODEL_PATH -d TRAINSET_PATH --deepspeed "ds_config_zero3.json" --use_lora True