36-大模型（LLMs）强化学习篇

大模型（LLMs）强化学习篇

简单介绍强化学习？

强化学习（Reinforcement Learning）是一种机器学习的方法，通过从外部获得激励来校正学习方向从而获得一种自适应的学习能力。

简单介绍一下 RLHF？

基于人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）：构建人类反馈数据集，训练一个激励模型，模仿人类偏好对结果打分，这是GPT-3后时代大语言模型越来越像人类对话核心技术。

奖励模型需要和基础模型一致吗？

不同实现方式似乎限制不同。（待实践确认）colossal-ai的coati中需要模型有相同的tokenizer，所以选模型只能从同系列中找。在ppo算法实现方式上据说trlx是最符合论文的。

RLHF 在实践过程中存在哪些不足？

不足点1：人工产生的偏好数据集成本较高，很难量产；
不足点2：三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢；
不足点3：PPO的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高。

如何解决人工产生的偏好数据集成本较高，很难量产问题？

解决方法：AI专家替代派
代表方法：
1. RLAIF https://arxiv.org/pdf/2212.08073.pdf
  该方法的核心在于通过AI 模型监督其他 AI 模型，即在SFT阶段，从初始模型中采样，然后生成自我批评和修
  正，然后根据修正后的反应微调原始模型。在 RL 阶段，从微调模型中采样，使用一个模型来评估生成的样本，

并从这个 AI 偏好数据集训练一个偏好模型。然后使用偏好模型作为奖励信号对 RL 进行训练，即 RL from AI Feedback（RLAIF）。

RRHF https://arxiv.org/abs/2304.05302
RRHF(Rank Response from Human Feedback) 不需要强化学习，可以利用不同语言模型生成的回复，包括 ChatGPT、GPT-4 或当前的训练模型。RRHF通过对回复进行评分，并通过排名损失来使回复与人类偏好对齐。 RRHF 通过通过排名损失使评分与人类的偏好（或者代理的奖励模型）对齐。RRHF 训练好的模型可以同时作为生成语言模型和奖励模型使用

如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？

解决方法：微调数据优化派
代表方法：
1. LIMA
  LIMA(Less Is More for Alignment) 即浅层对齐假说，即一个模型的知识和能力几乎完全是在预训练中学习的，而对齐则是教会它与用户交互时如何选择子分布。如果假说正确，对齐主要有关于学习方式，那么该假说的一个推论是，人们可以用相当少的样本充分调整预训练的语言模型。因此，该工作假设，对齐可以是一个简单的过程，模型学习与用户互动的风格或格式，以揭示在预训练中已经获得的知识和能力。

MAYBE ONLY 0.5% DATA IS NEEDED
本文主要从数据角度来探讨如何降低 LLM 训练阶段的成本，提高数据效率。为了实现该目的，作者通过从现有数据中识别出最有价值的核心样本来帮助模型获取下游任务的知识，并仅用少量数据来实现可比甚至更好的性能。

如何解决PPO的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高问题？

解决方法：训练过程改造派
代表方法：

RAFT https://arxiv.org/pdf/2304.06767
RAFT（Reward rAnked FineTuning），它基于关于通过奖励和监督微调对样本进行排序的组合的形式。
DPO https://arxiv.org/pdf/2305.18290
DPO(Direct Preference Optimization) 提出了一种使用二进制交叉熵目标来精确优化LLM的方法，以替代基于 RL HF 的优化目标，从而大大简化偏好学习 pipeline。

总结

本文介绍了强化学习和基于人工反馈的强化学习（RLHF），并探讨了RLHF在实践中的不足之处，包括人工偏好数据集成本高、训练过程长、计算资源要求高等问题。针对这些问题，提出了三种解决方法：AI专家替代派（如RLAIF和RRHF）、微调数据优化派（如LIMA和0.5%数据需求）、训练过程改造派（如RAFT和DPO）。这些方法通过不同的策略，如使用AI模型监督其他AI模型、优化数据集、简化训练过程等，来提高RLHF的效率和降低成本。通过这些改进，可以在有限的计算资源下高效训练和推理大模型，使其具备更好的自适应学习能力。