大模型训练过程
数据清洗
- 拟人化描述：知识库整理
预训练
- 拟人化描述：知识学习
- 可以使用基于BERT预训练模型进行训练
指令微调
- 拟人化描述：实际工作技能学习
- 实际操作：让大模型模仿具体的输入输出进行拟合，即模仿学习
强化学习
- 拟人化描述：价值观学习
- 实际操作：通过奖励算法（RLHF）来实现价值观对齐
大模型拓展
为什么要拓展
大模型与小模型共同使用相同的神经网络模型结构与预训练方法，大模型展现出来的各种能力的指数级增长，其最大的原因就是因为参数规模拓展导致的，所以要探索如何做好规模拓展
拓展方式1：KM拓展法则
- 法则介绍：该法则描述了模型规模、数据规模、算力之间的关系，根据关系，可以进行资源的调整，以达到效率最优的模型训练效果
