【学习笔记】GPT系列模型演变过程

2025/3/18 5:50:29 来源：https://blog.csdn.net/sophilex/article/details/146313232 浏览: 次关键词：【学习笔记】GPT系列模型演变过程

基于Transformer的decoder-only架构
参数量只有0.1B，缺少通用的解决问题的能力，需要针对特定任务微调

参数规模扩大到了1.5B
与 GPT-1 不同,GPT-2 旨在探索通过扩大模型参数规模来提升模型性能,并且尝试去除针对特定任务所需要的微调环节

GPT-2尝试成为”无监督多任务学习器“，但是效果不算优越。GPT-3通过大幅扩展参数规模，达到了175B，并且涌现了上下文学习能力，验证了Scaling-Law的潜力。
其后续改进中加入了代码数据训练与RLHF

参数规模大幅度提升，同时开始支持多模态

主打推理模型
引入长思维链，推理能力大幅度提升

本网仅为发布的内容提供存储空间，不对发表、转载的内容提供任何形式的保证。凡本网注明“来源：XXX网络”的作品，均转载自其它媒体，著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处。

我们尊重并感谢每一位作者，均已注明文章来源和作者。如因作品内容、版权或其它问题，请及时与我们联系，联系邮箱：809451989@qq.com，投稿邮箱：809451989@qq.com

相关资讯