1. GPT-1
标题是 Improving Language Understanding by Generative Pre-Training.
发表于 2018.02, 比 bert(发布于 2018.10) 早了半年.
1.1 动机
-
困难:NLU 任务是多样的, 有 {textual entailment, question answering, semantic similarity assessment, document classification} 等. 对这些任务收集足够多的大规模标注数据很困难.
-
解法: 用易得的 un-labeled 的语料库做 生成式的预训练. 然后仅用少许 特定任务的标注数据作 微调训练, 就能在 NLU 的基准测试中取得佳绩.
1.2 框架
Unsupervised pre-training
next-token 预测.
数据集是 BooksCorpus(书籍, 有长文本) 和 1B Word Benchmark.
Supervised fine-tuning
冻结预训练好的 transformers 网络权重, 只训练 sft 引入的 Wy 和 特殊分割 token 的 emb.
任务是多样的, 但 预训练网络 只能接受有序的 text, 所以要作转换. 转换方式见下图. 确实不如 后续工作的 prompt 优雅.
1.3 模型细节
- a 12-layer decoder-only transformer with masked self-attention heads (768 dimensional states and 12 attention heads).
- For the position-wise feed-forward networks, we used 3072 dimensional inner states.
- We used the Adam optimization scheme [27] with a max learning rate of 2.5e-4.
- We used a bytepair encoding (BPE) vocabulary with 40,000 merges
--vulhub)
