OpenAI GPT预训练模型详解：从GPT1到ChatGPT

GPT系列是OpenAI的一系列预训练模型，其中GPT的全称是Generative Pre-Trained Transformer。顾名思义，GPT的目的就是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前，已经公布论文的有文本预训练GPT1、GPT2、GPT3以及图像预训练iGPT。据传，还未发布的GPT4是一个多模态模型。

最近非常火的ChatGPT和今年年初公布的DALL·E是一对姐妹模型，是在GPT4之前发布的预热模型，有时候也被叫做GPT3.5。ChatGPT和InstructGPT在模型结构、训练方式上都完全一致，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）来指导模型的训练。它们不同的仅仅是采集数据的方式上有所差异。所以，要搞懂ChatGPT，我们必须要先读懂InstructGPT。