OpenAI GPT系列是一系列预训练文章，其中包括文本预训练模型GPT-1、GPT-2、GPT-3以及图像预训练模型iGPT。最近比较火的ChatGPT和InstructGPT则是GPT-4发布之前的预热模型。它们采用指示学习和强化学习进行模型训练，他们的模型结构和训练方式基本一致，只是采集数据的方式稍微有所差异。在介绍这两个模型之前，我们需要了解GPT系列基础算法。 GPT系列是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。如果您想深入了解ChatGPT和InstructGPT，我们建议先阅读InstructGPT。