GPT-1是Openai于2018年推出的生成式预训练模型，在该模型的基础上，2019年推出了GPT-2，进一步提高了语言模型的性能。随后，2020年发布了GPT-3，这是一种少样本学习的语言模型。2022年，研究人员提出了一种基于强化学习和人类反馈的训练方法RLHF，并在论文中称其为GPT-4。同年，另一篇关于GPT系列的技术报告《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》也发布了。