GPT-1模型以Transformer为基础，打破了顺序关联和依赖性的限制，采用生成式方式进行训练，重点强调了从原始文本中的有效学习能力，在自然语言处理（NLP）中起到至关重要的作用。GPT（生成式预训练Transformer）于2018年6月由OpenAI提出。GPT模型充分考虑到自然语言理解中众多不同任务的存在，尽管存在大量未标记的文本语料库，但用于这些任务的标记数据却相对稀缺，这使得有监督学习下的模型实施变得困难。同时，大多数深度学习方法都需要大量手动标注的数据，这限制了它们在缺乏注释资源的领域的应用。在考虑到这些限制的前提下，GPT论文证明，通过对不同语料库的未标记文本进行生成式预训练，然后对每个特定任务进行微调，可以实现巨大的收益。与之前的方法不同，GPT在微调过程中使用任务感知输入转换，以有效进行知识传输，同时最大限度减少了对模型架构的修改。