GPT(生成性预训练转换)是OpenAI于2018年6月提出的，它为自然语言理解中的各种任务提供了新的思路。尽管大量的未标记文本语料库提供了充足的资源，但对于特定任务的标记数据却非常有限，这使得区分性训练的模型难以完全胜任。此外，大多数深度学习方法需要大量手动标记的数据，限制了它们在缺乏注释资源的领域的应用。GPT通过对未标记文本进行生成性预训练，并在微调阶段对每个具体任务进行区分性微调，取得了显著的收益。与以往的方法不同，GPT在微调过程中使用了任务感知的输入转换，以实现有效的知识传输，并对模型架构进行最小化的改动。