GPT是一种基于互联网可用数据训练的文本生成深度学习模型。从第一代GPT到现在的GPT-3，GPT经历了四年的发展。第一代GPT出生后被广泛运用于自然语言推理、问答与常识推理、语义相似度识别、分类等任务。第二代GPT-2于2019年诞生，参数量达15亿，数据集更大，但并没有太多的结构创新与设计。现如今，GPT-3已成为最具代表性的GPT版本，甚至能够进行创作、写作等高难度任务。GPT的发展历程是在追求更加高效、准确的自然语言处理能力的道路上不断前行。