ChatGPT是一款智能对话交互式AI模型，经历了三个不同阶段的演进。2018年，GPT-1作为生成式预训练模型问世，并引入有监督的微调训练方法。2019年，GPT-2为了提高模型的通用性，移除了GPT-1的微调过程，并采用更大的参数量和多任务训练方式，实现了zero-shot学习。2020年，GPT-3将zero-shot替换为few-shot，并将训练参数增加到了1750亿，进一步提升了模型性能。2022年，基于GPT-3的基础上，OpenAI推出了InstructGPT，并引入了基于人类反馈的强化学习，通过13亿训练参数实现了更好的模型表现性能。同年11月，OpenAI正式发布了基于InstructGPT的对话交互式模型ChatGPT，仅用了5天时间就吸引了超过100万用户的关注。本文将全面梳理了GPT产业的发展历程。