从图灵测试到神经语言模型,大规模预训练语言模型的发展经历了多个阶段。通过基于Transformer架构的预训练,大语言模型在自然语言处理任务上展现出强大的能力。研究人员发现,增加参数规模可以进一步提升模型性能,并展现出小规模模型所不具备的上下文学习等特殊能力。学术界和业界对大语言模型的研究取得了显著进展。本文对大语言模型进行了全面综述,并从多个角度进行了分析。