大模型作为哈工大ChatGPT的知识表示和存储基础,具有重要意义。该报告介绍了大模型技术发展的历程,包括OpenAI提出的第一代GPT模型和谷歌提出的BERT模型。重点介绍了OpenAI陆续发布的GPT-2和GPT-3,其中GPT-3模型含有1,750亿超大规模参数,并且提出“提示语”的概念。该模型能够完成具体任务,例如输入“我太喜欢ChatGPT了,这句话的情感是__”,GPT-3就能够直接输出结果“褒义”。