ChatGPT的算力需求主要分为训练和推理两个阶段。人工智能领域主要涉及计算机视觉和自然语言处理两个基础方向。目前,自然语言处理任务中最主流的两个方向是基于Transformer的双向编码器表示技术(BERT)和基于Transformer生成预训技术(GPT)。谷歌属于BERT技术方向,微软投资的OpenAI则属于GPT技术方向。在计算过程中,人工智能算力主要可以分为模型训练和推理两个阶段,特别是对于大型语言模型LLM而言,随着参数和数据规模的增大,算力需求也在迅速增长。