GPT4多模态模型的开发与表现

我们报道了GPT-4的开发，它是一个可以接受图像和文本输入并产生文本输出的大规模、多模态模型。尽管在某些现实场景中表现不如人类，但在许多专业和学术基准测试中，GPT-4均展现出了人类水平的表现，其中包括在模拟的律师考试中获得了约排名前10%的分数。GPT-4采用Transformer作为基础模型，预先训练用于预测文档中的下一个令牌，事后的对齐过程提高了其准确性和符合所需行为的表现。该项目的核心组件是开发可在广泛的尺度上可预测行为的基础设施和优化方法，这使得我们能够根据只使用GPT-4计算的1/1000的模型训练来准确预测GPT-4的某些方面的表现。