技术报告详细报告了GPT-4多模态模型的开发情况，该模型可接收图像和文本输入，并生成文本输出。虽然在某些现实应用场景中其性能还不及人类，但在各种学术基准测试中，GPT-4的表现已达到人类水平，如在模拟的律师考试中以前10%的考生得分通过。此外，该模型基于Transformer模型，通过预训练实现文档下一个标记的预测，并通过调整过程在事实性和坚持理想行为方面表现出改进。该项目还特别注重开发优化的基础设施和方法，以可预测的方式表现在广泛尺度上，这使我们能够使用不到GPT-4计算量万分之一的模型来准确地预测GPT-4的某些方面性能。