GPT4将为ChatGPT带来巨大的提升,实现“优秀员工”级别的能力,标志着范式革命的早期阶段。New Bing和ChatGPT已经展现出了显著的差别。我们有充分的理由相信,GPT4在以下几个方面将有巨大进步:采用更大的模型和数据,优化参数和数据比例,更加有针对性的训练数据集,可能的“能力模块融合”。同时,我们探索将搜索能力直接融入到预训练的大模型中的方法,以及融入一些工具能力。只有合适的数据比例和模型参数,才能充分吸收数据知识。OpenAI在“造高质量大数据”方面的能力是独一无二的,通过多年的实践,我们已经对什么数据对增强哪些能力更有效有了一定的认识,可以进一步调整,如阅读更多代码、增加多语言比例等。
暂无评论