通过预训练和调整适应性来应用大型语言模型(LLMs)的一个主要方法是采用合适的prompt策略来解决各种任务。上下文学习(in-context learning)是其中一个典型的prompt方法,它以自然语言文本的形式提供任务描述或演示。思维链prompting方法通过将一系列中间推理步骤整合到prompt中来进一步加强上下文学习。在本文第六节中,我们详细介绍了这两种技术的细节。上下文学习(ICL)作为一种特殊的prompt形式,是GPT-3首次提出的,并且已经成为利用LLMs的典型方法之一。思维链prompt(CoT)是一种改进的prompt策略,可以提高LLM在复杂推理任务(如算术推理、常识推理和符号推理)中的表现。与ICL不同,CoT在构建prompt时将导致最终输出的中间推理步骤纳入考虑。在第6.2节中,我们详细说明了使用CoT和ICL的方法,并详细讨论了CoT何时有效以及为何有效。能力评估方面,我们利用大量任务和基准对LLMs的有效性和优越性进行了实证评估和分析。