最近的工作表明,通过对大量文本语料库进行预训练,然后对特定任务进行微调,在许多NLP任务和基准测试方面取得了实质性进展。虽然这种方法在架构中通常与任务无关,但它仍然需要成千上万个样例的特定于任务的微调数据集。