oLMpics replication 源码

#oLMpics复制 我尝试重新创建各个部分 Talmor,Yanai Elazarm Yoav Goldberg和Jonathan Berant内容。 该作品研究了一系列八个推理任务,以更好地理解语言模型是否能够进行符号推理。 作者试图通过在微调样本上学习曲线和各种控件来区分从预训练获得的知识与微调过程中编码的语言相对应的知识。 我关注的是数据集之一。 使用和拥抱面的库进行实施。 我专注于多选择掩蔽语言模型(MC-MLM)和多选择问题回答模型(MC-QA)。 我包括了作者用作控件的零射击比较,并且得出了与本文中介绍的学习曲线相似的学习曲线。 零射 在上面的图像中,将BERT( bert-large-uncased-whole-word-masking BERT)和RoBERTa( roberta-large无bert-large-uncased-whole-word-masking