信用 作为本文的一部分,我们将对LUKE模型进行全面研究。 大部分代码源自GitHub存储库: : 。 这项工作是由山田郁也和他的团队完成的。 如果您对原始作品有兴趣,请找到。 请注意,由于我仍在撰写论文,因此此repo可能会发生变化。 入门 LUKE(L anguageû具有K基于nowledge-E mbeddings nderstanding)是一种基于变压器的单词和实体的新预训练情境化表示。 它在重要的NLP基准上获得了最新的结果,这些基准包括 (抽取式问题回答), (命名为实体识别), (式问题回答), (关系分类)和(实体键入)。 该存储库包含用于预训练模型并对其进行微调以解决下游任务的源代码。 与最新技术的比较 在五个重要的NLP任务上,LUKE的性能优于以前的最新方法: 任务 数据集 公制 卢克 以前的SOTA 提取式问答 EM / F1 90.2