SciBERT SciBERT是经过科学文字训练的BERT模型。 SciBERT受过SciBERT )的论文训练。 语料库大小为114万张论文,3.1B令牌。 我们在培训中使用论文的全文,而不仅仅是摘要。 SciBERT拥有自己的词汇表( scivocab ),该词汇表最适合于训练语料库。 我们训练了有壳和无壳版本。 我们还包括在原始BERT词汇表( basevocab )上训练的模型,以进行比较。 它可在各种科学领域的nlp任务上实现最先进的性能。 评估的详细信息在。 评估代码和数据包含在此仓库中。 下载训练有素的模型 更新! 现在可以直接在allenai组织下的allenai框架内