BERT pytorch 源码

伯特·比托奇 Google AI的2018 BERT的Pytorch实现,带有简单注释 BERT 2018 BERT:用于语言理解的深度双向变压器的预培训论文URL: : 介绍 Google AI的BERT论文显示了在各种NLP任务(新的17个NLP任务SOTA)上的惊人结果,包括胜过SQuAD v1.1 QA任务的人类F1得分。 本文证明,通过适当的语言模型训练方法,基于Transformer(自注意)的编码器可以有效地替代先前的语言模型。 更重要的是,他们向我们展示了这种经过预先训练的语言模型可以转移到任何NLP任务中,而无需建立特定于任务的模型体系结构。 这个惊人的结果将记录在NLP历史上,我希望有关BERT的更多论文很快就会发表。 此仓库是BERT的实现。 代码非常简单,易于理解。 其中一些代码基于带 目前,该项目正在进展中。 并且代码尚未验证。 安装 pip insta