BERT pytorch:Google AI 2018 BERT pytorch实施 源码

伯特·比托奇 Google AI的2018 BERT的Pytorch实现,带有简单注释 BERT 2018 BERT:用于语言理解的深度双向变压器的预培训论文URL: : 介绍 Google AI的BERT论文显示了在各种NLP任务(新的17个NLP任务SOTA)上的惊人结果,包括在SQuAD v1.1 QA任务上的表现优于人类F1得分。 本文证明,通过适当的语言模型训练方法,基于Transformer(自注意)的编码器可以有效地替代先前的语言模型。 更重要的是,他们向我们展示了这种预先训练的语言模型可以转移到任何NLP任务中,而无需建立特定于任务的模型体系结构。 这个惊人的结果将记录