BERT全称为Bidirectional Encoder Representations from Transformer是谷歌在2018年10月发布的语言表示模型它的诞生对自然语言处理领域具有着里程碑式的意义.本资源在Pytorch上从零开始实现了经典的BERT模型包括BertEmbeddings BerPooler和Transformer的多头自注意力模块MultiHeadSelfAttention和前馈模块FeedForward FeedForward中的激活函数为GELU等函数的详细代码.