BERTGoogle官方预训练模型中文版.基于Transformer变换器的双向编码器表示BERT技术由Google开发通过在所有层中共同调整左右情境利用无标记文本预先训练深度双向表示.该技术于2018年以开源许可的形式发布.Google称BERT为第一个深度双向无监督式语言表示仅使用纯文本语料库预先进行了训练Devlin et al.2018.由于绝大多数BERT参数专门用于创建高质量情境化词嵌入因此该框架非常适用于迁移学习.通过使用语言建模等自我监督任务不需要人工标注的任务训练BERT可以利用WikiText和BookCorpus等大型无标记数据集这些数据集包含超过33亿个词语.自然语言处理是当今许多商业人工智能研究的中心.例如除搜索引擎外NLP还用在了数字助手自动电话响应和车辆导航领域.BERT是一项颠覆性技术它提供基于大型数据集训练的单一模型而且已经证实该模型能够在各种NLP任务中取得突破性成果.