Use transformers train Bert from scratch:TIANCHI 小布助手对话短文本语义匹配BERT基准 源码

在本文中，我们提出了一种新的动态BERT模型(简称DynaBERT)，它可以在自适应的宽度和深度上运行。DynaBERT的训练过程包括首先训练一个宽度自适应的BERT，然后通过从全尺寸的模型中提取知识

预训练在自然语言处理的发展:从Word Embedding到BERT模型

BERT(利用transformer进行双向编码表征)是一种预训练语言表示的新方法,它在一系列自然语言处理(NLP)任务中获得了最先进的结果。该资源翻译了BERT Google官方提供的指南。翻译的目

该文档主要是bert论文的Python代码实现，在多个数据集实现较好效果

bert 做文本分类bert

使用BERT与TensorFlow Hub进行电影评论的情感分类，内容丰富详实，一共62页，值得深入学习。

用脑图解析bert代码架构,其中有丰富的备注,备注每个函数是怎么实现的。

这个演示文稿是对《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》一文的导读，深入解释

简洁优雅的实现和调用bert方式，十行代码

实验中对中文34个topic进行实践（包括：时政，娱乐，体育等），在对run_classifier.py代码中的预处理环节需要加入NewsProcessor模块，及类似于MrpcProcessor，但