bert_extension_tf:TensorFlow中的BERT扩展 源码
BERT扩展 (来自变压器的双向编码器表示)是Google AI语言小组提出的一种通用的自动编码预训练方法,它在11个NLP任务(包括问题回答,自然,语言推理和情感分析)方面获得了最新的技术成果。 BERT旨在通过在所有层的左,右上下文上共同进行条件调节来预训练来自未标记文本的深层双向表示,这使它可以轻松地针对下游任务进行微调,而无需进行大量针对特定任务的体系结构修改。 该项目旨在提供基于当前BERT的扩展,并将BERT的功能带给NER和NLU等其他NLP任务。 图1:在不同任务上对BERT进行微调的图示 环境 的Python 3.6.7 Tensorflow 1.13.1 NumPy 1.13.3 数据集 是一个多任务数据集,包含3个子任务,POS标记,语法块和NER。 对于NER子任务,它包含4种命名实体:不属于前三组的人员,位置,组织和杂项名称。 (航空公司旅行信息系统)