带有BERT的UDA(无监督数据增强) 这是Kakao Brain的Pytorchic BERT 在pytorch中对Google的UDA 重新实现。 模型 UDA官方 这个仓库 UDA(X) 68% 乌达(O) 90% 88.45% (最大序列长度= 128,火车批次大小= 8) UDA UDA(无监督数据增强)是一种半监督学习方法,可在多种语言和视觉任务上实现SOTA结果。 仅用20个标记的示例,UDA的性能就优于之前在25,000个标记的示例上训练的IMDb上的SOTA。 (BERT = 4.51,UDA = 4.20,错误率) 用于一致性培训的无监督数据增强(2019 Google Brain,Q Xie等) -UDA与BERT UDA是BERT的一部分。 这意味着UDA充当BERT的助手。 因此,在上图中,模型M是BERT。 - 失利 UDA包括有监督的损