UniLM 预训练的自然语言理解(NLU)和生成(NLG)任务模型 UniLM系列: ( v1@NeurIPS'19 | v2@ICML'20 ):语言理解和生成的统一预培训 ( new ):用于语言理解和生成的多语言/跨语言预训练模型 ( v1@NeurIPS'20 ):用于语言理解和生成的小型预训练模型 ( v1@KDD'20 | v2 ):用于文档理解(例如,扫描的文档,PDF等)的多模式(文本+布局/格式+图像)预训练 :序列到序列微调工具包 ( NEW ):带预训练的跨语言编码器的多语言NMT 新闻 2020年12月29日: 随新的SOTA一起发布,用于各种文档AI任