多种语言的预训练ELMo表示 我们发布了接受多种语言培训的ELMo表示形式,这有助于我们赢得LAS根据赢得的。 技术细节 我们使用与相同的超参数设置 for biLM和角色CNN。 我们根据从每种任务的共享任务(wikidump +通用抓取)发布的原始文本中随机抽取的2000万字数据集训练其参数。 我们主要基于的代码,但进行了以下更改: 我们支持unicode字符; 我们使用样本softmax技术使大词汇量的训练变得可行( )。 但是,我们使用围绕目标单词的单词窗口作为否定样本,并且在我们的初步实验中显示出更好的性能。 在NVIDIA P100 GPU上,用一种语言进行ELMo的培训