weighted_hybrid_transformer 在“开放字幕”数据集上进行训练的编码器-解码器变压器模型。 变压器有四个变体,可以“混合”,“加权”,“ weighted_plus”和“基线”使用。 “混合”模型是一个多任务转换器,除了执行响应生成外,还执行响应检索和重新排序任务。 “加权”和“加权加”模型对高频词的交叉熵损失应用修饰符,以减少其在数据集中过分表达的影响,并在理论上减少模型的产生。 “基准”是没有上述任何一项的常规变压器。 所使用的特定变压器架构在很大程度上是Vaswani等人(2017) 变压器的较小版本。 依存关系: 张量流> = 2.3.1 nltk> =