意味着老师是更好的榜样 ---- ---- ---- 作者:Harti Valpola()Antti Tarvainen 方法 平均老师是半监督学习的一种简单方法。 它包括以下步骤: 采用受监管的体系结构并复制它。 让我们将原始模型称为学生,将新模型称为老师。 在每个训练步骤中,将相同的小批量用作学生和老师的输入,但分别向输入添加随机增强或噪声。 在softmax之后,在学生和教师的输出之间增加额外的一致性成本。 让优化器正常更新学生权重。 让教师权重为学生权重的指数移动平均值(EMA)。 也就是说,在每个训练步骤之后,将教师的权重向学生的权重稍作更新。 我们的贡献是最后一步。 莱