Augmenting Knowledge Distillation with Peer to Peer Mutual Learn

知识蒸馏KD是一种有效的模型压缩技术是教授紧凑的学生网络来模仿复杂且训练有素的教师网络的行为.相比之下相互学习ML提供了一种替代策略即使没有强大但静态的教师网络也可以从共享知识中使多个简单的学生网络受益.在这些发现的激励下我们提出了一个单教师多学生的框架该框架利用KD和ML来实现更好的表现.此外我们还利用在线蒸馏策略同时培训教师和学生.为了评估所提出的方法的性能我们使用三种不同版本的师生网络对基准生物医学分类MSI与MSS和目标检测息肉检测任务进行了广泛的实验.以提议的方式训练的学生网络集合比单独使用KD或ML训练的学生集合取得了更好的结果从而确立了通过学生之间的点对点学习增强教师向学生的知识转移的好处.