Localization Distillation for Dense Object Detection
知识蒸馏KD在目标检测中学习紧凑模型方面的强大能力.以往的目标检测KD方法主要集中在模仿模仿区域内的深度特征而不是模拟分类logit因为它在提取定位信息方面效率低下而且改进微不足道.本文通过重构定位知识蒸馏过程提出了一种新的定位蒸馏LD方法该方法可以有效地将定位知识从教师传递给学生.此外u我们还启发式地引入了有价值的定位区域的概念可以帮助选择性地提取特定区域的语义和定位知识.结合这两个新组件我们首次证明了logit模拟可以优于特征模仿而定位知识蒸馏在提取对象检测器方面比语义知识更重要更有效.u我们的蒸馏方案简单而有效可以很容易地应用于不同的密集物体探测器.实验表明我们的LD可以在COCO基准测试中将GFocal ResNet50的AP分数从1.40提高到1.42而不会牺牲推理速度.我们的源代码和预训练模型可在https github.com HikariTJU LD公开获得.
