Disout:功能图变形以规范化深度神经网络 该代码是AAAI 2020论文《规范化的Pytorch实现。 深度神经网络通常包含大量可训练的参数,用于从给定的数据集中提取强大的特征。 一方面,大量的可训练参数极大地增强了这些深度网络的性能。 另一方面,它们带来了过度拟合的问题。 为此,基于丢包的方法在训练阶段会禁用输出特征图中的某些元素,以减少神经元的共适应。 尽管通过这些方法可以增强所得模型的泛化能力,但是常规的二进制丢弃并不是最佳的解决方案。 因此,我们研究了与深度神经网络中间层有关的经验Rademacher复杂度,并提出了一种用于解决上述问题的特征失真方法(Disout)。 在训练期间,将通过利用泛化误差范围将特征图中随机选择的元素替换为特定值。 在几个基准图像数据集上分析并证明了所提出的特征图失真对于产生具有更高测试性能的深度神经网络的优越性。 要求 Python3 pytor