锐度感知最小化TensorFlow 该存储库在TensorFlow 2中提供了清晰度感知最小化(SAM)()的。SAM受深层神经网络损失格局的几何形状与其泛化能力之间的联系所驱动。 SAM试图同时最小化损耗值和损耗曲率,从而在损耗值均匀较低的邻域中寻找参数。 实际上,这与传统的基于SGD的优化不同,后者基于单个参数寻找具有低损耗值的参数。 下图(摘自原始论文)展示了使用SAM的效果- 我使用此存储库的目标是能够在有和没有SAM的情况下快速训练神经网络。 所有实验均显示在SAM.ipynb笔记本中( )。 该笔记本是Google Colab上的端到端可执行文件。 此外,他们还利用Google Colab提供的免费TPU(TPUv2-8),使读者可以非常快速地进行实验。 笔记 在介绍调查结果之前,请注意我的实现中存在以下显着差异: 与PyramidNet和WideResNet相反,使用了