【人工智能学习】【十四】Normalization

Normalization 首先来看批量归一化(Batch Normalization)1,来源是2015年的一篇论文,这个方法现在被大量引用,可以提高神经网络训练速度,泛化能力等。 神经网络对数据集的训练,其实是在学习数据集的分布,一旦数据分布不同(Internal Covariate Shift),会带来训练速度降低(训练集分布改变)、预测能力下降(测试集分布改变)的问题,神经网络对数据分布敏感,一旦前面有微小的变化,经过网络层层传递可能会将这种变化放大。 从名字上可以了解到,BatchNormalization的重点在Normalization,除了Batch Normalization