批量归一化 && 残差网络

基于此前对于CNN的介绍 Fundamentals of Convolutional Neural Networks LeNet && ModernCNN 就深层次 CNN 的结构进一步探讨归一化和残差网络。 批量归一化(BatchNormalization) 让网络训练归一化变得更加容易,本质是一种对数据的标准化处理 分类 对输入的标准化(浅层模型) 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化(深度模型)随着模型参数的迭代更新,靠近输出层的数据剧烈变化 利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个