权重衰减 方法 权重衰减等价于 L2 范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。 L2 范数正则化(regularization) L2 范数正则化在模型原损失函数基础上添加 L2 范数惩罚项,从而得到训练所需要最小化的函数。 L2 范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例 l(w1,w2,b)=1n∑i=1n12(x(i)1w1+x(i)2w2+b−y(i))2 其中 w1,w2 是权重参数, b 是偏差参数,样本 i 的输入为 x(i)1,x(