训练误差和泛化误差 训练误差: 在训练数据上表现得误差 泛化误差:在任意测试数据上表现的误差的期望 通过损失来衡量误差。例如,线性回归用平方损失函数,softma用的交叉熵回归。 模型的核心是降低泛化误差。 常见训练数据划分方法 1.留有一定比例的验证集 2. K折交叉验证 欠拟合(无法得到较低的误差)和过拟合(训练误差远小于测试误差) 产生的原因: 模型复杂度和训练数据 1.模型复杂度 2. 训练数据 一般来说训练数据随模型成正比例关系。 解决方法 : L2范数正则化 通过模型的计算误差来惩罚模型 公式上计算 为权重参数每个元素的平方和一个正数的乘积 l(w1,w2,b)=1n∑i=1n12