动手学深度学习 task_2
过拟合和欠拟合 测试数据集不可以用来调整模型参数,如果使用测试数据集调整模型参数,可能在测试数据集上发生一定程度的过拟合,此时将不能用测试误差来近似泛化误差。 过拟合是指训练误差达到一个较低的水平,而泛化误差依然较大。 欠拟合是指训练误差和泛化误差都不能达到一个较低的水平。 发生欠拟合的时候在训练集上训练误差不能达到一个比较低的水平,所以过拟合和欠拟合不可能同时发生。 过拟合还可以使用权重衰减和丢弃法来缓解,即使在一个比较小的数据集上使用了权重衰减和丢弃法之后也能够达到一个比较好的效果。 L2范数正则化也就是权重衰减是用来应对过拟合的。 梯度消失和梯度爆炸 在激活函数的选择的地方讲过,在深层网