《动手学深度学习》组队学习 Task03 05

Task 03 过拟合、欠拟合及其解决方案 本节主要内容有三点: 1.过拟合、欠拟合的概念 2.权重衰减 3.丢弃法 这里对过拟合、欠拟合的概念解释,引入了两个我之前没重视的概念:训练误差和泛化误差。 训练误差(training error),指模型在训练数据集上表现出的误差; 泛化误差(generalization error),指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 欠拟合现象:模型无法达到一个较低的误差。 过拟合现象:训练误差较低但是泛化误差依然较高,二者相差较大。 这里使用泛化误差和训练误差之间的关系来定义过拟合和欠拟合的概念,学习到了