一 过拟合与欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 1 训练误差与泛化误差 训练误差:在训练集上的数据误差; 泛化误差:在其他任意数据集上的误差的期望,常用测试集误差来近似 模型选择:通常用验证集来进行模型选择 K折交叉验证:将数据集分成相等的K个子数据集来进行K次训练和验证,每次将其中1个当作验证集进行验证模型,另外K-1个数据集进行训练,最后K次后取训练误差的均值和验证误差的均值 2 过拟合和欠拟合 过拟合:训练集的误差远小于测试集的误差 欠拟合:模型无法得到较小的训练误差 其主要讨论模型复杂度和数据及大小,常用多项式拟合实验来观察比较训练误差和泛化误差 3 过拟合