过拟合、欠拟合及其解决方案 1、预备知识 1.1 模型选择 验证数据集:测试集不可用于模型参数的调试,所以需要从训练数据集中分离出一部分数据作为验证数据集用来调参 1.2 K折交叉验证 目前来说深度学习研究的普遍情况是数据量不够庞大,而我们要把模型数据分成训练集、验证集,这样就会导致训练数据更加少,K折交叉验证可以解决这个问题。算法思想大概是,将训练数据集均分成K个不同子集,第 i 次选取 K[ i ] 作为验证集,其余的 K-1 个数据作为训练集,这样我们就有了K组数据,最后将K次训练误差和验证误差取平均得到模型的训练误差和验证误差 2、过拟合和欠拟合 2.1 概念 过拟合:训练集上的误差小