欠拟合与过拟合的形成原因及解决方案

对于一个机器学习或者深度学习模型而言,我们不仅希望它能在训练数据中表现较好(训练误差),同时希望它在测试集中有较好的表现(泛化误差)。过拟合和欠拟合就是用来描述泛化误差的。 欠拟合可以理解为对训练数据的信息提取不充分,没有学习到数据背后的规律,导致模型应用在测试集上时,无法做出正确的判断。 过拟合可以理解为对训练数据的信息提取过多,模型不仅学习到了数据背后的规律,还把数据噪声当做规律学习到了。这就表现为模型的训练误差较低,但是泛化误差比较高。 下面这个图截自西瓜书,很形象直观的表现出了过拟合和欠拟合。 通常欠拟合会在模型的训练初期产生,随着训练深入,一般都能够解决欠拟合的问题,如果欠拟合还是