过拟合与欠拟合 基本概念 过拟合:模型的训练误差远小于它在测试数据集上的误差。 欠拟合:模型无法得到较低的训练误差。 解决方案 权重衰减 权重衰减等价于 L2L_2L2​ 范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。 丢弃法 多层感知机中神经网络图描述了一个单隐藏层的多层感知机。其中输入个数为4,隐藏单元个数为5,且隐藏单元hih_ihi​(i=1,...,5i=1, \ldots, 5i=1,...,5)的计算表达式为 hi=φ(x1w1i+x2w2i+x3w3i+x4w4i+bi) h_i = \phi\left(