文章目录过拟合、欠拟合及其解决方案一些概念过拟合、欠拟合的概念模型复杂度权重衰减目的L2L_{2}L2​范数正则化(regularization)丢弃法梯度消失、梯度爆炸 Vanishing, explosion介绍随机初始化模型参数考虑环境因素协变量偏移标签偏移概念偏移 过拟合、欠拟合及其解决方案 一些概念 训练误差 Training error & 泛化误差 Generalized error: 前者 模型在训练数据集上表现出的误差 ; 后者 模型在任意一个测试数据样本上表现出的误差的期望,常常通过测试数据集上的误差来近似。计算二者可用损失函数,e.g.: 平方损失函数、Softmax用到