动手学深度学习 task2

一、深度学习中的一些常见问题及解决方案 (1)欠拟合 欠拟合即模型无法得到较低的训练误差,导致欠拟合的主要原因是模型复杂度不够,特征维度过少,导致拟合的函数无法满足训练集,误差较大。 (2)过拟合 过拟合即模型的训练误差远小于它在测试数据集上的误差,导致过拟合的主要原因是模型复杂度过高,特征维度过多,导致拟合的函数完美的经过训练集,但是对新数据的预测结果则较差。 (3)解决方案 1、应对欠拟合问题,即增加其特征维度,优化模型,提升复杂度即可。 2、应对过拟合问题,有两种常见的解决方案:权重衰减和丢弃法: *权重衰减:等价于 L2范数正则化(regularization)。正则化通过为模型损失函