动手学深度 Task03

疑问及思考:对于梯度爆炸与梯度消失的影响理解还不透彻,只知道多层神经网络后梯度可能趋于非常大或者接近0 的值, 但实际上呢?例如权重裁剪,可以解决爆炸的问题吗?会不会反而带来了梯度消失的问题?这种是不是得通过实验来获得感性认识。 过拟合、欠拟合以及解决方案; 梯度消失梯度爆炸;循环神经网络进阶 训练集、验证集、测试集 验证集与测试集的差异 验证集用于调参,而测试集仅仅用于评价模型好坏,不能用于调参 而测试集往往较大, 大于训练集与验证集 过拟合解决 drop out, 以一定概率关闭一层内的神经元,降低对某些神经元的依赖,从而提高鲁棒性 k 折, 通过k折法来调参选参 权重衰减, L2范数正则