Learn Pytorch in 14 days (Task2)

7. 梯度消失、梯度爆炸、kaggle房价预测 7.1 目的 了解基本建模过程 7.2 概念 (1)梯度消失和梯度爆炸 梯度消失:层数太多以后,因为权重系数小于0,输出层的结果趋近于0. 梯度爆炸:层数太多以后,因为权重系数大于0,输出层的结果趋近于无穷大。 (2)随机初始化模型参数 pytorch默认随机初始化:torch.nn.init.normal_(),使模型权重采用正态分布的随机初始化。 Xavier随机初始化:假设某全连接层的输入个数为a,输出个数为b,Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布 U(−6a+b,6a+b). U\left(-\sqrt{