动手学深度学习Pytorch版本学习笔记 Task4

1、卷积神经网络基础: 1.1 二维卷积操作: 二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷

模型选择、欠拟合和过拟合 训练误差(training error):指模型在训练数据集上表现出的误差。 泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差

循环神经网络进阶 GRU(门控循环单元) 门控循环神经网络,为了更好地捕捉时间序列中时间步距离较大的依赖关系。 其中,门控循环单元(gated recurrent unit,GRU)是一种常用的门控循

机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序

梯度消失和梯度爆炸 当神经网络的层数较多时,模型的数值稳定性容易变差。 假设一个层数为 L 的多层感知机的第 l 层 H(l) 的权重参数为 W(l) ,输出层 H(L) 的权重参数为 W(L) 。为

疑问及思考:对于梯度爆炸与梯度消失的影响理解还不透彻,只知道多层神经网络后梯度可能趋于非常大或者接近0 的值, 但实际上呢?例如权重裁剪,可以解决爆炸的问题吗?会不会反而带来了梯度消失的问题?这种是不

过拟合、欠拟合解决方案 过拟合、欠拟合 方法一: 加入正则项。 方法二: 丢弃法。 梯度消失、梯度爆炸 随机初始化模型参数 模型复杂度 下图是模型复杂度 LeNet 为了使读者更加形象的看到数据,添加

动手学深度学习(二)Day 3过拟合&欠拟合及其解决方案一些概念高维线性回归实验从零开始的实现丢弃法梯度消失&梯度爆炸一些理论Kaggle房价预测实战循环神经网络进阶代码实现Day 4

文章目录6.6 通过时间反向传播6.6.1 定义模型6.6.2 模型计算图6.6.3 方法6.7 门控循环单元(GRU) 6.6 通过时间反向传播 6.6.1 定义模型 6.6.2 模型计算图 重点:

这是一个深症学习的教掌项目。我们将使用Apsxhe vogtet finoubating）的最新gluon 按口来养示如何从0开始实现家宜学习的各个辅法，我们的梅利用 upyter notebook