Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer Task05:卷积神经网络基础
Oracle学习笔记——day03学习的好东西Oracle学习笔记——day03
1 过拟合、欠拟合及其解决方案 训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型
机器翻译及相关技术 机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出
一、梯度消失、梯度爆炸以及Kaggle房价预测 随机初始化模型参数 在神经网络中,通常需要随机初始化模型参数。下面我们来解释这样做的原因。 如果将每个隐藏单元的参数都初始化为相等的值,那么在正向传播时
2020年2月19日12:54:18 导数、偏导数、方向导数、梯度 导数,指的是一元函数中,函数y=f(x)在某一点处沿x轴正方向的变化率; 偏导数,指的是多元函数中,函数y=f(x1,x2,...,
1. 卷积神经网络基础 卷积神经网络的基础概念,主要是卷积层和池化层,并理解填充、步幅、输入通道和输出通道的含义。 使用Pytorch中的nn.Conv2d类来实现二维卷积层,主要关注以下几个构造函数
模型选择、欠拟合和过拟合 训练误差(training error):指模型在训练数据集上表现出的误差。 泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差
循环神经网络进阶 GRU(门控循环单元) 门控循环神经网络,为了更好地捕捉时间序列中时间步距离较大的依赖关系。 其中,门控循环单元(gated recurrent unit,GRU)是一种常用的门控循
单个神经元网络 简化表示 正向传播:W*X+B=y W,B为参数,X为样本值,y为预测值,Y为标签值 反向传播:根据差值标签值Y-预测值y,对W和B进行相应的调整。 循环往复进行 softmax分类算
