动手学深度学习(MXNET框架)最新教程2018.7.25

知识点协变量偏移标签偏移概念偏移 协变量偏移 在传统机器学习中,一个常见的问题的协变量偏移(Covariate Shift)。协变量是一个统计学概念,是可能影响预测结果的统计变量。 在机器学习中,协变

权重衰减 方法 权重衰减等价于 L2 范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。 L2 范数正则化(regulari

过拟合、欠拟合及其解决方案 1.概念 无法得到较低的训练误差称作欠拟合 得到的误差极小即远小于训练集的误差称作过拟合 2.模型选择 验证数据集 从严格意义上讲,测试集只能在所有超参数和模型参数选定后使

Task03: 过拟合和欠拟合 一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting); 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(ov

使用全连接层的局限性: 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 对于大尺寸的输入图像,使用全连接层容易导致模型过大。 使用卷积层的优势: 卷积层保留输入形状

LeNet模型1. LeNet模型2. PyTorch实现2.1 模型实现2.2 获取数据与训练 1. LeNet模型 LeNet分为卷积层块和全连接层块两个部分。下面我们分别介绍这两个模块。 卷积层

卷积神经网络基础 二维卷积层 二维互相关运算 二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积

过拟合、欠拟合及其解决方案 过拟合和欠拟合 一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting); 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为

机器翻译及相关技术 机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出

一、梯度消失、梯度爆炸以及Kaggle房价预测 随机初始化模型参数 在神经网络中,通常需要随机初始化模型参数。下面我们来解释这样做的原因。 如果将每个隐藏单元的参数都初始化为相等的值,那么在正向传播时