暂无评论
权重衰减 方法 权重衰减等价于 L2 范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。 L2 范数正则化(regulari
过拟合、欠拟合及其解决方案 1.概念 无法得到较低的训练误差称作欠拟合 得到的误差极小即远小于训练集的误差称作过拟合 2.模型选择 验证数据集 从严格意义上讲,测试集只能在所有超参数和模型参数选定后使
知识点协变量偏移标签偏移概念偏移 协变量偏移 在传统机器学习中,一个常见的问题的协变量偏移(Covariate Shift)。协变量是一个统计学概念,是可能影响预测结果的统计变量。 在机器学习中,协变
机器翻译及相关技术 机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出
使用全连接层的局限性: 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 对于大尺寸的输入图像,使用全连接层容易导致模型过大。 使用卷积层的优势: 卷积层保留输入形状
LeNet模型1. LeNet模型2. PyTorch实现2.1 模型实现2.2 获取数据与训练 1. LeNet模型 LeNet分为卷积层块和全连接层块两个部分。下面我们分别介绍这两个模块。 卷积层
house price 学习记录。 %matplotlib inline import torch import torch.nn as nn import numpy as np import pa
这是最新的一期深度学习内部资料，里面涉及到BP神经网络、CNN、RNN以及优化算法、如何调参等。适合零基础和有一些基础像加深对BP神经网络理解的初学者
有效长度 def SequenceMask(X, X_len,value=0): maxlen = X.size(1) mask = torch.arange(maxlen)[None, :].to(
疑问及思考:对于梯度爆炸与梯度消失的影响理解还不透彻,只知道多层神经网络后梯度可能趋于非常大或者接近0 的值, 但实际上呢?例如权重裁剪,可以解决爆炸的问题吗?会不会反而带来了梯度消失的问题?这种是不
暂无评论