动手学深度学习

house price 学习记录。 %matplotlib inline import torch import torch.nn as nn import numpy as np import pa

这是最新的一期深度学习内部资料，里面涉及到BP神经网络、CNN、RNN以及优化算法、如何调参等。适合零基础和有一些基础像加深对BP神经网络理解的初学者

有效长度 def SequenceMask(X, X_len,value=0): maxlen = X.size(1) mask = torch.arange(maxlen)[None, :].to(

疑问及思考:对于梯度爆炸与梯度消失的影响理解还不透彻,只知道多层神经网络后梯度可能趋于非常大或者接近0 的值, 但实际上呢?例如权重裁剪,可以解决爆炸的问题吗?会不会反而带来了梯度消失的问题?这种是不

机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer 2.15-2.19 一、机器翻译及相关技术 定义: 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解

一、欠拟合与过拟合 误差: 训练误差(training error):指模型在训练数据集上表现出的误差 泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差

GRU RNN存在的问题:梯度较容易出现衰减或爆炸(BPTT) ⻔控循环神经网络:捕捉时间序列中时间步距离较大的依赖关系 RNN: Ht=φ(XtWxh+Ht−1Whh+bh) H_{t} = φ(X

参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接:https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/qC-4

过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 2.15-2.19 一、过拟合、欠拟合及其解决方案 1、过拟合问题 模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(

1.过拟合欠拟合及其解决方案 1.1概念 欠拟合(underfitting):模型无法得到较低的训练误差; 过拟合(overfitting):模型的误差远小于它在测试数据上的误差。 给定训练集,模型复