过拟合、欠拟合 训练/泛化误差 训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试
代码+视频,很好的深度学习入门书籍!亚马逊出品,李沐主讲!
《动手学深度学习》该书为官方中文版。由亚马逊首席科学家所著,手把手教你学会深度学习。作者是阿斯顿·张,李沐,[美]扎卡里·C.立顿,[德]亚历山大·J.斯莫拉。本书同时覆盖深度学习的方法和实践,不仅从
【Attention中mask pad的weight的做法】 在attention中,对attention score进行softmax时,需要考虑到query与pad计算得到的score应该忽略。我
本文的主要内容有:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer。 一、机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问
本文的主要内容有::卷积神经网络基础;leNet;卷积神经网络进阶 一、卷积神经网络基础 本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。 二维卷
资料来源:伯禹学习平台。 概念整理 K折交叉验证 由于验证数据集不参与模型训练,当训练数据不够用时,预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证(K-fold cross-validat
动手学深度学习(二)Day 3过拟合&欠拟合及其解决方案一些概念高维线性回归实验从零开始的实现丢弃法梯度消失&梯度爆炸一些理论Kaggle房价预测实战循环神经网络进阶代码实现Day 4
第二次打卡内容 Task1 过拟合欠拟合,梯度消失,爆炸,LSTM,GRU Tsak2 机器翻译,Seq2Seq, Transformer Task3 卷积神经网络基础和进阶,leNet 过拟合与欠拟
模型过拟合与欠拟合 首先我们需要区分训练误差和泛化误差。一般来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训