详细地介绍了经典的RNN、RNN几个重要变体,以及Seq2Seq模型、Attention机制。 #一、从单层网络谈起 在学习RNN之前,首先要了解一下最基本的单层网络,它的结构如图: #二、经典的RNN结构(N vs N) 如: 自然语言处理问题。x1可以看做是第一个单词,x2可以看做是第二个单词,依次类推。 语音处理。此时,x1、x2、x3......是每帧的声音信号。 时间序列问题。例如每天的股票价格等等 序列形的数据就不太好用原始的神经网络处理了。为了建模序列问题,RNN引入了隐状态h(hidden state)的概念,h可以对序列形的数据提取特征,接着再转换为输出。先从h1的计算开始看: