5/5/2020第六章循环神经网络(RNN)·第六章循环神经网络(RNN)o6.1为什么需要RNN?o6.2图解RNN基本结构■6.2.1基本的单层网络结构■6.2.2图解经典RNN结构·6.2.3 vector--to-sequence:结构■6.2.4 sequence-to-vector结构■6.2.5 Encoder-Decoder?结构·6.2.6以上三种结构各有怎样的应用场景■6.2.7图解RNN中的Attention机制o6.3RNNs典型特点？。6.4CNN和RNN的区别？o6.5RNNs和FNNs有什么区别？o6.6RNNs训练和传统ANN训练异同点？。6.7为什么RNN训练的时候Loss波动很大。6.8标准RNN前向输出流程。6.9BPTT算法推导。6.9RNN中为什么会出现梯度消失？o6.10如何解决RNN中的梯度消失问题？o 6.11 LSTM■6.11.1LSTM的产生原因■6.11.2图解标准RNN和LSTM的区别■6.11.3LSTM核心思想图解■6.114LSTM流行的变体o6.12 LSTMs与GRUs的区别o6.13RNNs在NLP中典型应用？。6.13常见的RNNs扩展和改进模型6.13.1 Simple RNNs(SRNs)6.13.2 Bidirectional RNNs■6.13.3 Deep RNNs6.13.4 Echo State Networks (ESNs)6.13.4 Gated Recurrent Unit Recurrent Neural Networks6.13.5 Bidirectional LSTMs■6.13.6 Stacked LSTMs6.13.7 Clockwork RNNs(CW-RNNs)■6.13.8CNN-LSTMs。参考文献第六章循环神经网络(RNN)6.1为什么需要RNN?时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。一般的神经网络，在训练数据足够、算法模型优越的情况下，给定特定的x,就能fle://home/shishuai/Desktop/第六章循环神经网络(RNN).html1/2955/2020第六章循环神经网络(RNN)得到期望y。其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如：当我们在理解一句话意思时，孤立的理解这句话的每个词不足以理解整体意思，我们通常需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就由此诞生了。6.2图解RNN基本结构6.2.1基本的单层网络结构在进一步了解RNN之前，先给出最基本的单层网络结构，输入是$x$,经过变换Wx+b和激活西数f得到输出y:y=f(Wx+b)6.2.2图解经典RNN结构在实际应用中，我们还会遇到很多序列形的数据，如：·自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。·语音处理。此时，×1、x2、x3…是每帧的声音信号。·时间序列问题。例如每天的股票价格等等。其单个序列如下图所示：le:///home/shishuai/Deskto p/第六章循环神经网铬(RNN).html5/5/2020第六章循环神经网络(RNN)前面介绍了诸如此类的序列数据用原始的神经网络难以建模，基于此，RNN引入了隐状态h(hidden state).,h可对序列数据提取特征，接着再转换为输出。为了便于理解，先计算h1:4注：图中的圆圈表示向量，箭头表示对向量做变换。RNN中，每个步骤使用的参数$U,W,b$相同，$h2$的计算方式和$h1$类似，其计算结果如下：h f(Ux,+Wh +b)X2计算hg,h4也相似，可得：1接下来，计算RNN的输出y1,采用Softmax作为激活函数，根据n=f(Wx+b),得fHle://home/shishuai/Deskto p/第六章循环神经网铬(RNN).html3/29