欢迎转载，作者：Ling，注明出处：深度学习：原理简明教程19-深度学习:序列模型与RNN

什么是Neural Network（NN）：

神经网络训练输出是没有位置信息的。所以需要专门的序列模型。

什么是序列模型：

处于中间的这个就是序列模型。

处理序列模型的算法有：

• AR/MA/ARMA/ARIMA
• Linear Logistic Regression
• Hidden Markov Model(HMM)
• Conditional Random Field (CRF)
• Neural Network (NN): Simple RNN (Recurrent Neural Networks), GRU (Gated Recurrent Unit), LSTM (Long Short-term Memory)

目前最热门的就是RNN

序列模型可以处理的问题：

• Stock Prediction
• Shakespeare style creation
• IMDB
• Translation/Chinese IME/Speech Recognition
• CNN结合：Video分类

RNN (Recurrent Neural Networks)：

也叫Simple RNN，因为每个hidden layer很简单，就是一些隐含层节点

每个隐含层计算公式和一般神经网络没啥区别：

为什么叫RNN：

可以写成这样

也可以写成这样：

不就循环了么

注意和Recursive Neural Network区分：

它可以任意结构

RNN序列模型类型：

1:1

1:m

m:1

m:m

​

n:m

​