深度学习:原理简明教程19-深度学习:序列模型与RNN
内容纲要
欢迎转载,作者:Ling,注明出处:深度学习:原理简明教程19-深度学习:序列模型与RNN
什么是Neural Network(NN):
神经网络训练输出是没有位置信息的。所以需要专门的序列模型。
什么是序列模型:
处于中间的这个就是序列模型。
处理序列模型的算法有:
- AR/MA/ARMA/ARIMA
- Linear Logistic Regression
- Hidden Markov Model(HMM)
- Conditional Random Field (CRF)
- Neural Network (NN): Simple RNN (Recurrent Neural Networks), GRU (Gated Recurrent Unit), LSTM (Long Short-term Memory)
目前最热门的就是RNN
序列模型可以处理的问题:
- Stock Prediction
- Shakespeare style creation
- IMDB
- Translation/Chinese IME/Speech Recognition
- CNN结合:Video分类
RNN (Recurrent Neural Networks):
也叫Simple RNN,因为每个hidden layer很简单,就是一些隐含层节点
每个隐含层计算公式和一般神经网络没啥区别:
为什么叫RNN:
可以写成这样
也可以写成这样:
不就循环了么
注意和Recursive Neural Network区分:
它可以任意结构
RNN序列模型类型:
1:1
1:m
m:1
m:m
n:m
留言