内容纲要

欢迎转载,作者:Ling,注明出处:深度学习:原理简明教程19-深度学习:序列模型与RNN

 

什么是Neural Network(NN):

dl_19_001

神经网络训练输出是没有位置信息的。所以需要专门的序列模型。

 

什么是序列模型:

dl_19_002

处于中间的这个就是序列模型。

 

处理序列模型的算法有:

  • AR/MA/ARMA/ARIMA
  • Linear Logistic Regression
  • Hidden Markov Model(HMM)
  • Conditional Random Field (CRF)
  • Neural Network (NN): Simple RNN (Recurrent Neural Networks), GRU (Gated Recurrent Unit), LSTM (Long Short-term Memory)

 

目前最热门的就是RNN

 

序列模型可以处理的问题:

  • Stock Prediction
  • Shakespeare style creation
  • IMDB
  • Translation/Chinese IME/Speech Recognition
  • CNN结合:Video分类

 

RNN (Recurrent Neural Networks):

dl_19_003

也叫Simple RNN,因为每个hidden layer很简单,就是一些隐含层节点

每个隐含层计算公式和一般神经网络没啥区别:

dl_19_004

为什么叫RNN:

可以写成这样

dl_19_005

也可以写成这样:

dl_19_006

不就循环了么

 

注意和Recursive Neural Network区分:

dl_19_007

它可以任意结构

 

RNN序列模型类型:

1:1

dl_19_008

1:m

dl_19_009

m:1

dl_19_010

m:m

dl_19_011

 

n:m

dl_19_012