内容纲要

欢迎转载,作者:Ling,注明出处:深度学习:原理简明教程05-深度学习

 

深度神经网络就是隐含层节点数目和层数非常多的网络,其进化如下图:

每个节点都是如下结构

 

dl_05_001

浅层神经网络:逻辑回归

dl_05_002

1隐含层,2层神经网络:

dl_05_003

两隐含层,3层神经网络:

dl_05_004

5隐含层,六层神经网络:

dl_05_005

后面的越来越“deep”。

深度网络:就是由很多层,每层很多神经元,最后构成一个比较深的神经网络。

深度神经网络的学习:和之前介绍的方法完全类似,通过BP算法更新各大参数值,从而训练好深度神经网络。

 

这里我主要补充一下,深度学习各个值和各个值的维度关系,通过维度检查,可以比较容易确保你构造的深度神经网络没有问题。

 

例子

dl_05_006

注意:[i]表示第i层

 

对于一个实例训练

前向

dl_05_007

后向:

dl_05_008

对于多个实例训练,所有1变成m即可:

dl_05_009

以上就是深度学习最核心内容的介绍,接下来我将介绍深度学习的其他内容,比如参数初始化,为什么要非线性激活,有哪些非线性激活函数等等。