内容纲要

欢迎转载,作者:Ling,注明出处:深度学习:原理简明教程02-概述和历史

参考:大量论文和资料

著名会议

  • NIPS,神经信息处理系统
  • ICML,国际机器学习大会
  • ICLR,International Conference on Learning Representations
  • ICASSP,国际声学、诧音不信号处理会议
  • IJCNN,International Joint Conference on Neural Networks
  • IJCAI,International Joint Conference on Artificial Intelligence
  • CVPR,IEEE国际计算机视觉不模式识别会议
  • ICCV,IEEE International Conference on Computer Vision
  • ECCV,欧洲计算机视觉国际会议
  • AISTATS,International Conference on Artificial Intelligence and Statistics
  • 重要的研究组:http://deeplearning.net/deep-learning-research-groups-and-labs/
  • ImageNet

 

看名人知历史:

  • 早期:

William James:心理学家,提出生物体的神经网络

McCulloch和Pitts:精神病学家与数学家提出 M-P模型:神经元,“全或无”,同步运行,是人工神经网络起点

Hebb:生物学家,提出学习规则,激活,权值,是自学习理论灵感源泉

Rosenblatt:感知器,掀起神经网络第一次热潮,提出收敛,Widrow和Hoff引入最小均方误差准则(LMS),认为可以完成大脑想做的事情

Minsky:人工智能之父,1969和Papert出版《感知器》,指出单层感知器存在致命缺陷,只能做相信运算,连抑或都无法处理,非线性一定要有隐含层,但是没法证明其意义,之后是人工神经网络的十年低迷

  • 低潮期的勇者:

Kohonen提出自组织网络

Grossberg提出共振理论

福岛邦彦提出“新认知机”

  • 复兴期:

JJ.Hopfield: 1982年提出Hopfield神经网络模型(带记忆,反馈到稳态,局部最小->模拟退火->波尔兹曼->受限的波尔兹曼)

Rumelhart,Hinton和Williams:BP算法,其中Rumelhart和McClellan《Parallel distribution processing: explorations in the microstructures of cognition》是BP基础

多层神经网络问题:学习信号递减,非凸多个极值,易局部最小,浅层无法模拟人行为,需要深层

深层神经网络:深度学习,组合低层得到抽象的高层

Hinton:谷歌大脑目前领导者,桃李满天下,NN幕后推手,深度置信网络(DBN),受限的玻尔兹曼机(有了好的初始值,这样才能更容易局部最优),为深层带来希望

Lecun:,Hinton学生,手写图像识别,CNN是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高学习性能,facebook人工智能掌门人

Andrew Wu:Coursera创始人,stanford人工智能主任,谷歌大脑,百度大脑首席科学家

谷歌:谷歌大脑,识别猫,语音识别,自动汽车,alphago(Demis Hassabis),TensorFlow开源

微软:深度残差网络,CNTK开源

当今名人堂:

dl_02_001

 

左边三个人是深度学习三驾马车,Hinton目前在Google,LeCun在Facebook,Bengio在微软。

深度学习不太容易介绍主要原因是目前还没有一本我认为特别好的教程作为参考主线,机器学习比较好的参考教程主线是《统计学习方法》,但是深度学习没有,所以我按照我的思路,接下来将按下面内容进行介绍:

  • 单层感知机与神经网络
  • 多层感知机与BP神经网络
  • 卷积神经网络CNN
  • 循环神经网络RNN
  • LSTM
  • 残差神经网络

至于其他的DBN,自编码器,Sequence 2 Sequence模型,Alpha Go等内容,我会以专题形式讲解,因为主要掌握以上内容就足够了,其他都是以上内容的变形或者非主流。