从“图灵奖”，探析“深度学习”发展史

3月27日，ACM（Association for ComputingMachinery, 国际计算机协会）宣布杰弗里·辛顿（Geoffrey Hinton）、杨立昆（Yann LeCun）和约书亚·本吉奥（YoshuaBengio)这三大"深度学习"巨头， 成为2018年图灵奖得主。用来褒奖他们推动深度神经网络成为计算机技术的重要组成部分。

图灵奖是由ACM（国际计算机学会）于1966年设置，它设立目的之一是纪念著名的计算机科学先驱艾伦·图灵。

图灵奖是计算机科学领域的最高奖（此处应该有掌声）。获奖者必须在计算机领域具有持久重大的先进性技术贡献。

像人工智能领域的先驱马文·明斯基（Marvin Lee Minsky）、约翰·麦卡锡（John McCarthy）、艾伦·纽厄尔（Allen Newell）和司马贺（Herbert Alexander Simon）等人都曾经获奖。华人科学家姚期智2000年因为伪随机数生成等计算领域的重要贡献获奖。

不过啊，真要谈到为什么要把奖颁给他们，ACM主席的颁奖词一句话总结就是：这三位在深度学习领域的贡献，使得算法变得更准了。"

嗯？这是什么意思？请跟小编我接着往下看

这就涉及到传统的计算模式了，像是计算机中的纸牌游戏等，其实呀，是以人工编写的专家知识为基础，通过事先定义好的规则模板，和人工设计的算法等来指导机器执行。

不过在深度学习中，计算机则不会得到如何解决某个任务的具体说明，"计算机可以像人类一样思考，依靠直觉而不是规则。"深度学习深受大脑工作模式启发，尤其是神经元互连性的影响，而人工神经网络具有多个层级，每个层级可识别对象的一个独特特性，能够完成特别复杂的运算。

比方像现在特别火热的"人脸识别""智能家庭助手""语音和图像识别"都是通过深度学习完成的一系列"神操作"得来的。

就是这"响当当"的三位大牛，推动了深度学习不断前进。他们不但在 2010 年帮助微软、IBM 和 Google 拓展了语音识别的边界，更是在图像识别做了相同的工作，一直到 2012 年，Hinton 领衔的团队在 ImageNet 图像识别挑战赛一战成名，就掀开了人工智能的崭新一页。

这里，其实有个很显著的一个变化就是：你有没有察觉到在线翻译工具的精准度有了巨幅的提升？

最神奇的是，在2018年的人工智能大会上—— 台上主讲嘉宾带着口音噼里啪啦，而旁边的巨幅投影翻译工具，倒是时刻都不停歇，还在马不停蹄地逐句翻译。尽管速度没有那么迅速，但不可思议的是，准确率竟然高达90%以上，如果你坐在下面，想必会被他给惊艳到~

再往两年前走，你就会发现很多的语言翻译软件，都是很"呆板"的，就像个没有思考力的机器人一样，让你干啥就去干啥，只能进行简单得动作，它是以规则模板为主导，

比如预先有一系列的模板包含着各类句式，机器看到句子，它先用各类模板去套用。一旦句子不够标准，不符合原先存有的模板，翻译质量就会随之下降。"如果是你我这样的自由对话，你就会发现翻译结果是不流利的。总的来说，这就是机器的"能力"比较差。

但现在的随着人工智能的快速发展，深度学习的运用也更加广泛。无论是在公安系统领域，人脸识别以及语言识别的快速发展，不止提升了抓犯人的效率，还是在医疗领域里熟练运用的"计算机视觉"，医疗成像的出现，更是让人类更清晰的辨别身体部位是否存在疾病。

想象一下，当你因为某个部位疼痛或者不舒服的时候，去到医院只用一个扫描机器就能看出问题，那该是多么美好，多么美妙啊~既省去了各种各样的医疗费用，自己还能省事不少。想想就很开心。

如今，这图灵奖获得者的三位，Hinton 加入了 Google，同时在多伦多大学继续研究工作；LeCun 是 Facebook 的首席人工智能科学家，同时也是纽约大学的教授；Bengio 拒绝了科技巨头的邀请，他是蒙特利尔大学的教授，并创立了一家名为 Element AI 的 AI 公司。（牛掰，超大声）

说了这么多，大家想不想知道深度学习的发展史呢？毕竟要想了解一个新的领域，就要从他的历史开始嘛。（笑）

这部分小编会分两个章节跟大家讲明白。今天主要讲"深度学习"如何诞生的！

"深度学习"究竟如何诞生？

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

1943年，心里学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》，提出了MP模型。

什么是MP模型？它是模仿神经元的结构和工作原理，构成出的一个基于神经网络的数学模型，本质上是一种"模拟人类大脑"的神经元模型。（神经元即神经细胞，是神经系统最基本的结构和功能单位）。MP模型作为人工神经网络的起源，开创了人工神经网络的新时代，也奠定了神经网络模型的基础。

20世纪中期，加拿大著名心理学家唐纳德·赫布在《行为的组织》中提出了一种基于无监督学习的规则——海布学习规则(Hebb Rule)。

海布规则模仿人类认知世界的过程建立一种"网络模型"，该网络模型针对训练集进行大量的训练并提取训练集的统计特征，然后按照样本的相似程度进行分类，把相互之间联系密切的样本分为一类，这样就把样本分成了若干类。

海布规则的的出现，为以后的神经网络学习算法奠定了基础，具有重大的历史意义。

20世纪50年代末，20世纪50年代末，在MP模型和海布学习规则的研究基础上，美国科学家罗森布拉特发现了一种类似于人类学习过程的学习算法——感知机学习。并于1958年，正式提出了由两层神经元组成的神经网络，称之为"感知器"

该感知器学习，使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。感知器的提出吸引了大量科学家对人工神经网络研究的兴趣，对神经网络的发展具有里程碑式的意义。

然而学科发展的历史不总是一帆风顺的。

20世纪60年代—20世纪末，美国数学家及人工智能先驱Minsky在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了近30多年的停滞。

一直到2006年，杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了"深度学习"的概念。他们在世界顶级学术期刊《科学》发表的一篇文章中详细的给出了"梯度消失"问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优。

该深度学习方法的提出，立即在学术圈引起了巨大的反响，以斯坦福大学、多伦多大学为代表的众多世界知名高校纷纷投入巨大的人力、财力进行深度学习领域的相关研究。而后又在迅速蔓延到工业界中。于是又一次掀起了"深度学习"的热潮。

下一章将给大家讲讲，深度学习自2006之后到至今有哪些重大成就。