红包分享
钱包管理
0- 10
- 6
来源：科研圈
来自：Association for Computing Machinery
翻译 刘悦晨
在传统计算当中，计算机程序使用明确的指令逐条指导计算机运行。但是在人工智能研究中的一个分支——深度学习中，计算机不再被明确告知如何完成特定的任务，例如将某些对象进行分类等。取而代之的是，计算机使用一种学习算法来提取与输入数据相关的数据模式，例如图像中的像素点，反映到所需的输出，例如生成一只“猫”的标签。曾经，研究人员们面临的最大的挑战是如何开发和设计一套有效的学习算法，以修改人工神经网络中不同连接的权重，通过这些权重来捕捉数据中的关键模式。
杰弗里·欣顿自二十世纪八十年早期开始，就一直倡导使用机器学习的方法研究人工智能。他通过观察和研究人脑的功能，提出了一套可行的机器学习系统研发方法。受到人脑的启发，他与别人一起提出了“人工神经网络”的概念，并将其作为他们开展机器学习相关研发的基石。
在计算机科学当中，“神经网络”一词是指计算机中由多层被称为“神经元”的简单计算元件组成的系统。它们大致相似于人脑当中的“神经元”，通过加权连接相互影响。通过修改连接之间的权重，可以改变神经网络所执行的计算。约书亚·本希奥、杰弗里·欣顿和杨立昆三位科学家意识到了利用多层结构建立深度神经网络的重要性，“深度学习”便由此得名。
三位科学家在 30 年间为该领域建立和带来的概念基础和技术革新，也随着现代计算机图像处理单元（Graphics Processing Unit, GPU）的硬件条件增强发展迅速。同时，越来越多的可获取的大规模数据集，也对该技术的发展起到了很好的推进作用。近年来，在诸多因素的推动下计算机视觉、语音识别和机器翻译等技术实现了跨越式发展。
约书亚·本希奥
Yoshua Bengio
约书亚·本希奥现为加拿大蒙特利尔大学（University of Montreal）教授、蒙特利尔学习算法研究所（Montreal Institute of Learning Algorithms，MILA）科学主任。
▽ 主要贡献 ▽
序列的概率模型
Probabilistic models of sequences
二十世纪九十年代，本希奥将神经网络与序列的概率模型相结合，例如隐马尔可夫模型。这些想法孕育出了一个系统，被美国最大的固网电话服务供应商及第一大移动电话服务供应商AT＆T/NCR公司用来阅读手写支票，曾被认为是神经网络研究的巅峰之作。而现代的深度学习语音识别系统正在扩展这些概念。
高维字嵌入和关注
High-dimensional word embeddings and attention
在 2000 年，本希奥发表了一篇具有标志性意义的论文，题为“A Neural Probabilistic Language Model”。文中介绍了使用高维字嵌入代表词义的方法。本希奥的观点对后续与自然语言处理相关的技术发展，例如语言翻译、问答和视觉问答等，都有着巨大而深远的影响。他的团队在研究中还首次引入了关注机制（attention mechanism），从而引发了机器翻译的重大突破，并成为深度学习序列处理中的重要组分。
可生成对抗网络
Generative Adversarial Networks
自 2010 年起，本希奥关于可生成深度学习，特别是可生成对抗网络（GAN）的相关论文引发了计算机视觉和计算机成像领域的革命。这项工作的一个有趣的应用是，计算机实际上可以进行图像的原创，由此我们不难联想到，创造力曾是人类智慧的标志之一。
▽ 了解更多 ▽
▽ 相关论文 ▽
Bengio等提出稀疏注意力回溯：长期依赖关系建模的更一般化机制
最大化互信息来学习深度表示，Bengio等提出Deep INFOMAX
杰弗里·欣顿
Geoffrey Hinton
杰弗里·欣顿现任谷歌大脑（Google Brain）团队顾问、工程研究员（Engineering Fellow）、多伦多人工智能矢量研究所（Vector Institute for Artificial Intelligence）首席科学顾问（Chief Scientific Adviser）、多伦多大学（the University of Toronto）名誉教授（Professor Emeritus）。
▽ 主要贡献 ▽
反向传播算法
Backpropagation
在 1986 年发表的题为“Learning Internal Representations by Error Propagation”的论文中，欣顿提出了全新的反向传播算法。该算法允许神经网络学习其自身的内部表达，使得利用神经网络解决原先不能解决的问题成为可能。如今，反向传播算法已成为大部分类神经网络的标配。
玻尔兹曼机
Boltzmann Machines
在 1983 年，杰弗里·欣顿与特里·谢泽诺斯基（Terrence Sejnowski）一同发明了玻尔兹曼机。玻尔兹曼机是最早能够学习内部表达，并能表达和（给定充足的时间）解决复杂的组合优化问题的神经网络之一。
改进卷积神经网络
Improvements to convolutional neural networks
在 2012 年，欣顿与他的两名学生一起利用矫正线性神经元（rectified linear neurons）和丢弃正则化（dropout regularization）算法对卷积神经网络进行了改进。在著名的 ImageNet 比赛中，欣顿和他的学生将对象识别的错误率减少近 50% ，并重塑了计算机视觉。
▽ 了解更多 ▽
▽ 相关论文 ▽
Hinton领衔谷歌大脑新研究，拯救被“欺诈”的图片识别AI
杨立昆
Yann LeCun
现就职于纽约大学（New York University）和 Facebook，是纽约大学的教授和Facebook公司人工智能方向的首席科学家（Chief AI Scientist）。
▽ 主要贡献 ▽
卷积神经网络
Convolutional neural networks
在二十世纪八十年代，杨立昆开发出了卷积神经网络。可以说这是整个深度学习领域的基本准则，是让深度学习变得更为有效的必要条件。当杨立昆还在多伦多大学和贝尔实验室工作时，他是第一个在手写数字图像上训练卷积神经网络系统的人。如今，卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理等领域的一项工业标准，在自动驾驶、声控助手、信息过滤等诸多方面应用广泛。
对反向传播算法的改进
Improving backpropagation algorithms
杨立昆曾提出过反向传播算法的早期版本（Backprop），并根据变分原理对其进行了简要的推导。他的工作加速了反向传播算法的问世，包括描述了两种累积学习时间的简单方法。
拓展神经网络的视野
Broadening the vision of neural networks
杨立昆的工作拓展了神经网络研究的视野，他将神经网络系统作为一种计算模型来应对多种多样的工作和任务。并且在他的工作中引入了一系列新的概念，而这些概念已经成为现今人工智能研究领域当中的基础。例如在图像识别的背景下，他研究了分层特征表示怎样才能被神经网络系统习得——这个概念已经在现今的多项识别任务中广泛使用。他还提出了一个现今几乎在每一款深度学习的软件中均有使用的想法，即学习系统可以构建为复杂的模块网络，在这个模块网络中，反向传播是通过自动分配来完成的。他还提出了深度学习可以用于处理结构化的数据体系，例如图形。
