牛！他本科没毕业就进入Google Brain，还发表了最火的深度学习顶级论文…… 你呢？
天在那边 2017-06-25
请点击此处输入图片描述
这位本科还没毕业，就已进入谷歌大脑，与Google资深研究员Lukasz Kaiser共同发表了最近的一篇热门论文----"One Model To Learn Them All"，成功证明，一个神经网络是能同时处理多项任务的。
这小子到底是谁？是什么大学这么牛逼，造就了他？关于这篇论文，这位本科生脑子里到底怎么思考的？
作者 | U of T, Google
译者 | failbetter
编辑 | AI100
这位传奇人物就是Aidan Gomez，而他目前就读的大学为多伦多大学。
在多伦多大学，Gomez主修计算机科学和数学。
刚过去的那一学期，他选择了休学，前往硅谷的Google Brain团队实习。
尚未毕业，尚未毕业，尚未毕业...（小编邪恶抛问：请问你大学在做什么？）
But，在Google资深研究员Lukasz Kaiser的指导下，他们共同发表了最近的一篇热门论文，主题是用一个神经网络进行多任务学习。这篇论文一经推出，迅速火遍了全网。
论文地址：https://arxiv.org/abs/1706.05137
来看现状。
当前，大多数神经网络都是单任务的，只能专注于鉴别图片内的物品、理解自然语言或语音识别的某一个目的。而Kaiser与Gomez等人的研究就是要证明，一个神经网络是能同时处理多项任务的。
既然提到这个论文了，让我们先放下鸡汤，再深入扒一扒这个论文。
这篇题为"One Model To Learn Them All"（Kaiser是第一作者）的论文甚至证明，多任务学习还能让神经网络的整体性能得到提升。
请点击此处输入图片描述
Gomez的论文模型：包括多种网络模型及编码器、I/O混合器、自回归解码器
“Lukasz和我基本上是退了一步来考虑问题：为什么不能用某种特定类型的模型来解决所有问题呢？”Gomez说到。
他以人类基于过往的经验来习得认知工具的过程来做类比。
“结果证明，我们的神经网络确实能做到这点。它不仅能用上这些工具，而且在新任务的性能表现上也更出色。”Gomez解释道。
Kaiser和Gomez所训练的模型，可同时解决八个问题，其中包括ImageNet大赛的图像分类识别。
在此插播一个小背景：
2012年，多伦多大学的Geoffrey Hinton，与Emeritus教授和他的研究生Alex Krizhevsky、Ilya Sutskever一起，以深度神经网络的突破性成果赢得过该比赛的冠军。而今，Sutskever在马斯克的OpenAI掌管人工智能研究。
（小编说：你想搞那块研究，你在哪个学校，学校有哪些名师，这个太重要了。所谓站在巨人肩膀嘛。又是一年高考时，希望各个小鲜肉想清楚自己未来想要的，慎重填志愿啊...）
对于ImageNet大赛，Gomez认为非常难，因为它的任务涉及到1000项分类，超过一百万张图片。
“一开始，我们比较担心——用ImageNet数据集来训练模型会不会跟其他数据冲突？我们的模型会不会把所有计算资源都用来处理最难的ImageNet数据？事实证明，我们多虑了。”
Gomez继续说，
“不同的任务之间，似乎存在着某种协同关系；每项任务的训练都能有助于其他任务的执行，模型的整体性能就有了显著的提高。”
请点击此处输入图片描述
用相同的参数来同时处理不同的任务：Gomez论文模型各部分的架构
Dot-Prodcut注意力模块：Google最新的机器翻译论文"Attention Is All You Need"所用的注意力架构。
注意力模块：关键是定时信号，基于位置来对内容的注意力进行集中；拥有源张量和目标张量两个输入。
卷积模块：用于发现局部模式，并将其泛化；内含线性整流函数ReLU、SepConv和归一层三个组件。
编码器：由6个重复的卷积模块搭成，中间为专家混合层。
混合器：由注意力模块与2个卷积模块构成。
解码器：由4个卷积模块加上注意力模块组成，中间为专家混合层。
“事实上，我们的神经网络已经做到了用相同的参数来同时处理不同的任务，正如你我的神经系统无需任何架构调整就能处理各项新任务一样。”
Gomez解释此次研究的主要目的，是针对“迁移学习（transfer learning）”，也就是如何把已经学到的知识重新应用到新的任务中。他们的模型还解决了语言翻译、图片注释、英语音频转录文本、语法分析（把语句拆解成语法树）中的同步问题。
“尽管看上去不是很相关，但同时处理语法分析与图像分类这样的任务，却能让我们的模型表现出更好的性能。这跟过去是截然相反的。”
请点击此处输入图片描述
Gomez的研究成果，分别用于图片注释、图片分类、不同语言翻译与句法分析
Gomez认为，这里的方法会有助于模型性能的提升，即便是面对数据非常有限的情况。
“数据匮乏是模型训练的拦路虎，” Gomez解释，“但我们的研究说明，多重任务的训练可以等同于更多数据的训练——只需让模型执行更多的任务，无论其内容相似与否，模型的性能都能获得提升。”
Gomez在Google Brain的研究，是多伦多大学计算机科学系本科暑期研究项目的一部分。今年有50多名学生参加了该项目。（小编想再次强调平台的重要性，吼吼）
尽管这篇Google论文一经推出，马上火遍了整个机器学习圈子，但Gomez透露，稍后还有更加重磅的机器学习研究成果会发布，届时他和他导师将共同推出一篇新论文。Gomez的导师是多伦多大学助理教授Roger Grosse，这位助理教授同时也是Geoffrey Hinton的Vector人工智能研究所的联合创始人。
在此，多提两句多伦多大学的牛逼之处。
在Hinton等大神级人物的开创性工作下，多伦多大学已成为全球的人工智能与深度学习研究中心。他们所创造的技术，对各行各业的影响都太深远了，特别是癌症检测，还有将AI用于律师诉讼案件的研究。
就连最近因创始人离职而不断上头条的Uber，也在想跟这个学校建立起关系，即便是砸重金也在所不惜。它在今年早些时候宣布，要在这里打造一个由多伦多大学副教授Raquel Urtasun领导的无人驾驶研究中心。
类似的事例不再一一例举......
看来，想要在一个领域有突出的成就，到底背靠哪里的学术氛围，能给你多深的底蕴，这点太重要了。
牛逼的平台+过人的天资，这是让这位本科生突颖而出的背后原因。
“这里的本科生活非常棒，不过我已经准备好去做博士研究了。”
Gomez说，
“倘若没有进入多伦多大学的话，我真不认为自己能做出这么多成果。这里的学习和灵感，让我找到了真正热衷的方向，并不断地推动自己前进。”
你呢，找好让自己不断进取的好地方和好方向了吗？
原文链接：
https://www.utoronto.ca/news/making-impact-u-t-undergrad-co-authors-important-machine-learning-study-google
https://research.googleblog.com/2017/06/multimodel-multi-task-machine-learning.html
