小磨SBF直播馆 2019-12-13
机器之心整理
机器之心编辑部
由斯坦福大学发起的人工智能指数(AI Index)是一个追踪 AI 动态和进展的非营利性项目,旨在全面研究 AI 行业状况,目标是促进基于数据的 AI 的广泛交流和有效对话。昨天,AI Index 发布了 2019 年度报告。
报告从研发、会议、技术性能等多个角度统计了上一年度 AI 领域各个方面的进展,其中的一些重要结论包括:
报告概览
AI Index 报告的工作是跟踪、梳理、提炼和可视化与人工智能(AI)相关的数据。本报告的使命是为决策者、研究者、高管、新闻工作者和公众提供公正无偏差且经过严格审查的数据,以让他们直观地理解复杂的 AI 领域。
本报告每年都在扩展,致力于将全球社区的 AI 发展数据都囊括进来。 在深入数据之前,我们先来看 2019 年版 AI Index 报告中几个值得关注的点:
鉴于对复杂领域的度量和评估充满了微妙的细枝末节,所以 AI Index 聚集了许多社区的输入,竭力避免出现偏见。为此,斯坦福大学在 2019 年 10 月 30 日举办了主题为「衡量 AI 政策:机遇与挑战」的 HAI-AI Index 研讨会,会议聚集了 150 多位来自多个不同 AI 相关学科的产业界和学术界专家,共同探讨了在 AI 的数据度量方面的许多紧迫问题。
今年的报告共分为九个章节,包括 AI 研发、会议、技术性能、经济、教育、自动驾驶系统、公众认知、社会考量、国家战略与全球 AI 活力。
下面,我们将分章节介绍报告中的一些亮点。
研发
Scopus 论文统计结果
1. AI 论文在所有论文中的占比
根据 Scopus 的数据,从 1998 年到 2018 年,经过同行评议的 AI 论文数量增长了超过 300%,占同行评议期刊发表量的 3%,占已发表会议论文数的 9%。
2. 地区差异
中国年度 AI 期刊和会议论文发表量在 2006 年超过了美国,现在与整个欧洲相当。但美国发表的论文的领域加权式引用影响因子(FWCI)仍比中国高 50% 左右(注:FWCI 全称是 Field-Weighted Citation Impact,用该地区 AI 出版物平均被引用数除以同一出版年度、主题领域和文档类型的全球所有 AI 出版物的平均引用数得到)。
Scopus 上的年度 AI 论文数量
Scopus 上的年度 AI 论文数量增长情况
3. 论文机构
在中国和欧洲,政府下属机构贡献的 AI 论文数量最高,而美国 AI 论文中占更高比例的是来自企业研究机构的论文。
2018 年,中国政府的研究机构发表的 AI 论文比中国企业多近 300 倍。另外,自 1998 年以来,来自中国政府下属机构的 AI 论文数量也增长了三倍,而同期中国企业的 AI 论文数量增长了 66 倍。
在美国,来自企业的 AI 论文数量占据相对更大的份额。2018 年,来自美国企业的 AI 论文所占比例是中国企业的这一比例的 7 倍以上,也是欧洲的近 2 倍。
1998-2018 年,中国不同类型机构所发表的论文总数
1998-2018 年,美国不同类型机构所发表的论文总数
1998-2018 年,欧洲不同类型机构所发表的论文总数
4. 被引用量
尽管在 Scopus 中,欧洲年度发表的 AI 论文数量最高,但欧洲的 FWCI 相对一般,与世界平均水平持平。相对而言,中国的 FWCI 增长显著,但还未达到全球平均水平。
1998-2018 年,不同地区 AI 作者的 FWCI 因子(1 表示全球平均水平)。
5. 产学合作
在美国、中国、法国、中国香港、瑞士、加拿大、日本、德国和英国,学术界与企业之间的合作都很普遍。
学术界-企业合作情况世界地图:AI 论文总数
arXiv 论文统计结果
1.arXiv 上的 AI 论文数量
从 2010 年到 2019 年,arXiv 上的 AI 论文总数增长了 20 倍。提交到 arXiv「Computation & Language」类别的论文自 2010 年来增长了近 60 倍。
从体量上看,计算机视觉(CV)和模式识别自 2014 年以来一直都是 arXiv 上最大的子类,但机器学习在 2019 年变成了最大的 AI 论文子类。除了表明人们对计算机视觉和机器学习(及其广义上的应用)的兴趣在增长之外,这个图表也给出了其它 AI 应用领域的增长情况,比如机器人领域从 2010 年到 2019 年增长了超过 30 倍。
2010-2019 年,arXiv 上的 AI 论文数量
2.arXiv 上的深度学习论文
2018 年,深度学习论文方面,北美发表的论文数量最多,欧洲其次。来自东亚的论文在 2018 年达到了与欧洲持平的水平。
arXiv 上的深度学习论文数量。
在国家方面,从 2015 年到 2018 年,中国成为在 arXiv 上发表深度学习论文数量第二多的国家,仅次于美国。
2015-2018 年,arXiv 上按深度学习论文数量排序的国家
新加坡、瑞士、澳大利亚、以色列、荷兰和卢森堡在人均 arXiv 深度学习论文数量方面的数字较高。
2015-2018 年,arXiv 上按人均深度学习论文数量排序的国家
微软 Academic Graph(MAG)论文统计结果
1.AI 期刊论文数量
根据 MAG 的统计,2018 年,37% 的 AI 期刊论文来自东亚,24% 来自欧洲和中亚,22% 来自北美。其中,中国在 2015 年到 2018 年的 AI 期刊论文数量最高。
1990-2018 年 AI 期刊论文的地区分布。
2.AI 期刊论文被引用量
全世界 AI 期刊引用中超过 32% 来自东亚,31% 来自欧洲,27% 来自北美。
2014-2018 年,来自不同地区的 AI 期刊引用情况(占全世界期刊引用量的百分比)
3.AI 会议论文数量
2018 年已发表的 AI 会议论文中,33% 来自东亚,27% 来自北美,26% 来自欧洲。来自南亚的论文在世界 AI 会议发表论文中所占的比例一直在稳定上升,2018 年上升了差不多 6%。
1990-2018 年,世界不同地区的 AI 会议论文份额
4.AI 会议论文被引用量
从 2014 年到 2018 年,超过 40% 的 AI 会议论文被引用量来自北美。
5. AI 专利数量
从 1990 年到 2018 年,超过 51% 的已公布 AI 专利属于北美,欧洲和中亚的份额下降到 23%,接近东亚。94% 的 AI 专利都是在高收入国家申请的,来自中高收入国家的份额增长至 4%。
1990-2018 年,世界不同地区的 AI 发表专利份额。
在国家方面,从 2015 年到 2018 年,中国发布的 AI 专利数仅排第 8。
6.AI 专利被引用量
在 2014-2018 年间,北美占到了全球 AI 专利引用活动的 60% 以上。
7. GitHub 星数
在 GitHub 统计结果中,有一个趋势值得关注,即谷歌的 TensorFlow 和 Facebook 的 PyTorch 等由企业支持的研究框架的迅猛发展。
Keras 的流行程度似乎正在下滑,但 Keras 后来已经整合到了 TensorFlow 中,因此其流行程度也部分反映在 TensorFlow 指标中。scikit-learn 和 Caffe 这两个非产业界框架的流行程度继续缓慢增长,但它们的增长轨迹看起来慢于那些企业框架。
2015-2019 年,不同 AI 软件库的累积 GitHub 星数。
AI 领域的女性
在许多西欧国家(尤其是荷兰和丹麦)以及阿根廷、加拿大、伊朗,女性在 AI 研究中参与度相对较高。
至少有一位女性作者的 AI 论文所占的百分比。
会议
参会人数
AI 会议参会人数继续显著增长。2019 年,最大规模的会议 NeurIPS 预计参会人数 13500 人(实际参会人数 1.3 万人),相比 2018 年增长 41%,相比 2012 年增长 800%。AAAI 和 CVPR 等会议的年度参会人数也有约 30% 左右的增长。
1984-2019 年大型会议的参会人数
大型会议的参会人数相对于 2012 年参会人数的增长情况。
下面展示了小型 AI 会议的参会人数以及小型会议的参会人数相对于 2014 年参会人数的增长情况。小型 AI 会议的定义标准是 2019 年参会人数少于 3000 的会议。ICLR 2019 的参会人数已是 2014 年的 15 倍之多。为何增长如此之快?很可能是因为当前的 AI 领域非常关注深度学习和强化学习。
2000-2019 年小型会议的参会人数
AAAI 会议数据
1. 论文数据
本次报告统计了 AAAI 会议的相关数据。数据显示,来自中国的提交和被接收论文最多。超过 68% 的提交论文的第一作者是学生。以色列的接收率最高(24%),后面是德国(23%)、加拿大(22%)、美国和新加坡(都是 20%)。
不同国家的 AAAI 2019 论文提交和接收情况
下图给出了按研究主题排序的论文提交和接受情况。排名前三的研究主题依然是机器学习、自然语言处理、视觉。
相比去年,提交数量增长最显著的前三研究主题是不确定情况下的推理(194%)、应用(176%)、人与 AI(161%)。
提交数量减少最显著的前三研究主题是认知系统(-56%)、计算可持续性(-34%)、人类计算和众包(+0.9%)。
接收率最高的研究主题是博弈论和经济范式(32.3%),之后是启发式搜索(27.5%)、认知系统(27.2%)。
不同研究主题的 AAAI 2019 论文提交和接收情况
技术性能
计算机视觉
1. 图像分类:ImageNet
下图给出了在 ImageNet 数据集上的图像分类准确度随时间的变化情况,这可被视为图像识别监督学习领域进展的象征。
超越人类表现的首个方法发表于 2015 年,2017 年 ImageNet 挑战赛停赛。但这个数据集仍继续是新型计算机视觉模型的一大重要基准,新的研究进展也还依然在继续。最近发表的三种能成功处理这一任务的方法使用了额外的数据进行训练——图中用另一条线(橙色)标注。
在 ImageNet 上的分类表现
2. 图像分类:ImageNet 训练时间和成本
从 2017 年 10 月到 2019 年 7 月一年半的时间里,在云基础设施上训练一个大型图像分类系统所需的时间就从大约 3 小时降低到了大约 88 秒。同期,训练这样一个系统的成本也有类似的下降。
ImageNet 训练时间
3. 语义分割
语义分割技术的进步为现实世界 AI 视觉系统(比如用于自动驾驶的视觉系统)的发展做出了很重要的贡献。度量这一领域的进展时使用了基于两个数据集(Cityscapes 和 PASCAL-Context)的交并比(IoU)指标。某些系统的训练使用了额外的数据。
基于 Cityscapes 的语义分割表现
自然语言处理
在很多自然语言处理分类任务上的进展都可以用 SuperGLUE 和 SQuAD2.0 基准来度量。可以看到,模型在这两个基准上的进展很快;但在一些需要推理的 NLP 任务(比如 AI2 Reasoning 挑战赛)和人类水平的概念学习任务(Omniglot 挑战赛)上的表现还依然较低。
以 GLUE 指标度量的基准表现增长情况
SuperGLUE 分数和 SuperGLUE 指标上的人类基准
从 2016 年 8 月到 2019 年 5 月,SQuAD1.1 的 F1 分数从 67 增长到了 95。在 SQuAD2.0 上的进展甚至更快——F1 分数从 2018 年 5 月的 62 增长到了 2019 年 6 月的 90。
在 SQuAD1.0 上训练一个 F1 分数为 75 或以上的问答模型所需的时间从 2017 年 10 月时的超过 7 小时下降到了 2019 年 3 月时的不到 19 分钟。使用公共云实例训练一个问答模型的成本从 8 美元下降到了 2018 年 12 月时的 57 美分,推理时间从 638 毫秒降至 7 毫秒。
SQuAD 1.1 和 SQuAD 2.0 上的 F1 分数变化
计算能力
在 2012 年之前,AI 的结果表现紧跟摩尔定律——每两年计算能力翻一倍。2012 年后,计算能力每 3.4 个月翻一倍。
1959-2019 年,AI 与计算的发展情况(对数坐标)
人类水平里程碑
相比于 2018 年的 AI Index 报告,今年的版本增加了三个新的里程碑:
经济
全球招聘市场
从 2015-2019 年,新加坡、巴西、澳大利亚、加拿大和印度经历了最快速的 AI 人才招聘涨幅。
各国的 AI 人才招聘指数(注:此表涵盖了中国和印度,但由于中印两国劳动力在领英上的覆盖水平不到 40%,因此上图中印两国 AI 人才招聘指数可能无法充分展示两个国家的情况。)
在美国,AI 相关职位占职位总数的比例从 2010 年的 0.26% 上升到了今年十月的 1.32%,占比最高的是机器学习(占全部职位的 0.51%)。高科技服务和制造业对 AI 工作者的需求增长尤其迅猛。
人工智能相关职位占职位总量的比例。
2019 年美国各行业对 AI 人才的需求情况。
华盛顿州的 AI 人才需求最高,将近 1.4% 的职位与 AI 有关。加州和马萨诸塞州的这一比例均为 1.3%,纽约、哥伦比亚特区(DC)、弗吉尼亚州的这一比例分别是 1.2%、1.1% 和 1%。
企业投资
2019 年,全球私有部门对 AI 的投资达到 700 多亿美元,其中对 AI 创业公司的投资额为 370 亿美元,并购金额达到 340 亿美元,IPO 金额达到 50 亿美元,少数股权的投资额约为 20 亿美元。
全球范围内,对 AI 初创企业的投资持续稳步上升,投资额从 2010 年的 13 亿美元上升到了 2018 年的 404 亿美元(截至 2019 年 11 月 4 日,2019 年投资额为 374 亿美元),年平均投资额增长率超 48%。
去年,自动驾驶汽车获得了最大比例的全球投资——77 亿美元,占投资总额的 9.9%。紧随其后的是医药和癌症研究(47 亿美元,占投资总额的 6.1%)、人脸识别(47 亿美元,占投资总额的 6.0%)、视频内容(36 亿美元,占投资总额的 4.5%),以及欺诈检测和金融(31 亿美元,占投资总额的 3.9%)。
2018 年 1 月至 2019 年 10 月,各人工智能细分行业所获私人投资金额占投资总额的比例。
行业应用
受访大公司中,2019 年 58% 的企业在至少一项功能或业务中使用 AI,而 2018 年这一比例仅为 47%。
受访企业中,仅有 19% 的大公司表示正在采取措施缓解与算法可解释性相关的风险,13% 的大公司正在缓解与平等和公平性相关的风险,如算法偏见和歧视。
2019 年,大量企业采取措施缓解 AI 风险。
教育
AI 及相关学科的注册学生数量持续快速增长。除了传统大学以外,在线学习人数也增速迅猛。
AI 迅速成为最受北美计算机科学博士生欢迎的学科,学生人数是第二受欢迎学科(安全/信息保障)的二倍。2018 年,超过 21% 的计算机科学博士专业是人工智能/机器学习。
方向为人工智能/机器学习的计算机博士毕业生的比例和数量。
在美国和加拿大,就读人工智能专业的博士留学生数量持续增加,目前超过 60% 的博士生是国际学生,而 2010 年这一数字还不到 40%。
2010-2018 年,攻读 AI 博士学位的留学生所占比例的变化。
目前,工业界成为 AI 人才最大的流向地。2018 年,超过 60% 的 AI 博士去往工业界,而 2004 年这一数字还是 20%。2018 年,美国前往工业界的 AI 博士数量是选择教职的 AI 博士数量的 2 倍。
2004-2018 年,去往工业界的 AI 博士的比例。
在美国,离开学界转投工业界的 AI 教职人员数量持续增长,2018 年此类事件有 40 多起,而 2012 年这一数字仅为 15,2004 年更是没有一例。
2004-2018 年,离开学界转投工业界的人员数量。
多样化 AI 教职工性别情况的尝试并未取得大的进展,2018 年女性在新聘任教职工中所占比例不到 20%。同样,美国女性 AI 博士候选人的比例自 2010 年以来基本维持在 20% 上下。
2010-2018 年,美国女性博士候选人的比例。
自动驾驶系统
2015-2018 年间,美国加利福尼亚州的自动驾驶汽车行驶总里程和在此进行车辆测试的自动驾驶公司数量上升了 6 倍。2018 年,加州向 50 多家自动驾驶企业和 500 余辆自动驾驶汽车颁发测试许可证,这些汽车的行驶总里程超过 200 万英里。
该报告还展示了 2018 年加州自动驾驶汽车车祸的总结报告,详细说明了车祸的类型、车辆损坏程度等信息,参见下图:
公众认知
全球的央行均对 AI 展露出极大的兴趣,尤其是英国央行英格兰银行、日本银行和美联储。
在全球范围内的国会记录、委员会报告和立法草案中,AI 相关的法律法规呈现大幅增长。
社会考量
在 59 个 AI 伦理原则文件中,公平性、可解释性是出现频率最高的伦理挑战。
59 个 AI 伦理原则文件中所涵盖的伦理挑战。
在 2018 年中期到 2019 年中期的 3600 余篇全球 AI 和伦理新闻文章中,关于 AI 的使用伦理、数据隐私、人脸识别的应用、算法偏见和大型科技公司的框架和准则是主要话题。
AI 使用案例表明,AI 对联合国 17 个可持续发展目标(SDG)皆有贡献,目前解决了 169 个联合国 SDG 目标中的大约一半,但是将 AI 规模化部署用于可持续发展仍需要克服一些瓶颈。
完整版报告链接:https://hai.stanford.edu/sites/g/files/sbiybj10986/f/ai_index_2019_report.pdf
12月18日,机器之心线下技术分享会邀请到来自硅谷专注于 AutoML 领域的 MoBagel 行动贝果的两位重磅嘉宾,为大家介绍全流程 AutoML 技术,详细解读自动机器学习如何实现机器学习的全民化。
在演讲分享之后,我们还安排了 AutoML 实战工作坊,通过实际案例的讲解,帮助大家深入了解全流程 AutoML 技术的商业应用,并抢先亲手体验行动贝果 Decanter AI (数醒™) 自动化机器学习平台。