2019年，AI五大领域可能会有这些趋势！
bensonrachel 2019-01-07
如今，人工智能技术已经从小众发展成为主流，并且正影响着数百万人的生活。从数据科学从业者的角度来看，人工智能的一些关键领域取得了哪些突破？ 2018年发生了什么，2019年将会发生什么？读读这篇文章来了解一下吧！
我们将在本文中介绍的领域
• 自然语言处理（NLP）
• 计算机视觉
• 工具和库
• 强化学习
• 人工智能 - 走向道德人工智能
自然语言处理（NLP）
运用机器来解析单词和句子似乎一直是个梦想。语言中有着许多细微差别和层面，甚至人类有时都难以掌握。但2018年对于NLP来说确实是一个分水岭。
我们看到了一个又一个显著的突破——ULMFiT，ELMO，OpenAI的Transformer和Google的BERT等等。转移学习（能够将预训练模型应用于数据的艺术）成功应用于NLP任务，打开了通向潜在无限应用的大门。
ULMFiTULMFiT是由Sebastian Ruder和fast.ai的Jeremy Howard设计，首个于今年启动NLP转移学习的框架。对于初学者来说，它代表通用语言模型微调。 Jeremy和Sebastian在ULMFiT中真正地体现了Universal，该框架几乎可以应用于所有的NLP任务！
你不需要从头开始训练模型，研究人员已经为你做了很多工作，你可以学习并将其应用到自己的项目中。 ULMFiT在六个文本分类任务中的表现优于最先进的方法。
ELMo猜猜看ELMo是什么？它是语言模型嵌入的简称。很有创意，是吧？除了它的名字类似于著名的芝麻街角色，ELMo一发布就引起了ML专业人群的注意。
ELMo使用语言模型来获取每个单词的嵌入，同时还考虑这个单词所在的句子或段落的上下文。语境是NLP的一个重要方面，大多数人以前都没有掌握。 ELMo使用双向LSTM来创建嵌入。
与ULMFiT一样，ELMo显着提高了各种NLP任务的性能，如情绪分析和问答。
谷歌的BERT不少专家声称BERT的发布标志着NLP进入了一个新时代。继ULMFiT和ELMo之后，BERT凭借其性能真正击败了竞争对手。“BERT在概念上是简单的，但是在经验上是强大的”。
BERT在11个（是的，11个！）NLP任务中获得了最先进的结果。在SQuAD基准测试中查看他们的结果：
SQuAD v1.1 排行榜 (2018年10月8日)
EM测试
F1测试
第一名 融合模型 – BERT
87.4
93.2
第二名 融合模型 – nlnet
86.0
91.7
第一名 单模型 – BERT
85.1
91.8
第二名 单模型 – nlnet
83.5
90.1
有兴趣入门吗？你可以使用PyTorch工具或Google自己的TensorFlow代码尝试在自己的计算机上复制结果。
Facebook的PyTextFacebook怎么能不参与竞争呢？他们已经开源了他们自己的深度学习NLP框架PyText。早些时候才发布，所以我们仍然要进行试验，但早期的评论表示非常有希望。根据FB发表的研究，PyText使会话模型的准确性提高了10％，并缩短了培训时间。
PyText实际上落后于Facebook的一些产品，如FB Messenger。因此，从事这项工作可以努力为你自己的投资组合增加一些现实价值。
Google Duplex由于这是一款谷歌产品，他们开放开源代码的机会很小。但是！这是一个非常棒的可展示的音频处理应用程序。
2019年NLP的发展趋势预测谁能比塞巴斯蒂安·罗德本人更好地掌握NLP在2019年的发展方向呢？以下是他的想法：
1.预训练的语言模型嵌入将无处不在；不使用它们的最先进模型的情况将非常罕见。
2.我们将看到可以编码专门信息的预训练是对语言模型嵌入的补充。我们将能够根据任务的要求组合不同类型的预训练。
3.我们将看到更多有关多语言应用程序和跨语言模型的工作。特别是，在跨语言嵌入的基础上，我们将看到深度预训练的跨语言表征的出现。
计算机视觉
这是现在深度学习领域中最受欢迎的领域。我们已经在很大程度上汲取了计算机视觉的成果，并且已经处于精炼阶段。无论是图像还是视频，我们都看到了大量的框架和库，它们使得计算机视觉任务变得轻而易举。
BigGAN的发布Ian Goodfellow在2014年设计了GAN，这个概念从那时起便产生了多种多样的应用程序。年复一年，我们看到原始概念正在调整以适应实际用例。但直到今年，有一件事情仍然相当一致：机器生成的图像相当容易被识别。框架中总会存在一些不一致性，这使得某种特质会非常明显。
但最近几个月，这种界限开始逐渐消失。随着BigGAN的创建，该界限可以被永久删除。查看使用此方法生成的以下图像：
除非你拿显微镜看，否则无法判断该系列是否有问题。紧张还是兴奋？这取决于你，但毫无疑问GAN正在改变我们对数字图像（和视频）的感知方式。
对于数据科学家来说，这些模型首先在ImageNet数据集上进行训练，然后是JFT-300M数据，以展示这些模型从一组集合到另一组集合的良好传递。我还将引导您进入GAN剖析页面—一种可视化和理解GAN的非常好的方式。
Fast.ai的模型在ImageNet上进行的18分钟训练这是一个非常棒的发展。人们普遍认为，为了执行适当的深度学习任务，需要大量数据以及大量计算资源。包括在ImageNet数据集上从头开始训练模型。我们大多数人都这样认为，直到fast.ai的几个人找到了证明我们所有人都错了的方法。
他们的模型在18分钟内以93％的准确率令人印象深刻。他们使用的硬件在博客文章中有详细的介绍，包含16个公共AWS云实例，每个实例都有8个NVIDIA V100 GPU。他们使用fastai和PyTorch库构建了算法。
全部加在一起的总成本仅为40美元！
NVIDIA的vid2vid技术在过去的4-5年里，图像处理技术突飞猛进，但视频处理技术呢？ 事实证明，将方法从静态框架转换为动态框架比大多数人想象的要困难一些。你能拍摄一系列视频并预测下一帧会发生什么吗？ 以前人们曾对此进行探索，但已发表的研究也只是含糊不清的。
NVIDIA在今年早些时候决定开放源代码，并得到了广泛的赞誉。他们的vid2vid方法的目标是从给定的输入视频中学习映射函数，以产生输出视频，该视频以令人难以置信的精度描绘输入视频的内容。
我们可能会在2019年看到改进而不是发明。感觉也相差不多，—自动驾驶汽车，面部识别算法，虚拟现实等。
无人机可能最终在美国获得政党和政府批准。像CVPR和ICML这样的会议描绘了这个领域的最新成果，但距离这些项目离在现实中应用还有多久？
可视化问题回答和可视化对话系统终于可以完成他们期待已久的首次亮相。这些系统缺乏概括的能力，但希望在不久的将来能够看到一种集合的多模式方法。
自主学习在今年最重要。明年这种技术将用于更多的研究。这是一条非常棒的学习线——标签直接根据我们输入的数据确定，而不用浪费时间手动标记图像。希望愿望成真！
工具和图书馆
工具和库是数据科学家的基础。关于哪种工具最好，哪个框架可以取代另一个框架，哪个库是经济计算的缩影等等，存在着大量的辩论。
但有一点可以达成一致——我们需要掌握该领域的最新工具，否则就有被遗忘的风险。Python取代其他同类事物，并逐渐成为行业领头羊，这就足以说明这一点。当然，这在很大程度上归结为主观选择（你的组织使用什么工具，从当前框架切换到新框架的可行性等等），但如果你甚至连现有的技术情况都没有考虑到，那么你就从现在开始吧。
今年的头条新闻的都是什么？我们来看看吧！
PyTorch 1.0
考虑到TensorFlow有时会很缓慢，它为PyTorch打开了以双倍的速度打开深度学习市场的大门。目前在GitHub上的大部分代码都是PyTorch概念的实现。这并非巧合——PyTorch非常灵活，最新版本（v1.0）已经大规模推动了许多Facebook产品和服务，包括每天执行60亿次文本翻译。
PyTorch的采用率在2019年才会上升，所以现在是大家加入的好时机。
AutoML—自动机器学习自动机器学习（或AutoML）在过去几年中逐渐取得进展。RapidMiner，KNIME，DataRobot和H2O.ai等公司已经发布了出色的产品，展现了这项服务的巨大潜力。
你能想象在ML项目中工作，只需要拖放界面而无需编码吗？这种情形离我们并不遥远。但除了这些公司之外，ML/DL领域还有一个重要的发布—Auto Keras！
它是一个用于执行AutoML任务的开源库。其背后的意义是让可能没有ML背景的领域专家进行深度学习。它准备在未来几年内大规模运行。
TensorFlow.js—浏览器中的深度学习自从进入这一行业以来，我们一直在IDE和笔记本中构建和设计机器学习和深度学习模型。进一步尝试不同的东西怎么样？ 是的，在你的网络浏览器中进行深度学习！
TensorFlow.js的发布使游览器中的深度学习成为现实。该链接还有一些演示，展示了这个开源概念有多么棒。以下是TensorFlow.js的三个主要优点/功能：
• 使用JavaScript开发和部署机器学习模型
• 在浏览器中运行预存的TensorFlow模型
• 重新培训预存的模型
2019年AutoML发展趋势预测未来几年，AutoML将成为数据科学领域真正的规则改变者。接下来让我们看看H2O.ai的Kaggle Grandmaster， Marios Michailidis对2019年AutoML的期望是什么：
机器学习将继续成为未来最重要的发展趋势之一——世界未来的发展方向。这种扩展增加了对这一领域熟练应用的需求。鉴于其发展，自动化是充分利用数据科学资源的关键。应用程序是无限的：信用，保险，欺诈，计算机视觉，声学，传感器，推荐器，预测，NLP—不一而足。能够在这个领域工作是一种荣幸。这种越来越重要的趋势可以定义为：
1.提供智能可视化和见解，以帮助描述和理解数据
2.为给定数据集查找/构建/提取更好的功能
3.快速构建更强大/更智能的预测模型
4.利用机器学习可解释性弥补黑盒建模和这些模型生产之间的差距（mli）
5.促进这些模型的生产
强化学习
对于强化学习来说，一般看法是它太数学化了，并且没有真正的行业应用程序可供使用。
虽然这在某种程度上是正确的，但希望明年会有更多来自RL的实际用例。OpenAI已经发布了一个非常有用的工具包，可以让初学者展开这一领域。
OpenAI在深度强化学习中的应用
如果对RL的研究进展缓慢，那么与之相关的教育材料就很少。 但事实上，OpenAI已经开放了一些关于这个主题的精彩材料。 他们称这个项目为“Spinning Up in Deep RL”。
它实际上是RL上非常全面的资源列表，他们试图尽保持代码和说明的简化。 有很多材料包括RL术语，如何成长为RL研究角色，重要论文列表，一个记录完备的代码存储库，甚至还有一些练习来帮助您入门。
不要再犹豫了，如果你打算开始使用RL，就从现在开始吧！
谷歌学习框架Dopamine为了加速研究并让团队更多地参与强化学习，Google AI团队拥有开源的Dopamine，这是一个TensorFlow框架，旨在创建更具灵活性和可复制性的研究。
Xander Steenbrugge是DataHack 2018峰会的发言人，也是ArxivInsights频道的创始人，他是强化学习领域的专家。以下是他对RL当前状态的看法以及对2019年的预测：
• 目前在RL领域看到三个主要问题：
1.样本复杂性（代理人为了学习需要查看/收集的经验量）
2.泛化和转移学习（对任务A进行训练，对相关任务B进行测试）
3.分层RL（自动子目标分解）
• 前两个问题可以通过一组与无监督的表示学习相关的类似技术来解决。目前在RL中，我们正在训练深度神经网络，其使用稀疏奖励信号（例如，Atari游戏的得分或者机器人抓握的成功）以原始输入空间（例如像素）映射到端对端方式的动作（例如，使用反向传播）。这里的问题是：
实际上“增长”有用的特征检测器需要很长时间，因为信噪比非常低。 RL基本上以随机动作开始，直到足够幸运，偶然发现奖励，然后需要弄清楚特定奖励是如何产生的。进一步的探索要么是硬编码（无止境的探索），要么是用好奇心驱动的探索等技术来鼓励。这是无效的，将导致问题1。
其次，众所周知，这些深层神经网络架构非常容易过度拟合，而在RL中，我们通常倾向于在训练数据上测试代理——在这种范例中实际上鼓励过度拟合。
• 我对此非常热衷的一个可能的前进路径是利用无监督的表示学习（自动编码器，VAE，GAN，...）将凌乱的高维输入空间（例如像素）转换为具有某些所需属性的低维“概念”空间，例如：线性，解缠，抗噪声能力......
• 一旦你可以将像素映射到这样一个有用的潜在空间，学习就会突然变得更容易/更高效（问题1），并且由于上文提到的属性（问题2），你也希望在这个空间学到的策略具有更强的通用性。
•我不是层次结构问题的专家，但上面提到的所有内容也适用于此：在潜在空间中解决复杂的分层任务比在原始输入空间中更容易。
1.由于增加了越来越多的辅助学习任务，增加了稀疏的外在奖励信号（比如好奇心驱动的探索、自动编码器式预训练、消除环境中的因果因素等等），样本复杂性将继续提高。这将非常适用于非常稀疏的奖励环境（例如最近Go-explore对蒙特祖马复仇造成的结果）
2.正因为如此，直接在物理世界中的训练系统将变得越来越可行（取代当前的应用程序主要在模拟环境中训练，然后使用域随机化转移到现实世界。）我预测2019年将带来第一个真正令人印象深刻的机器人演示，只能使用深度学习方法，不能硬编码/人工设计（不像我们目前所见的大多数演示）。
3.继DeepGo在AlphaGo事件中取得重大成功之后（特别是最近的AlphaFold），我相信RL将逐步开始提供实际的业务应用程序，这些应用程序将在学术领域之外创建现实世界的价值。这最初仅限于精确模拟器可用于对这些代理进行大规模虚拟培训的应用（例如药物发现，电子芯片架构优化，车辆和包装路由......）
4.正如已经开始发生的那样，RL开发将有一个普遍的转变，即不再考虑在培训数据上测试代理。泛化指标将成为核心，就像监督学习方法的情况一样。
人工智能—走向道德人工智能
想象一个由算法统治的世界，算法支配人类采取的每一个行动。这看起来不是很乐观，对吧？ AI中的道德规范是Analytics Vidhya一直热衷于讨论的话题。它在应该连同这些主题一并考虑的所有技术讨论中陷入了困境。
今年有相当多的组织因为Facebook的剑桥分析学丑闻和谷歌内部普遍关于设计武器标题丑闻而狼狈不堪。但所有这一切都导致大型科技公司制定了章程和指导方针，并且打算遵循。
没有一个现成的解决方案或一个适合所有解决方案能处理AI的道德方面问题。它需要一种细致入微的方法，并结合领导层提出的结构化路径。让我们看看今年早些时候的一些重大举措。
Google和微软的广告系列看到大公司把重点放在人工智能的这一方面，十分令人振奋（尽管通向这一方面的道路并不平坦）。可以注意其中几家公司发布的指导方针和原则，比如Google的AI原则和微软的AI原则。
这些都基本上谈论人工智能的公平性以及何时何地划清界限。当你开始一个新的基于AI的项目时，可以对其进行参考。
GDPR如何改变博弈GDPR，或者称《通用数据保护条例》一定会对用于构建AI应用程序的数据收集方式产生影响。 GDPR开始发挥作用，以确保用户可以更好地控制他们的数据（收集和共享关于他他们的信息）。
那么这对AI有何影响？好吧，如果数据科学家没有数据（或没有足够的数据），那么构建任何模型都会没有根据。这无疑对社交平台和其他网站如何运作的问题上发挥了一定的作用。GDPR将在线上做一个引人入胜的案例研究，但目前，它限制了AI在许多平台上的使用。
2019年的AI道德趋势预测这是一个灰色的领域，没有一个确切的解决方案。我们必须团结起来，将道德融合到AI项目中。怎样才能实现这一目标？正如Analytics Vidhya的创始人兼首席执行官Kunal Jain在他在2018年DataHack峰会上的演讲中所强调的那样，我们需要确定一个可供他人遵循的框架。
我们希望在主要处理AI道德的组织中增添新角色。随着AI成为公司愿景的核心，需要重新制定公司最佳实践并重新制定治理方法。我们还期望政府在这方面发挥更积极的作用，制定新的或修改后的政策。
编译组：郝晶晶、赵璇
相关链接：
https://www.analyticsvidhya.com/blog/2018/12/key-breakthroughs-ai-ml-2018-trends-2019/
如需转载，请后台留言，遵守转载规范
