Hadoop尚能饭否？发布新版本支持GPU和FPGA
zhouxucando 2018-04-08
近日，Apache Hadoop发布了3.1.0版本，这是2018年Hadoop 3.x系列的第一个小版本，较之前的Hadoop 3.0有了一些重大改变，因为它终于支持GPU和FPGA了。但这个版本还不适用于生产环境，如需要在生产环境下使用的用户，还需等待 3.1.1或3.1.2版本发布。
Hadoop 3.1.0版本带来的重大改进：
Yarn Service服务框架为在YARN上长期运行的服务提供支持，作为一个容器编配平台来管理运行在YARN上那些被容器化的服务，支持Docker容器和传统容器。
YARN支持基于 GPU 的调度和隔离（Docker 和非 Docker 容器）。
在YARN中支持更多的配置约束。这些约束对于应用程序的性能和弹性至关重要，尤其是那些包含长期运行容器的应用程序，如服务、机器学习和流式工作负载。在同一机架上调度有关联的任务（相似性约束）可以降低网络成本，在机器之间分配任务（反亲和约束）以便降低资源干扰，或者限定特定节点组的任务数量（基数约束）以在两者之间取得平衡。
支持管理员为队列指定具体数目的资源（比如具体的内存数量、vcore核数、GPU等），而不是提供基于百分比的值，这让管理员能够更好地控制给定队列配置所需的资源。
3.1.0提供的存储允许将存储在HDFS之外的数据映射到HDFS，并从HDFS进行寻址。这是一种异构存储，通过向DataNode中引入新的存储类型PROVIDED来实现。
此前，Gartner发布的一份关于数据管理的技术成熟度曲线认为，Hadoop已发行版本已经被淘汰出局，未能进入实质生产的高峰期 （Plateau of Productivity）。与此相对，企业正在寻求其他更有竞争力、更加便捷的基于云的产品。此次3.1.0版本发布的几项重大改进，能否给这个老牌大数据平台带来新的活力？Hadoop尚能饭否？
