Apache Hadoop 阿帕奇Hadoop

Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。

Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。该库本身不依赖于硬件来提供高可用性，而是被设计用来检测和处理应用程序层的故障，因此可以在计算机集群的顶部提供高可用性服务，每台计算机都容易出现故障。

模组

该项目包括以下模块：

Hadoop Common：支持其他Hadoop模块的通用实用程序。
Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
Hadoop YARN：用于作业调度和群集资源管理的框架。
Hadoop MapReduce：基于YARN的系统，用于并行处理大数据集。
Hadoop Ozone： Hadoop的对象存储。

HTTP

FTP

ftp://apache.cs.utah.edu/apache.org/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

ftp://ftp.osuosl.org/pub/apache /hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

备份站点

请仅使用备用镜像下载KEYS，PGP签名和哈希（SHA *等），或者如果没有其他镜像在工作。

https://downloads.apache.org/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

也提供镜像站点的完整列表。

成为镜子

如何成为镜像中介绍了设置新镜像的过程。

验证文件的完整性

必须使用PGP签名（.asc文件）或哈希（.md5或.sha*文件）来验证下载文件的完整性。请阅读验证Apache Software Foundation版本，以获取有关为什么您应该验证我们的版本的更多信息。

可以使用PGP或GPG验证PGP签名。首先下载 KEYS以及asc相关分发的签名文件。确保从主分发站点而不是从镜像获取这些文件。然后使用

％gpg-导入密钥
％gpg-验证download_file.asc download_file

要么

％pgpk -a键
％pgpv download_file.asc

要么

％pgp -ka键
％pgp download_file.asc

或者，您可以验证文件上的哈希。

哈希可以使用GPG计算：

％gpg --print-md SHA256已下载文件

应将输出与SHA256文件的内容进行比较。类似地，对于可能提供的其他哈希（SHA512，SHA1，MD5等）。

Windows 7和更高版本的系统现在都应具有certUtil：

％certUtil -hashfile pathToFileToCheck

哈希算法选项：MD2 MD4 MD5 SHA1 SHA256 SHA384 SHA512

类似于Unix的系统（和macOS）将具有称为md5，md5sum或shasum的实用程序

来源于：https://hadoop.apache.org/

Apache Hadoop

模组

相关项目

HTTP

FTP

备份站点

成为镜子

验证文件的完整性

相关推荐