创建Cloudera Hadoop本地源服务器

surpassli 2013-04-16

在部署Cloudera Hadoop集群中,使用网络安装hadoop网速不太给力,需要创建一个本地源服务器,加速安装过程或者提高增加节点安装部署效率。

创建步骤

1.  如果是安装部署cloudera 4版本,需要先安装cloudera 源RPM文件

for RedHat/ CentOS 5 64位服务器

rpm -Uvh http://http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm

for  centos 6 32位

rpm -Uvh  http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm

for  centos 6 64位

rpm -Uvh  http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm

2. 在源服务器中安装web服务 apache或者nginx

yum -y  install httpd

3. 安装创建源工具

yum -y install yum-utils createrepo

4.在/var/www/html目录中执行命令

reposync -r cloudera-cdh4

开始下载cloudera hadoop RPM包文件到本地

5. 下载RPM 源key文件到本地

wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera

6. 生成metadata文件

createrepo .

7. 将/etc/yum.repos.d/cloudera-cdh4.repo 文件中的

baseurl=为 本服务器的web地址http://<yourwebserver>/cloudera-cdh4

gpgkey =为本服务器的web地址http://<yourwebserver>/cloudera-cdh4/RPM-GPG-KEY-cloudera

保存文件即可创建完成,下面就可以使用你自己的cloudera hadoop源服务器了。

相关推荐