基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一、Cloudera Manager/CDH5

1、关于cloudera manager和CDH是什么，这里不做详细介绍了。有官网和百科介绍。

附上官网地址：cloudera manager

2、官网的安装指南

官方文档提供了三种安装方式：在线自动安装/手动安装包安装/手动使用cloudera manager管理安装

此处使用第三种方式安装Hadoop集群。

二、环境规划

1、系统：CentOS 6.4_x86

master：4G内存，硬盘尽量大容量
slave1：2G内存，硬盘尽量大容量
slave2：2G内存，硬盘尽量大容量

2、Cloudera Manager 5.3.3

3、CDH 5.3.3

安装包下载：

Cloudera Manager 5.3.3：http://archive-primary.cloudera.com/cm5/cm/5/
CDH 5.5.5：http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/

下载软件包：

CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
manifest.json

三、系统环境准备工作

此次执行权限均为root用户
所有的机器都必须ssh互信模式
修改主机名使用hosts文件或者DNS服务器
关闭iptables和selinux
卸载系统自带的openjdk,安装Oracle的jdk
master节点安装mysql
所有节点的时间必须同步(ntp服务器或其他方法)
修改所有节点的内核参数

i. echo 0 > /proc/sys/vm/swappiness

ii.echo never > /sys/kernel/mm/RedHat_transparent_hugepage/defrag

四、正式开始安装
1、cloudera manager默认的目录是在/opt下，解压到/opt目录下。
# tar xf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz -C /opt/
# ls /opt/
cloudera cm-5.3.3
#
# 安装mysql-connector-java
# yum -y install mysql-connector-java

2、初始化数据库
# /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
# mysql -uroot -p123456 -e "show databases;" 查看下cm数据库是否创建成功

3、复制数据到其他节点
# 修改配置文件server_host为master节点的主机名
# grep server_host /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini
server_host=master
# scp -rp /opt/cm-5.3.3 slave1:/opt/
# scp -rp /opt/cm-5.3.3 slave2:/opt/
#
# 每个节点创建系统用户
# useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scm

4、数据库的配置
# hive
# create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# active monitor
# create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 授权master主机
# grant all on *.* to 'root'@'master' identified by 'PASSWD';

5、准备parcels安装包到/opt/cloudera/parcel-repo/
# ls /opt/cloudera/parcel-repo/
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha manifest.json
# 注意：CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha下载后的文件重命名的
#
# 启动master节点的server和agent脚本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start
# server端口启动较慢
#
# 启动其他所有节点的agent脚本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

五、CDH 5安装配置

1、访问http://master-ip:7180端口开始安装

基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装