Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

GMCWXH 2018-09-25

一 , 主机agent安装配置

原作者开源中国“”喵了_个咪“”

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

填入主机的名称或在已托管主机选择一下主机

cmmaster-1master-2slave-1slave-2slave-3

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

下一步选择我们之前下载好的parcel

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

等待系统自动分发

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

完成之后在进行下一步

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

检查集群正确性

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

以上的几个提示不解决也可以,为了美观我们还是处理掉上面的问题

用户和用户组

useradd cloudera-scm

swappiness

echo 10 > /proc/sys/vm/swappiness

透明页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

点击页面头部的重新运行,我们就得到一个干净的主机检查了

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

二, 大数据组件安装

主要组件分布

cm cloudManageService oozie HUE
master-1 Zookeeper NameNode HbaseMaster YARN HiveMetastore
master-2 Zookeeper NameNode HbaseMaster YARN HiveMetastore
slave-1 Zookeeper DataNode HbaseRegion NodeManger
slave-2 Zookeeper DataNode HbaseRegion NodeManger
slave-3 Zookeeper DataNode HbaseRegion NodeManger

选择创建集群:

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

勾选我们需要的组件

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

对组件中的各个实例修改安装的主机实例

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

PS:如果大家发现安装完成之后有组件挂掉,并且不能解决可以尝试减少安装的组件数量,比如oozie和hue可以在后面安装,先安装好核心组件

数据库配置(先去MYSQL创建好对应的数据库)

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

配置修改(先使用默认配置)

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

开始安装运行组件

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

愉快的开始使用了

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

三 , HUE load balancer 启动失败问题解决

需要先安装一下下面两个包之后在重启

yum install httpd mod_ssl

Hadoop 企业级大数据管理平台CDH 安装Hadoop组件

相关推荐