大而话之BigData 2020-06-10
虚拟机数量:3
系统版本:Centos 7.5
Hadoop版本:Apache Hadoop 2.7.3
Zookeeper版本:Apache zookeeper-3.4.10.
HBase版本:Apache HBase 1.2.6
1.启动Hadoop集群
在master启动Hadoop集群
start-all.sh
在master上运行jps,确认NameNode, SecondaryNameNode, ResourceManager进程启动
在slave01上运行jps,确认DataNode, NodeManager进程启动
在slave02上运行jps,确认DataNode, NodeManager进程启动
2.启动ZooKeeper集群
分别在master,slave01,slave02上启动zookeeper
命令: zkServer.sh start
2.分别在master,slave01,slave02上查看zookeeper是否启动成功
命令
zkServer.sh status
3.解压并安装HBase
从HBase的公共目录/home/zkpk/tgz/hbase 下解压hbase-1.2.6-bin.tar.gz
文件到/home/zkpk目录下
使用下面的命令,解压HBase安装包
cd /home/zkpk/tgz/hbase
tar -xvzf hbase-1.2.6-bin.tar.gz -C /home/zkpk
查看解压后HBase目录中包含的文件
cd ../
cd /home/zkpk/hbase-1.2.6/
ll
4.配置HBase
进入HBase安装目录下的配置目录
cd conf/
配置hbase-env.sh文件
使用vim命令修改hbase-env.sh文件
vim hbase-env.sh
修改JAVA环境变量,去除export JAVA_HOME配置项前面的#号,并将内容修改如下
export JAVA_HOME=/usr/java/jdk1.8.0_131/
修改配置项为不使用自带zookeeper管理HBase集群,去除export
HBASE_MANAGES_ZK配置项前面的#号,并将内容修改如下
export HBASE_MANAGES_ZK=false
修改完毕,利用:wq保存文件并退出
配置hbase-site.xml文件
使用vim命令编辑hbase-site.xml文件
vim hbase-site.xml
用下面的代码替换hbase-site.xml中的内容:
<span><?<span>xml<span>-<span>stylesheet type<span>=<span>"text/xsl"<span> href<span>=<span>"configuration.xsl"<span>?></span></span></span></span></span></span></span></span></span></span>
<span><configuration></span>
<span> <span><property></span></span>
<span> <span><name><span>hbase.cluster.distributed<span></name></span></span></span></span>
<span> <span><value><span>true<span></value></span></span></span></span>
<span> <span></property></span></span>
<span> <span><property></span></span>
<span> <span><name><span>hbase.rootdir<span></name></span></span></span></span>
<span> <span><value><span>hdfs://master:9000/hbase<span></value></span></span></span></span>
<span> <span></property></span></span>
<span> <span><property></span></span>
<span> <span><name><span>hbase.zookeeper.quorum<span></name></span></span></span></span>
<span> <span><value><span>master,slave01,slave02<span></value></span></span></span></span>
<span> <span></property></span></span>
<span> <span><property></span></span>
<span> <span><name><span>hbase.master.info.port<span></name></span></span></span></span>
<span> <span><value><span>60010<span></value></span></span></span></span>
<span> <span></property></span></span>
<span> <span></configuration></span></span>
修改完毕,利用:wq保存并退出
配置regionservers文件
使用vim编辑regionservers文件
vim regionservers
使用下面的代码替换regionservers中的内容:
<span>slave01</span>
<span>slave02</span>
修改完毕,利用:wq保存并退出
设置HBase的环境变量
编辑系统配置文件,执行下面代码
vim /home/zkpk/.bash_profile
将下面内容添加到文件末尾
<span>#HBase</span>
<span>export<span> HBASE_HOME<span>=<span>/home/<span>zkpk<span>/<span>hbase<span>-<span>1.2<span>.<span>6</span></span></span></span></span></span></span></span></span></span></span>
<span>export<span> PATH<span>=<span>$HBASE_HOME<span>/<span>bin<span>:<span>$PATH</span></span></span></span></span></span></span></span>
<span>export<span> HADOOP_CLASSPATH<span>=<span>$HBASE_HOME<span>/<span>lib<span>/*</span></span></span></span></span></span></span>
修改完毕,利用:wq保存并退出
然后执行如下命令使配置文件生效
source /home/zkpk/.bash_profile
将配置好的HBase文件夹复制到从节点
使用scp命令将文件夹复制到slave01、slave02上:
说明:因为之前已经配置了免密钥登录,这里可以直接免密钥远程复制
scp -r hbase-1.2.6/ :~/
scp -r hbase-1.2.6/ :~/
在master上启动HBase集群
start-hbase.sh
在master上运行jps,确认HMaster进程启动
在slave01上运行jps,确认HRegionServer进程启动
在slave02上运行jps,确认HRegionServer进程启动
利用hbase shell进入HBase命令行,退出该命令行使用quit命令
hbase shell
出现上述结果都正确显示则表示HBase启动成功
搭建HBase集群,需要熟悉基本的Linux系统操作,并且要保证Hadoop,Zookeeper集群正常启动,这样在部署的时候会比较顺利一点。
上课的随笔