hadoop集群的启动与停止

飞鸿踏雪0 2020-07-09

@

目录

单点启动

  1. 如果集群是第一次启动,需要格式化NameNode
hadoop namenode -format
  1. 在某一台机器上启动NameNode节点
hadoop-daemon.sh start namenode
  1. 在其他机器上启动DataNode节点
hadoop-daemon.sh start datanode

漫长的启动时间…………

思考:每次都一个一个节点启动,如果节点数增加到1000个怎么办?
早上来了开始一个一个节点启动,到晚上下班刚好完成,下班?

群起集群

  1. 先配置各个节点之间的SSH免密登陆,请看我之前的文章:
    SSH实现免密登陆
  2. 配置slaves
    文件路径:$HADOOP_HOME/etc/hadoop/slaves
    在文件中增加以下内容:
hadoop101
hadoop102
hadoop103

这些名称是我的三台机器的主机名,各位请改成自己的主机名!
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

  1. 如果集群是第一次启动,需要格式化NameNode,这里使用的命令是hdfs,不是单点启动时的hadoop
hdfs namenode -format
  1. 启动HDFS
start-dfs.sh
  1. 启动YARN
start-yarn.sh

查看是否启动成功

web端查看SecondaryNameNode
浏览器中输入:http://主机名或IP地址:50090/status.html

集群启动/停止方式总结

  1. 各个服务组件逐一启动/停止
  • 分别启动/停止HDFS组件
hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode
  • 启动/停止YARN
yarn-daemon.sh  start / stop  resourcemanager / nodemanager
  1. 各个模块分开启动/停止(配置ssh是前提)常用
  • 整体启动/停止HDFS
start-dfs.sh   /  stop-dfs.sh
  • 整体启动/停止YARN
start-yarn.sh  /  stop-yarn.sh
  1. HDFS、YARN同时启动、停止
start-all.sh  /  stop-all.sh

相关推荐

硅步至千里 / 0评论 2020-04-19