虚拟机hadoop伪分布式搭建

csdnhadoop 2019-11-09

虚拟机搭建自定义类型 主机名为hadoop可以省略 很多步骤

1.安装虚拟机

配置和网络 

  (1)IPADDR

  (2)NETMASK

  (3)GATEWAY

  (4)DNS1

远程连接 Xshell

关闭防火墙

  (1)service iptables stop

  (2)chkconfig iptables off

2.安装jdk,配置环境变量

上传jdk压缩包 解压 jdk放到/usr/local路径下

  (1)tar -zxvf  解压

  (2)ln -s xxxx.jdk jdk 建立软连接

配置环境变量  进入到vi /etc/profile下

  export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH

刷新

  source /etc/profile

查看是否成功

  java -version

3.修改host是文件,添加映射

vi /etc/hosts 添加

自己的IP  主机名 

 例如:192.168.48.151 node51

4.配置免密登录

  生成秘钥 ssh-keygen -t rsa 4个回车

  拷贝秘钥 ssh-copy-id -i hadoop

5 上传hadoop压缩包到/usr/local/ 并解压 和上面jdk步骤相同

6 配置hadoop的环境变量
  进入vi /etc/profile路径下
    export JAVA_HOME=/usr/local/jdk
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

刷新

  source /etc/profile

7 修改7大配置文件,并进行替换
  所在位置 hadoop/etc/hadoop

  (1)core-site.xml

  (2)hadoop-env.sh

  (3)hdfs-site.xml

  (4)mapred-site.xml

  (5)slaves

  (6)yarn-env.sh

  (7)yarn-site.xml

    hadoop 改为自己的主机名

    主机名如果是hadoop可以不修改
8 格式化namenode
  hdfs namenode -format
  出现 has been successfully formatted 格式化成功
9 启动hadoop进程
  start-all.sh
10 验证搭建是否成功,出现如下进程成功
  DataNode
  ResourceManager
  SecondaryNameNode
  NodeManager
  NameNode

相关推荐