Hadoop(一)安装

WeiHHH 2020-08-17

####首先保证Node891或Node811等版本装成功了######
/opt/bigdata/elk/node891
 
################ 修改目录权限 ####################
[ hadoop]# chown -R root:root hadoop260/
 
################ JDK ####################
[ hadoop260]# vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/bigdata/java/jdk180
 
################ hadoop fs 文件系统 ####################
[ hadoop260]# vi etc/hadoop/core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://虚拟机的IP地址:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/bigdata/hadoop/hadoop260</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>
 
################ hadoop replicas 备份 ####################
[ hadoop]# pwd
/opt/bigdata/hadoop
 
[ hadoop]# mkdir hdfs
[ hadoop]# ls
hadoop260  hdfs
 
[ hadoop]# cd hdfs/
[ hdfs]# mkdir namenode datanode
[ hdfs]# ls
datanode  namenode
 
[ hadoop260]# vi etc/hadoop/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.dir</name>
    <value>/opt/bigdata/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.dir</name>
    <value>/opt/bigdata/hadoop/hdfs/datanode</value>
  </property>
</configuration>
 
################ hadoop mapreduce 计算框架 ####################
[ hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[ hadoop260]# vi etc/hadoop/mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
 
################ hadoop yarn 管理调度 ####################
[ hadoop260]# vi etc/hadoop/yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
</configuration>
 
################ hadoop slaves 主机名 ####################
[ hadoop260]# vi etc/hadoop/slaves
vwmaster
 
################ hadoop 环境变量 ####################
###### 环境变量的配置顺序不能颠倒!######
[ hadoop260]# vi /etc/profile
export JAVA_HOME=/opt/bigdata/java/jdk180
export TOMCAT_HOME=/opt/bigdata/java/tomcat85
export NODE_HOME=/opt/bigdata/elk/node891
 
export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
 
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
[ hadoop260]# source /etc/profile
 
################ hadoop 格式化 HDFS ####################
[ hadoop260]# cd bin
[ bin]# hdfs namenode -format
##见到以下信息说明格式化成功
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at vwmaster/自己的虚拟机IP
************************************************************/
##如果格式化失败:需要去检查之前各项配置
##且在此格式化必须:先把/opt/bigdata/hadoop/hdfs目录下的datanode和namenode和tmp删除了再去格式化。
 
################ hadoop-native库 ####################
[ bin]# cd /opt/install/hadoop
[ hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/
 
################ 启动 hadoop ####################
[ hadoop]# cd /opt/bigdata/hadoop/hadoop260/sbin
[ sbin]# start-all.sh  (如果需要密码先进入下一步,成功再启动)
[ sbin]# stop-all.sh  (表示关闭)
 
################ 启动或关闭 hadoop 需要输入密码的解决方法  ####################
[ bin]# cd ~
[ ~]# cd .ssh/
[ .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[ .ssh]# cat id_rsa.pub >> authorized_keys
[ .ssh]# ssh localhost
 
################ 启动 jobhistory ####################
[ sbin]# jps
[ sbin]# ./mr-jobhistory-daemon.sh start historyserver
 
################ 查看 hadoop 服务状态 ####################
[ sbin]# jps
6800 NodeManager
7329 Jps
6387 DataNode
6548 SecondaryNameNode
6264 NameNode ### 如果没有namenode,可能是曾经启动失败后没有删除hdfs的两个文件夹。需要删掉后重启。
6697 ResourceManager
7259 JobHistoryServer
 
http://20.0.0.100: 50070 8088 19888
 
 
 
 

相关推荐