Hadoop（一）安装

####首先保证Node891或Node811等版本装成功了######

/opt/bigdata/elk/node891

################ 修改目录权限 ####################

[ hadoop]# chown -R root:root hadoop260/

################ JDK ####################

[ hadoop260]# vi etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/bigdata/java/jdk180

################ hadoop fs 文件系统 ####################

[ hadoop260]# vi etc/hadoop/core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://虚拟机的IP地址:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/bigdata/hadoop/hadoop260</value>

</property>

<name>hadoop.proxyuser.root.hosts</name>

</property>

<name>hadoop.proxyuser.root.groups</name>

</property>

</configuration>

################ hadoop replicas 备份 ####################

[ hadoop]# pwd

/opt/bigdata/hadoop

[ hadoop]# mkdir hdfs

[ hadoop]# ls

hadoop260 hdfs

[ hadoop]# cd hdfs/

[ hdfs]# mkdir namenode datanode

[ hdfs]# ls

datanode namenode

[ hadoop260]# vi etc/hadoop/hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.namenode.dir</name>

<value>/opt/bigdata/hadoop/hdfs/namenode</value>

</property>

<name>dfs.datanode.dir</name>

<value>/opt/bigdata/hadoop/hdfs/datanode</value>

</property>

</configuration>

################ hadoop mapreduce 计算框架 ####################

[ hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

[ hadoop260]# vi etc/hadoop/mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

</configuration>

################ hadoop yarn 管理调度 ####################

[ hadoop260]# vi etc/hadoop/yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.log-aggregation-enable</name>

</property>

</configuration>

################ hadoop slaves 主机名 ####################

[ hadoop260]# vi etc/hadoop/slaves

vwmaster

################ hadoop 环境变量 ####################

###### 环境变量的配置顺序不能颠倒！######

[ hadoop260]# vi /etc/profile

export JAVA_HOME=/opt/bigdata/java/jdk180

export TOMCAT_HOME=/opt/bigdata/java/tomcat85

export NODE_HOME=/opt/bigdata/elk/node891

export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[ hadoop260]# source /etc/profile

################ hadoop 格式化 HDFS ####################

[ hadoop260]# cd bin

[ bin]# hdfs namenode -format

##见到以下信息说明格式化成功

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at vwmaster/自己的虚拟机IP

************************************************************/

##如果格式化失败：需要去检查之前各项配置

##且在此格式化必须：先把/opt/bigdata/hadoop/hdfs目录下的datanode和namenode和tmp删除了再去格式化。

################ hadoop-native库 ####################

[ bin]# cd /opt/install/hadoop

[ hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/

################ 启动 hadoop ####################

[ hadoop]# cd /opt/bigdata/hadoop/hadoop260/sbin

[ sbin]# start-all.sh （如果需要密码先进入下一步，成功再启动）

[ sbin]# stop-all.sh （表示关闭）

################ 启动或关闭 hadoop 需要输入密码的解决方法 ####################

[ bin]# cd ~

[ ~]# cd .ssh/

[ .ssh]# ls

authorized_keys id_rsa id_rsa.pub known_hosts

[ .ssh]# cat id_rsa.pub >> authorized_keys

[ .ssh]# ssh localhost

################ 启动 jobhistory ####################

[ sbin]# jps

[ sbin]# ./mr-jobhistory-daemon.sh start historyserver

################ 查看 hadoop 服务状态 ####################

[ sbin]# jps

6800 NodeManager

7329 Jps

6387 DataNode

6548 SecondaryNameNode

6264 NameNode ### 如果没有namenode，可能是曾经启动失败后没有删除hdfs的两个文件夹。需要删掉后重启。

6697 ResourceManager

7259 JobHistoryServer

http://20.0.0.100: 50070 8088 19888

Hadoop（一）安装

相关推荐