hadoop 伪分布模式

shuyun00 2013-04-28

hadoop 各个组件均利用XML文件进行配置。core-site.xml文件用于配置Common组件的属性,hdfs-site.xml文件用于配置HDFS属性,而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。

hadoop的运行模式有三种:

1)独立模式:在本机模式下测试和调试,适宜用在开发阶段。

2)伪分布模式:hadoop守护进程运行在本机上,模拟一个小规模的集群。

3)全分布模式:守护进程运行在一个集群上,生产模式。

下面主讲一下伪分布模式:

core-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost/</value>
	</property>
</configuration>

 hdfs-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		 <name>dfs.replication</name>
		 <value>1</value>
	</property>
</configuration>

 mapred-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:8021</value>
	</property>
</configuration>

 格式化HDFS文件系统

格式化HDFS文件系统非常方便,只需要一个命令:

hadoop namenode -format

 启动和终止守护进程

为启动HDF和MapReduce守护进程,键入如下命令:

start-dfs.sh
start-mapred.sh
或执行:
start-all.sh

 本地将启动三个守护进程:一个namenode、一个辅助namenode和一个datanode。可以浏览logs目录中的日志文件来检查守护进程是否成功启动,或通过web界面:http://localhost:500030查看jobtracker或在http://localhost:50070查看namenode。此外java的jps命令也能查看守护进程是否正在运行。

终止守护进程:

stop-dfs.sh
stop-mapred.sh

相关推荐