shuyun00 2013-04-28
hadoop 各个组件均利用XML文件进行配置。core-site.xml文件用于配置Common组件的属性,hdfs-site.xml文件用于配置HDFS属性,而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。
hadoop的运行模式有三种:
1)独立模式:在本机模式下测试和调试,适宜用在开发阶段。
2)伪分布模式:hadoop守护进程运行在本机上,模拟一个小规模的集群。
3)全分布模式:守护进程运行在一个集群上,生产模式。
下面主讲一下伪分布模式:
core-site.xml
<?xml version="1.0"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost/</value> </property> </configuration>
hdfs-site.xml
<?xml version="1.0"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
mapred-site.xml
<?xml version="1.0"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property> </configuration>
格式化HDFS文件系统
格式化HDFS文件系统非常方便,只需要一个命令:
启动和终止守护进程
为启动HDF和MapReduce守护进程,键入如下命令:
本地将启动三个守护进程:一个namenode、一个辅助namenode和一个datanode。可以浏览logs目录中的日志文件来检查守护进程是否成功启动,或通过web界面:http://localhost:500030查看jobtracker或在http://localhost:50070查看namenode。此外java的jps命令也能查看守护进程是否正在运行。
终止守护进程: