Hadoop及Mahout安装

陈先森 2012-10-09

环境:虚拟机VMware7+Ubuntu 12.04

1,先下载需要的文件:

【注意】:版本问题很重要

jdk,eclipse,maven

Hadoop:http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.3/ 我其实先下载了0.2.0

mahout:http://labs.renren.com/apache-mirror/mahout/0.7/

2,安装jdk,下载的rpm包,需要安装alien,然后用alien把rpm转换成deb,再使用dpkg安装

3,eclipse解压,我用的helios版

4,maven解压,配置环境变量:

我的/etc/profile文件最终的配置(我的文件都放在share目录下,然后share目录可以和windows共享):

  1. export JAVA_HOME=/usr/java/jdk1.7.0_07  
  2. export PATH=$JAVA_HOME/bin:$PATH  
  3. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
  4. export HADOOP_HOME=/home/ydp/share/hadoop-1.0.3 
  5. export HADOOP_CONF_DIR=$HADOOP_HOME/conf  
  6. export PATH=$HADOOP_HOME/bin:$PATH  
  7. export MAHOUT_HOME=/home/ydp/share/mahout-distribution-0.7 
  8. export PATH=$MAHOUT_HOME/bin:$PATH  
  9. export MAVEN_HOME=/home/ydp/share/apache-maven-3.0.4 
  10. export PATH=$MAVEN_HOME/bin:$PAT 

5,安装hadoop,解压1.0.3版本,配置文件:

core-site.xml

  1. <configuration> 
  2.     <property> 
  3.         <name>fs.default.name</name> 
  4.         <value>hdfs://localhost:9000</value> 
  5.     </property> 
  6.     <property> 
  7.         <name>hadoop.tmp.dir</name> 
  8.         <value>/home/ydp/tmp</value> 
  9.     </property> 
  10. </configuration>

mapred-site.xml

  1. <configuration> 
  2.     <property> 
  3.         <name>mapred.job.tracker</name> 
  4.         <value>localhost:9001</value> 
  5.     </property> 
  6. </configuration> 

hdfs-site.xml

  1. <configuration> 
  2.     <property> 
  3.         <name>dfs.replication</name> 
  4.         <value>1</value> 
  5.     </property> 
  6. </configuration> 

hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_07
export HADOOP_HOME_WARN_SUPPRESS=TRU 

6,安装mahout,解压(我就没用mvn install了,直接下了个可用的)

相关推荐