cloudera CDH(3u1) 与 apache hadoop(0.20.2)有何不同?

XingKai 2011-09-28

系统

  其它见:https://ccp.cloudera.com/display/CDHDOC/Incompatible+Changes

安装

  •   cloudera CDH3基于hadoop稳定版0.20.2,并集成很多补丁(patch)
  •   CDH提供rpm包和tar两种方式(cloudera更推荐使用rpm方式,下文所述CDH默认为rpm安装方式),hadoop0.20.2只提供了tar包安装方式,
  •   cloudera CDH3 自动设置JAVA_HOME环境变量,apache hadoop需要手工配置
  •   apache hadoop使用start/stop-dfs.sh start/stop-all.sh脚本维护集群,CDH通过root身份运行/etc/init.d/hadoop-0.20-* 脚本启动、关闭服务,这种方式只可以管理当前服务器,如果希望实现类似start/stop-all.sh需要自己写脚本(详细见我博客:http://heipark.iteye.com/blog/1182223)
  •   CDH3安装成功后会添加两个用户:hdfs(hdfs文件系统相关), mapred(mapreduce相关),而apache hadoop大家通常的做法是添加一个hadoop用户来做所有的事情。
  •   CDH通过alternatives切换多个配置文件,而apache hadoop配置文件只保存在$HADOOP_HOME/conf下面

eclipse插件

  cloudera CDH默认没有提供eclipse插件,需要自己编译,而且它的插件和apache hadoop插件不兼容

安全

  CDH3支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证

参考:

https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/cacad7f7091b5332

https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/cd036b7483b32bbc

https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/c30a91068d912015

https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/0cfbc35d87e23233

-- end --

相关推荐