zxiaozhuT 2012-12-25
[b][/b]运行基于HBASE的时间较长的M/R任务时,Region Server报错如下:
早上4点01:46.222INFOorg.apache.hadoop.hbase.regionserver.HRegionServerScanner-1644657804377547036leaseexpired
网上有帖子说是因为scanner没有关闭导致(http://grokbase.com/t/cloudera/cdh-user/125xhtpx8v/lease-exception-readandprocess-scanner-lease-expired-errors),在代码中加入关闭,等待结果。
暂时没有起作用。重MAP任务下,4G内存的机器没有运行map/reduce任务,但其Region Server全部死掉,证明两方面问题:
1. map任务占用内存较大
2. hbase占用的内存较大,当设置的heap size(默认为1G)太小时可能导致region server死掉
解决办法只有更换内存更大的机器。CPU性能对集群性能的影响未知。
map同时写todo和visited表时32G内存的机器也死了。。。
IO的消耗非常之大。