Hadoop心跳机制源码分析

正文：

一．体系背景

首先和大家说明一下：Hadoop的心跳机制的底层是通过RPC机制实现的，这篇文章我只介绍心跳实现的代码，对于底层的具体实现，大家可以参考我的另几篇文章：

以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。

二．心跳机制

1. hadoop集群是master/slave模式，master包括Namenode和Jobtracker，slave包括Datanode和Tasktracker。

2. master启动的时候，会开一个ipc server在那里，等待slave心跳。

3. slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，向slave节点传达指令。

4. 需要指出的是：namenode与datanode之间的通信，jobtracker与tasktracker之间的通信，都是通过“心跳”完成的。

三．Datanode、Namenode心跳源码分析

既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢？下面贴出Datanode.class中的关键代码：

代码一：

1. /**  
2.    * 循环调用“发送心跳”方法，直到shutdown  
3.    * 调用远程Namenode的方法  
4.    */  
5.   public void offerService() throws Exception {   
6. •••   
7.     while (shouldRun) {   
8.       try {   
9.         long startTime = now();   
10.          // heartBeatInterval是在启动Datanode时根据配置文件设置的，是心跳间隔时间   
11.         if (startTime - lastHeartbeat > heartBeatInterval) {   
12.           lastHeartbeat = startTime;   
13. //Datanode发送心跳   
14.           DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,   
15.                                                        data.getCapacity(),   
16.                                                        data.getDfSUSEd(),   
17.                                                        data.getRemaining(),   
18.                                                        xmitsInProgress.get(),   
19.                                                        getXceiverCount());   
20.           myMetrics.addHeartBeat(now() - startTime);   
21.             
22.           if (!processCommand(cmds))   
23.             continue;   
24.         }   
25.           
26.       •••   
27.       }   
28.     } // while (shouldRun)   
29.   } // offerService  

需要注意的是：发送心跳的对象并不是datanode，而是一个名为namenode的对象，难道在datanode端就直接有个namenode的引用吗？其实不然，我们来看看这个namenode吧：

代码二：

public DatanodeProtocol namenode = null;  

namenode其实是一个DatanodeProtocol的引用，在对hadoop RPC机制分析的文章中我提到过，这是一个Datanode和Namenode通信的协议，其中有许多未实现的接口方法，sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧：

代码三：

1. this.namenode = (DatanodeProtocol)    
2.     RPC.waitForProxy(DatanodeProtocol.class,   
3.                      DatanodeProtocol.versionID,   
4.                      nameNodeAddr,    
5.                      conf);