Hadoop心跳機制源碼分析

原文地址：http://weixiaolu.iteye.com/blog/1544860

正文：

一．體系背景

首先和大家說明一下：hadoop的心跳機制的底層是通過RPC機制實現的，這篇文章我只介紹心跳實現的代碼，對於底層的具體實現，大家可以參考我的另幾篇博客：

1. hadoop的RPC機制（參考：http://weixiaolu.iteye.com/blog/1504898 ）
2. 動態代理（參考 ：http://weixiaolu.iteye.com/blog/1477774 ）
3. Java NIO（參考 ：http://weixiaolu.iteye.com/blog/1479656 ）

以上三篇文章和這篇文章完整地分析了hadoop的數據傳輸過程。大家可以當成一個體系來閱讀。

二．心跳機制

1. hadoop集羣是master/slave模式，master包括Namenode和Jobtracker，slave包括Datanode和Tasktracker。

2. master啓動的時候，會開一個ipc server在那裏，等待slave心跳。

3. slave啓動時，會連接master，並每隔3秒鐘主動向master發送一個“心跳”，這個時間可 以通過”heartbeat.recheck.interval”屬性來設置。將自己的狀態信息告訴master，然後master也是通過這個心跳的返回值，向slave節點傳達指令。

4. 需要指出的是：namenode與datanode之間的通信，jobtracker與tasktracker之間的通信，都是通過“心跳”完成的。

三．Datanode、Namenode心跳源碼分析

既然“心跳”是Datanode主動給Namenode發送的。那Datanode是怎麼樣發送的呢？下面貼出Datanode.class中的關鍵代碼：

代碼一：

Java代碼  

1. /** 
2.    * 循環調用“發送心跳”方法，直到shutdown 
3.    * 調用遠程Namenode的方法 
4.    */  
5.   public void offerService() throws Exception {  
6. •••  
7.     while (shouldRun) {  
8.       try {  
9.         long startTime = now();  
10.          // heartBeatInterval是在啓動Datanode時根據配置文件設置的，是心跳間隔時間  
11.         if (startTime - lastHeartbeat > heartBeatInterval) {  
12.           lastHeartbeat = startTime;  
13. //Datanode發送心跳  
14.           DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,  
15.                                                        data.getCapacity(),  
16.                                                        data.getDfsUsed(),  
17.                                                        data.getRemaining(),  
18.                                                        xmitsInProgress.get(),  
19.                                                        getXceiverCount());  
20.           myMetrics.addHeartBeat(now() - startTime);  
21.            
22.           if (!processCommand(cmds))  
23.             continue;  
24.         }  
25.          
26.       •••  
27.       }  
28.     } // while (shouldRun)  
29.   } // offerService  

 

需要注意的是：發送心跳的對象並不是datanode，而是一個名爲namenode的對象，難道在datanode端就直接有個namenode的引用嗎？其實不然，我們來看看這個namenode吧：

代碼二：

Java代碼  

1. public DatanodeProtocol namenode = null;  

 

namenode其實是一個DatanodeProtocol的引用，在對hadoop RPC機制分析的文章中我提到過，這是一個Datanode和Namenode通信的協議，其中有許多未實現的接口方法，sendHeartbeat()就是其中的一個。下面看看這個namenode對象是怎麼被實例化的吧：

代碼三：

Java代碼  

1. this.namenode = (DatanodeProtocol)   
2.     RPC.waitForProxy(DatanodeProtocol.class,  
3.                      DatanodeProtocol.versionID,  
4.                      nameNodeAddr,   
5.                      conf);  

 

其實這個namenode並不是Namenode的一個對象，而只是一個Datanode端對Namenode的代理對象，正是這個代理完成了“心跳”。代理的底層實現就是RPC機制了。參考博客：http://weixiaolu.iteye.com/blog/1504898 。

四．Tasktracker、Jobtracker心跳源碼分析

同樣我們從Tasktracker入手，下面貼出Tasktracker.class的關鍵代碼：

代碼四：

Java代碼  

1. 代碼一：  
2. State offerService() throws Exception {  
3.     long lastHeartbeat = System.currentTimeMillis();  
4.     while (running && !shuttingDown) {  
5.      •••  
6.           
7.         // 發送心跳，調用代碼二  
8.         HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);  
9.   
10.       •••  
11.     return State.NORMAL;  
12.   }  
13.   
14. 代碼二：  
15. HeartbeatResponse transmitHeartBeat(long now) throws IOException {  
16.    •••  
17.     HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,   
18.                                                               justStarted,  
19.                                                               justInited,  
20.                                                               askForNewTask,   
21.                                                          heartbeatResponseId);                                
22. •••  
23.     return heartbeatResponse;  
24.   }  

 

其實我覺得分析到這裏大家就可以自己分析了，jobClient也是一個協議：

代碼五：

Java代碼  

1. InterTrackerProtocol jobClient;  

 

該協議用於定義Tasktracker和Jobtracker的通信。同樣，它也是一個代理對象：

 

代碼六：

Java代碼  

1. this.jobClient = (InterTrackerProtocol)   
2.  UserGroupInformation.getLoginUser().doAs(  
3.      new PrivilegedExceptionAction<Object>() {  
4.    public Object run() throws IOException {  
5.      return RPC.waitForProxy(InterTrackerProtocol.class,  
6.          InterTrackerProtocol.versionID,  
7.          jobTrackAddr, fConf);  
8.    }  
9.  });  

 

代理的底層實現也是RPC機制。參考博客：http://weixiaolu.iteye.com/blog/1504898 。