Hadoop之RPC簡單使用(遠程過程調用協議)

一、RPC概述

  RPC是指遠程過程調用,也就是說兩臺不同的服務器(不受操作系統限制),一個應用部署在Linux-A上,一個應用部署在Windows-B或Linux-B上,若A想要調用B上的某個方法method(),由於不在一個內存空間,不能直接調用,需要通過網絡來表達調用的語意和傳達調用的參數。

  樓主在接觸RPC之前,用得最多的莫過於WebService。WebService可以說是在RPC發展的基礎之上。RPC的協議有很多,比如最早的CORBA,Java RMI,Web Service等,又比如現在阿里巴巴的Dubbo,Apache下的hadoop項目。該篇樓主主要以hadoop的RPC爲例。

  hadoop爲何要使用RPC?在HDFS中,我們通過jsp可查看到有DataNode,NameNode,SecondaryNameNode主要進程(樓主只啓動了HDFS),我們客戶端Client與NameNode通信,NameNode與DataNode的通信,都是在不同進程間,不同系統間的通信。

  

  二、RPC流程

 

  通過下圖,我們簡單分析RPC的執行流程:

  

 

  首先,要解決通訊的問題,主要是通過在Client和Server之間建立TCP連接,遠程過程調用的所有交換的數據都在這個連接裏傳輸。連接可以是按需連接,調用結束後就斷掉,也可以是長連接,多個遠程過程調用共享同一個連接。

  第二,要解決尋址的問題,也就是說,A服務器上的應用怎麼告訴底層的RPC框架,如何連接到B服務器(如主機或IP地址)以及特定的端口,方法的名稱名稱是什麼,這樣才能完成調用。

  第三,當Client上的應用發起遠程過程調用時,方法的參數需要通過底層的網絡協議如TCP傳遞到Server,由於網絡協議是基於二進制的,內存中的參數的值要序列化成二進制的形式,也就是序列化(Serialize),通過尋址和傳輸將序列化的二進制發送給B服務器。

  第四,Server收到請求後,需要對參數進行反序列化(序列化的逆操作),恢復爲內存中的表達方式,然後找到對應的方法(尋址的一部分)進行本地調用,然後得到返回值。

  三、hadoop—RPC的簡單使用

  定義接口Bizable:

  

1 package cn.jon.hadoop.rpc;2 3 public interface MyBizable {4     long versionID = 123456;//該字段必須要有,不然會報java.lang.NoSuchFieldException: versionID異常5     public String doSomething(String str);6 }

  服務端RPCServer實現MyBizable接口並綁定IP地址及端口號:

複製代碼

package cn.jon.hadoop.rpc;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;import org.apache.hadoop.ipc.Server;public class RPCServer implements MyBizable {

    @Override    public String doSomething(String str) {        return str;
    }    /**
     * @param args
     * @throws Exception 
     * @throws  
     */
    public static void main(String[] args) throws  Exception {
        Server server = new RPC.Builder(new Configuration())        
        .setProtocol(MyBizable.class)
        .setInstance(new RPCServer())
        .setBindAddress("192.168.8.100")
        .setPort(8077)
        .build();
        server.start();
    }

}

複製代碼

  客戶端RPCClient:

  

複製代碼

package cn.jon.hadoop.rpc;import java.net.InetSocketAddress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;public class RPCClient {    /**
     * @param args
     * @throws Exception 
     */
    public static void main(String[] args) throws Exception {        // TODO Auto-generated method stub
        MyBizable proxy = RPC.getProxy(MyBizable.class, 123456,new InetSocketAddress("192.168.8.100", 8077) , new Configuration());
        String result = proxy.doSomething("服務端");
        System.out.println(result);
        RPC.stopProxy(proxy);
    }

}

複製代碼

  樓主使用Linux作爲客戶端,Windows作爲服務端,我們先把寫好的程序打成jar,上傳到Linux:

  

  然後,我們在windows端啓動RPCServer:

  

  服務端啓動好後,我們在Linux中執行RPCClient.jar:  

java -jar RPCClient.jar

  執行結果可以看到輸出了“服務端”(樓主Linux時間沒有調準確):

    


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章