Google 開源技術protobuf

轉自：http://blog.csdn.net/hguisu/article/details/20721109

1.  Protobuf簡介

  protobuf是google提供的一個開源序列化框架，類似於XML，JSON這樣的數據表示語言，其最大的特點是基於二進制，因此比傳統的XML表示高效短小得多。雖然是二進制數據格式，但並沒有因此變得複雜，開發人員通過按照一定的語法定義結構化的消息格式，然後送給命令行工具，工具將自動生成相關的類，可以支持php、java、c++、python等語言環境。通過將這些類包含在項目中，可以很輕鬆的調用相關方法來完成業務消息的序列化與反序列化工作。

     protobuf在google中是一個比較核心的基礎庫，作爲分佈式運算涉及到大量的不同業務消息的傳遞，如何高效簡潔的表示、操作這些業務消息在google這樣的大規模應用中是至關重要的。而protobuf這樣的庫正好是在效率、數據大小、易用性之間取得了很好的平衡。

官方文檔

http://code.google.com/p/protobuf/

2.  Protobuf如何工作

你首先需要在一個 .proto 文件中定義你需要做串行化的數據結構信息。每個ProtocolBuffer信息是一小段邏輯記錄，包含一系列的鍵值對。這裏有個非常簡單的 .proto 文件定義了個人信息:

message Person {
    required string name=1;
    required int32 id=2;
    optional string email=3;

    enum PhoneType {
        MOBILE=0;
        HOME=1;
        WORK=2;
    }

    message PhoneNumber {
        required string number=1;
        optional PhoneType type=2 [default=HOME];
    }

    repeated PhoneNumber phone=4;
}

有如你所見，消息格式很簡單，每個消息類型擁有一個或多個特定的數字字段，每個字段擁有一個名字和一個值類型。值類型可以是數字(整數或浮點)、布爾型、字符串、原始字節或者其他ProtocolBuffer類型，還允許數據結構的分級。你可以指定可選字段，必選字段和重複字段。你可以在( http://code.google.com/apis/protocolbuffers/docs/proto.html )找到更多關於如何編寫 .proto 文件的信息。

一旦你定義了自己的報文格式(message)，你就可以運行ProtocolBuffer編譯器，將你的 .proto 文件編譯成特定語言的類。這些類提供了簡單的方法訪問每個字段(像是 query() 和 set_query() )，像是訪問類的方法一樣將結構串行化或反串行化。例如你可以選擇C++語言，運行編譯如上的協議文件生成類叫做 Person 。隨後你就可以在應用中使用這個類來串行化的讀取報文信息。你可以這麼寫代碼:

Person person;
person.set_name("John Doe");
person.set_id(1234);
person.set_email("[email protected]");
fstream.output("myfile",ios::out | ios::binary);
person.SerializeToOstream(&output);

然後，你可以讀取報文中的數據:

fstream input("myfile",ios::in | ios:binary);
Person person;
person.ParseFromIstream(&input);
cout << "Name: " << person.name() << endl;
cout << "E-mail: " << person.email() << endl;

你可以在不影響向後兼容的情況下隨意給數據結構增加字段，舊有的數據會忽略新的字段。所以如果使用ProtocolBuffer作爲通信協議，你可以無須擔心破壞現有代碼的情況下擴展協議。

你可以在API參考( http://code.google.com/apis/protocolbuffers/docs/reference/overview.html )中找到完整的參考，而關於ProtocolBuffer的報文格式編碼則可以在( http://code.google.com/apis/protocolbuffers/docs/encoding.html )中找到。

3.  Protobuf消息定義

      要通信，必須有協議，否則雙方無法理解對方的碼流。在protobuf中，協議是由一系列的消息組成的。因此最重要的就是定義通信時使用到的消息格式。

消息由至少一個字段組合而成，類似於C語言中的結構。每個字段都有一定的格式。

字段格式：限定修飾符① | 數據類型② | 字段名稱③ | = | 字段編碼值④ | [字段默認值⑤]

①．限定修飾符包含 required\optional\repeated

 

Required: 表示是一個必須字段，必須相對於發送方，在發送消息之前必須設置該字段的值，對於接收方，必須能夠識別該字段的意思。發送之前沒有設置required字段或者無法識別required字段都會引發編解碼異常，導致消息被丟棄。

Optional：表示是一個可選字段，可選對於發送方，在發送消息時，可以有選擇性的設置或者不設置該字段的值。對於接收方，如果能夠識別可選字段就進行相應的處理，如果無法識別，則忽略該字段，消息中的其它字段正常處理。---因爲optional字段的特性，很多接口在升級版本中都把後來添加的字段都統一的設置爲optional字段，這樣老的版本無需升級程序也可以正常的與新的軟件進行通信，只不過新的字段無法識別而已，因爲並不是每個節點都需要新的功能，因此可以做到按需升級和平滑過渡。

Repeated：表示該字段可以包含0~N個元素。其特性和optional一樣，但是每一次可以包含多個值。可以看作是在傳遞一個數組的值。

②．數據類型

Protobuf定義了一套基本數據類型。幾乎都可以映射到C++\Java等語言的基礎數據類型.

protobuf 數據類型	描述	打包	C++語言映射
bool	布爾類型	1字節	bool
double	64位浮點數	N	double
float	32爲浮點數	N	float
int32	32位整數、	N	int
uin32	無符號32位整數	N	unsigned int
int64	64位整數	N	__int64
uint64	64爲無符號整	N	unsigned __int64
sint32	32位整數，處理負數效率更高	N	int32
sing64	64位整數 處理負數效率更高	N	__int64
fixed32	32位無符號整數	4	unsigned int32
fixed64	64位無符號整數	8	unsigned __int64
sfixed32	32位整數、能以更高的效率處理負數	4	unsigned int32
sfixed64	64爲整數	8	unsigned __int64
string	只能處理 ASCII字符	N	std::string
bytes	用於處理多字節的語言字符、如中文	N	std::string
enum	可以包含一個用戶自定義的枚舉類型uint32	N(uint32)	enum
message	可以包含一個用戶自定義的消息類型	N	object of class

N 表示打包的字節並不是固定。而是根據數據的大小或者長度。

例如int32，如果數值比較小，在0~127時，使用一個字節打包。

關於枚舉的打包方式和uint32相同。

關於message，類似於C語言中的結構包含另外一個結構作爲數據成員一樣。

關於 fixed32 和int32的區別。fixed32的打包效率比int32的效率高，但是使用的空間一般比int32多。因此一個屬於時間效率高，一個屬於空間效率高。根據項目的實際情況，一般選擇fixed32，如果遇到對傳輸數據量要求比較苛刻的環境，可以選擇int32.

③．字段名稱

 

字段名稱的命名與C、C++、Java等語言的變量命名方式幾乎是相同的。

protobuf建議字段的命名採用以下劃線分割的駝峯式。例如 first_name 而不是firstName.

④．字段編碼值

有了該值，通信雙方纔能互相識別對方的字段。當然相同的編碼值，其限定修飾符和數據類型必須相同。

編碼值的取值範圍爲 1~2^32（4294967296）。

其中 1~15的編碼時間和空間效率都是最高的，編碼值越大，其編碼的時間和空間效率就越低（相對於1-15），當然一般情況下相鄰的2個值編碼效率的是相同的，除非2個值恰好實在4字節，12字節，20字節等的臨界區。比如15和16.

1900~2000編碼值爲Google protobuf 系統內部保留值，建議不要在自己的項目中使用。

protobuf 還建議把經常要傳遞的值把其字段編碼設置爲1-15之間的值。

消息中的字段的編碼值無需連續，只要是合法的，並且不能在同一個消息中有字段包含相同的編碼值。

建議：項目投入運營以後涉及到版本升級時的新增消息字段全部使用optional或者repeated，儘量不實用required。如果使用了required，需要全網統一升級，如果使用optional或者repeated可以平滑升級。

 

⑤．默認值。當在傳遞數據時，對於required數據類型，如果用戶沒有設置值，則使用默認值傳遞到對端。當接受數據是，對於optional字段，如果沒有接收到optional字段，則設置爲默認值。

關於import

protobuf 接口文件可以像C語言的h文件一個，分離爲多個，在需要的時候通過 import導入需要對文件。其行爲和C語言的#include或者java的import的行爲大致相同。

關於package

避免名稱衝突，可以給每個文件指定一個package名稱，對於java解析爲java中的包。對於C++則解析爲名稱空間。

 

關於message

支持嵌套消息，消息可以包含另一個消息作爲其字段。也可以在消息內定義一個新的消息。

關於enum

枚舉的定義和C++相同，但是有一些限制。

枚舉值必須大於等於0的整數。

使用分號(;)分隔枚舉變量而不是C++語言中的逗號(,)

eg.

enum VoipProtocol 

{

    H323 = 1;

    SIP  = 2;

    MGCP = 3;

    H248 = 4;

}