使用 tower gRPC

在 TiKV 裏面，我們使用的是 grpc-rs，這是我們自己維護的一個 Rust gRPC 庫，主要是使用 Future 這個特性，封裝了 Google 的 C gRPC，對外提供了一套易於使用的同步編程的接口。

但 grpc-rs 並不是 pure Rust，而且 C gRPC 的性能其實並不好，加上在生產環境中碰到過幾次 C gRPC panic，我們一直有打算完全擁抱 Rust 社區，用一個純 Rust 的 gRPC 實現（以前也想過自己造輪子，但發現坑太大，就算了）。現階段，有兩個現成的，一個是 grpc-rust，而另一個則是 tower-grpc。grpc-rust 在最開始我們開發 grpc-rs 的時候，嘗試過一段時間，不過接上去之後異常的不穩定，所以放棄了，後來也一直沒有嘗試，現在不知道改善了沒有。

而 tower-grpc，雖然是一個非常新的實現，現在也不完善，但可以算是根正苗紅了。首先它是 Rust 社區裏面知名的幾個開發者一起做的，譬如 mio 的作者carllerche，hyper 的作者 seanmonstar，另外它基於 tokio，這也可能是 Rust 網絡編程的一個規範。所以如果我們能儘早的擁抱 tower-grpc，我們就可以跟 Rust 社區結合的更加緊密，幫助完善 tower 以及 tokio 相關的生態。

現階段，對於 Protobuf，TiKV 使用的是 rust-protobuf，而 tower-grpc 使用的是 prost，所以我們並不能很容易的完全遷移到 tower 進行測試，主要是要把 TiKV 裏面大量的使用 rust-protobuf 的代碼改成使用 prost，這個其實是一個非常重的體力活。

不過還是可以先嚐試一下的，使用 tower-grpc 還是比較簡單的。首先，當然編譯 TiKV 的 gRPC 協議，在 kvproto 裏面，我們先 clone 下來，創建一個 tower 的目錄：

git clone https://github.com/pingcap/kvproto.git
cd kvproto
mkdir tower

然後參考 Cargo.toml，創建出 Cargo.toml，不過這裏需要注意，我使用的是 rustc 1.29.0-nightly (4f3c7a472 2018-07-17) 這個版本的，所以並不能編譯 tower-grpc，需要顯示的將 tower-grpc 的代碼 clone 下來，在 tower-grpc/src/lib.rs 裏面顯示的加上：

#![feature(extern_prelude)]
#![feature(crate_in_paths)]

才能編譯通過，所以這裏，我們自己的 Cargo 文件使用的是本地的 tower-grpc。然後創建一個 build.rs：

extern crate tower_grpc_build;

fn main() {
    tower_grpc_build::Config::new()
        .enable_server(true)
        .enable_client(true)
        .build(&["../proto/tikvpb.proto"], &["../proto", "../include"])
        .unwrap_or_else(|e| panic!("protobuf compilation failed: {}", e));
    // Same for pdpb.proto and other proto files
}

在隨便的創建個 src/lib.rs 文件，然後 cargo build，生成的 proto 相關的 rs 文件會放在類似 target/debug/build/tower-9000a2ba77585c7e/out 的目錄下面，現在可以先手動 copy 出去使用，後面其實不需要這麼麻煩。

對於生成的文件，譬如 metapb.rs，類似這樣

#[derive(Clone, PartialEq, Message)]
pub struct Cluster {
    #[prost(uint64, tag="1")]
    pub id: u64,
    /// max peer count for a region.
    /// pd will do the auto-balance if region peer count mismatches.
    ///
    /// more attributes......
    #[prost(uint32, tag="2")]
    pub max_peer_count: u32,
}

它並不能直接 import 使用，需要在外面再次 include，如下

pub mod metapb {
    include!("proto/metapb.rs");
}

然後我們再次創建一個工程，參考 client.rs，我們弄一個自己的 TiKV client，給 TiKV 發送 raw_put 命令：

pub fn main() {
    let _ = ::env_logger::init();

    let uri: http::Uri = format!("http://127.0.0.1:20161").parse().unwrap();

    let h2_settings = Default::default();
    let mut make_client = client::Connect::new(Dst, h2_settings, DefaultExecutor::current());

    let say_hello = make_client.make_service(())
        .map(move |conn| {
            use tikvpb::client::Tikv;
            use tower_http::add_origin;

            let conn = add_origin::Builder::new()
                .uri(uri)
                .build(conn)
                .unwrap();

            Tikv::new(conn)
        })
        .and_then(|mut client| {
            use kvrpcpb::{Context, RawPutRequest};
            use metapb::{RegionEpoch, Peer};

            let ctx = Context{
                region_id: 2,
                region_epoch: Some(RegionEpoch{
                    conf_ver: 1,
                    version: 1,
                }),
                peer: Some(Peer{
                    id: 3,
                    store_id: 1,
                    is_learner: false,
                }),
                term: 6,
                priority: 0,
                isolation_level: 0,
                not_fill_cache: false,
                sync_log: false,
                handle_time: false,
                scan_detail: false,
            };

            client.raw_put(Request::new(RawPutRequest {
                context: Some(ctx),
                key: b"a".to_vec(),
                value: b"123".to_vec(),
                cf : "default".to_string(),
            })).map_err(|e| panic!("gRPC request failed; err={:?}", e))
        })
        .and_then(|response| {
            println!("RESPONSE = {:?}", response);
            Ok(())
        })
        .map_err(|e| {
            println!("ERR = {:?}", e);
        });

    tokio::run(say_hello);
}

上面我們強制操作了 Region 2，通過 pd-ctl 以及 tikv-ctl 這兩個工具可以得到相關的 region 信息，然後執行，得到如下輸出：

RESPONSE = Response { http: Response { status: 200, version: HTTP/2.0, headers: {"content-type": "application/grpc", "grpc-accept-encoding": "identity,deflate,gzip", "accept-encoding": "identity,gzip"}, body: RawPutResponse { region_error: None, error: "" } } }

證明操作成功了，我們通過 tikv-ctl 在 TiKV 上面查詢相關的數據：

tikv-ctl --host 127.0.0.1:20161 print -k za
value: 123

發現 key a 的值爲 123，寫入成功。這裏需要注意，在 TiKV 裏面，所有 key 都會增加前綴 “z” 寫入，所以這裏我們是 “za”。

可以看到，使用 tower-grpc 是非常容易的，我們也在仔細考慮這個事情 https://github.com/tikv/tikv/issues/3951，如果你對這塊感興趣，歡迎聯繫我們。