給 TiKV 開發 Grafana 的 datasource

對於 TiKV 來說，我們使用的是 Prometheus 來收集系統所有的 metrics，在加上 Grafana，幾乎已經成爲了業界的一個標準的解決方案。但是，Prometheus 是一個時序數據庫，它的數據類型的值也是浮點類型，所以有時候，我們並不能很好的去展示一些更復雜的統計信息。

譬如下圖的 PD 面板的統計，上面詳細的列出來當前集羣有多少臺 TiKV，以及異常的 TiKV 的個數，但僅僅只能限於此了，如果這時候，我想知道 Tomestone 的 TiKV 具體是那幾臺機器，就很難做到了。

一個可選的做法就是使用 Prometheus 的 label，譬如對於 PD 的配置來說，我們也需要在 Grafana 上面展示，現在就是用了一個 Gauge，添加了一個 type 的 label，這樣配置的 field 就放到這個 type 裏面，而配置的值就是 Gauge 的值。大概如下：

雖然能看到當前集羣的一些配置了，但如果這個配置是 string 或者 list 等類型，仍然是沒法展示的。另外，如果用 label，可能造成 label 值太多，metrics 膨脹，Prometheus 撐不住的情況。

當然，我們可以通過另外的方式得到這些信息，譬如現在我們就可以直接通過 HTTP 或者相關的 control 工具直接從 PD 或者 TiKV 裏面得到，只不過，多數時候，在用戶那邊，我們是沒法直接操作這些命令的。通常，用戶只會給我們開放 Grafana 面板，所以，如果我們能在 Grafana 展示更加豐富的信息，就更利於我們後面排查問題。

對於上面我提到的那種情況，多數時候，我們其實希望的是用 table 來進行展示，譬如：

Instance	State
172.16.1.3	Up
172.16.1.4	Tombstone

幸運的是，Grafana 也提供了 table 的支持，也能支持 string 這樣的數據展示，所以我們要做的就很簡單了。爲 TiKV 在 Grafana 裏面專門寫一個 datasource，能返回 Table 的數據格式，這樣就能在 Grafana 裏面展示了。

Datasource

Grafana 提供了一個非常簡單的例子，開發一個 JSON datasource - https://github.com/grafana/simple-json-datasource，在這個例子裏面，我們只要給這個 datasource 寫一個特定的 server，返回 Table 格式的數據，就 ok 了。

Simple JSON datasource 這個例子裏面已經提供了幾個 server 實現，因爲我對 Go 很熟悉，自然選擇了 https://github.com/smcquay/jsonds，但這個實現其實並不支持返回 Table，不過也是很簡單的。

jsonds

首先，我們知道 Table 的請求格式爲：

{
  "panelId": 1,
  "range": {
    "from": "2016-10-31T06:33:44.866Z",
    "to": "2016-10-31T12:33:44.866Z",
    "raw": {
      "from": "now-6h",
      "to": "now"
    }
  },
  "rangeRaw": {
    "from": "now-6h",
    "to": "now"
  },
  "interval": "30s",
  "intervalMs": 30000,
  "targets": [
     { "target": "upper_50", "refId": "A", "type": "table" },
     { "target": "upper_75", "refId": "B", "type": "table" }
  ],
  "adhocFilters": [{
    "key": "City",
    "operator": "=",
    "value": "Berlin"
  }],
  "format": "json",
  "maxDataPoints": 550
}

返回格式爲：

[
  {
    "columns":[
      {"text":"Time","type":"time"},
      {"text":"Country","type":"string"},
      {"text":"Number","type":"number"}
    ],
    "rows":[
      [1234567,"SE",123],
      [1234567,"DE",231],
      [1234567,"US",321]
    ],
    "type":"table"
  }
]

這些都是放在 HTTP body 裏面了，我們很自然的能在 Go 裏面定義好對應的 struct 來進行編解碼處理：

type QueryRequest struct {
    PanelID       int                 `json:"panelId"`
    Range         Range               `json:"range"`
    RangeRaw      RangeRaw            `json:"rangeRaw"`
    Interval      string              `json:"interval"`
    IntervalMS    int                 `json:"intervalMs"`
    Targets       []Target            `json:"targets"`
    Format        string              `json:"json"`
    AdHocFilters  []map[string]string `json:"adhocFilters"`
    MaxDataPoints int                 `json:"maxDataPoints"`
}

type Column struct {
    Text string `json:"text"`
    Type string `json:"type"`
}

type TableResponse struct {
    Columns []Column        `json:"columns"`
    Rows    [][]interface{} `json:"rows"`
    Type    string          `json:"type"`
}

注意，因爲有些 struct 過於簡單，這裏並沒有寫上去。然後我們增加個處理 /query 請求的 handler，如下：

func (s *server) query(w http.ResponseWriter, r *http.Request) {
    log.Printf("%v: %v", r.URL.Path, r.Method)
    switch r.Method {
    case http.MethodOptions:
    case http.MethodPost:
        req := QueryRequest{}
        if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
            http.Error(w, fmt.Sprintf("json decode failure: %v", err), http.StatusBadRequest)
            return
        }
        resp := TableResponse{
            Columns: []Column{
                {Text: "ID", Type: "number"},
                {Text: "Addr", Type: "string"},
                {Text: "State", Type: "string"},
                {Text: "Leader", Type: "number"},
                {Text: "Region", Type: "number"},
            },
            Rows: [][]interface{}{
                {1, "127.0.0.1:20161", "Up", 1, 1},
                {2, "127.0.0.1:20162", "Up", 0, 1},
                {3, "127.0.0.1:20163", "Up", 0, 1},
            },
            Type: "table",
        }

        if err := json.NewEncoder(w).Encode([]TableResponse{resp}); err != nil {
            log.Printf("json enc: %+v", err)
        }
    default:
        http.Error(w, "bad method; supported OPTIONS, POST", http.StatusBadRequest)
        return
    }
}

代碼幾乎就是按照 jsonds 其他代碼 copy 的，這裏，我們返回了一個 Table，存儲的是 TiKV 集羣的信息，然後編譯啓動。

Demo

然後我們打開 Grafana，按照提示安裝好 JSON datasource，創建一個 Table 的 panel，在 Options 那邊需要選擇 Table。

另外，爲了顯示更友好，可以在 Column Styles 裏面將 Decimals 那一欄設置爲 0。

然後我們就能看到整個效果了，如下：

總結

可以看到，通過自己構造 datasource，我們能在 Grafana 裏面展示更復雜的數據了。上面的 demo 只是一個簡單的例子，我們完全可以讓 datasource 直接通過 HTTP 跟 PD，TiKV 進行交互，得到相關的數據進行展示。而對於 TiDB，雖然也支持 HTTP，但我更希望的是能通過 SQL 直接進行交互，幸運的是，Grafana 早就支持了 MySQL 的 datasource，有空就後面研究吧。

說了這麼多，提最重要的吧，我雖然喜歡折騰，但也僅僅是這樣了，對前端還是一竅不通的，所以，這裏非常期待前端工程師的加入。我們不光會在 Grafana 上折騰，同時也會開發自己的 Web 產品，如果你在這方面有豐富的經驗，歡迎聯繫我 [email protected]。