深入學習consul

一.背景

——隨着互聯網的發展，越來越多的系統/網站走向了分佈式之路，但是分佈式帶給我們的複雜性是難以想象的，這就需要專門有第三方統一管理微服務、配置、資源等。

第三方系統必須要具有下面兩個特徵:

1.集羣部署

2.數據一致性

——目前業內有很多這種產品:zookeeper、etcd、consul，三者各有各的特點。這裏就不一一說明三者的優缺，僅僅分析consul的優勢

1.封裝了服務發現的api，開發調用非常簡單

2.提供了健康檢查功能

3.使用了raft算法保證了一致性，比複雜的paxos算法更直接，相比而言，zk採用的是paxos，二etcd採用的是raft

4.支持多數據中心，保證多機房使用。

5.支持 http 和 dns 協議接口.，zookeeper 的集成較爲複雜,，etcd 只支持 http 協議

6.官方提供web管理界面, etcd 無此功能

二：consul的基本概念

agent
組成 consul 集羣的每個成員上都要運行一個 agent，可以通過 consul agent 命令來啓動。agent 可以運行在 server 狀態或者 client 狀態。自然的，運行在 server 狀態的節點被稱爲 server 節點；運行在 client 狀態的節點被稱爲 client 節點。

client 節點
負責轉發所有的 RPC 到 server 節點。本身無狀態，且輕量級，因此，可以部署大量的 client 節點。

server 節點
負責組成 cluster 的複雜工作（選舉、狀態維護、轉發請求到 lead），以及 consul 提供的服務（響應 RCP 請求）。考慮到容錯和收斂，一般部署 3 ~ 5 個比較合適。

datacenter

多機房使用的數據共享

基本架構圖

三.安裝和啓動

consul支持Mac os   、Linux、Windows等常用操作系統，下載地址：點擊下載  

consul可以配置其web ui查看當前的服務  key/value   數據節點等

web-ui下載地址:點擊下載
下載後解壓，直接運行

consul需要用agent啓動，啓動模式可以是server和client
以window單機啓動server爲例:
配置config.conf文件

{
  "datacenter":"dc1",//數據中心名稱
  "data_dir": "D:\\consul\\consul\\data",//數據存儲目錄
  "log_level": "INFO",//日誌級別
  "node_name": "node1",//server節點名稱
  "server": true,//是否開啓服務模式
  "ui":true,//是否開啓web-ui
  "bind_addr":"192.168.100.110",//綁定的地址
  "bootstrap":true,//引用啓動
  "ui_dir": "D:\\consul\\consul\\webui"//web-ui地址
}

進入consul根目錄  啓動命令:consul.exe agent -config-file config.conf
啓動成功後，瀏覽器打開http://127.0.0.1:8500/ui/ 可以看到整個consul的所有信息


如果需要配置集羣的話
server node1 配置信息

{
  "datacenter":"dc1",
  "log_level": "INFO",
  "node_name": "node1",
  "server": true,
  "ui":true,
  "bind_addr":"192.168.100.110",
  "cluster_addr":"10.10.105.71",
  "bootstrap":true,
  "join":"10.10.105.72"
  "ui_dir": "D:\\consul\\consul\\webui"
}

server node2 配置信息

{
  "datacenter":"dc1",
  "log_level": "INFO",
  "node_name": "node2",
  "server": true,
  "ui":true,
  "bind_addr":"192.168.100.111",
  "cluster_addr":"10.10.105.72",
  "bootstrap":true
}

啓動兩個節點  啓動命令:consul.exe agent -config-file config.conf

這樣就完成了集羣部署

打開consul的web-ui ：http://127.0.0.1:8500/

四.服務註冊與發現的兩種方式

——Consul支持兩種服務註冊的方式，一種是通過Consul的服務註冊HTTP API，由服務自身在啓動後調用API註冊自己，另外一種則是通過在配置文件中定義服務的方式進行註冊。Consul文檔中建議使用後面一種方式來做服務 配置和服務註冊。

1.1首先我們來了解用配置註冊服務

創建一個叫redis-server1.json文件

{
  "service": {
    "name": "redis-server1",
    "tags": ["master"],
    "address": "127.0.0.1",
    "port": 6379,
    "checks": [
      {
        "http": "http://localhost:6379",
        "interval": "10s"
      }
    ]
  }
}

再創建一個client節點

{
  "datacenter":"dc1",
  "log_level": "INFO",
  "node_name": "node3",
  "server": false,
  "bind_addr":"192.168.100.112",
  "config_dir":"./conf"
}

把json文件放到conf文件夾下面，利用consul.exe agent -config-file config.conf ，client註冊一個redis服務。
json文件定義中包含服務的name、address、port等，還包含一個服務檢測的配置，這裏 我們每隔10s對服務進行一次健康檢查。同理，我們可以在其它節點上也建立同樣配置文件（需重啓，並帶上 -config-dir命令行選項），服務註冊就這麼簡單。

1.2使用java代碼註冊服務

首先利用maven把封裝consul的客戶端jar包導入

<dependency>
     <groupId>com.orbitz.consul</groupId>
      <artifactId>consul-client</artifactId>
      <version>0.12.3</version>
</dependency>

註冊代碼：

 Consul client = Consul.builder().build();
 String serviceName = UUID.randomUUID().toString();
 String serviceId = UUID.randomUUID().toString();
 client.agentClient().register(8080, new URL("http://localhost:1337/health"), 1000L, serviceName, serviceId);

這樣就完成了服務註冊，並且添加了健康檢查的url，比較簡單。

——同樣Consul提供了兩種發現服務的方式，一種是通過HTTP API查看存在哪些服務；另外一種是通過consul agent內置的DNS服務來做。兩者的差別在於後者可以根據服務check的實時狀態動態調整available服務節點列表。

2.1.DNS發現服務

在配置和部署完client服務後，我們就可以通過DNS命令來查詢服務的具體信息了。consul爲服務編排的內置域名爲 “NAME.service.consul"，這樣我們的redis的域名爲:redis.service.consul 進行查詢服務

2.2.java代碼發現服務

HealthClient healthClient = Consul.newClient().healthClient();
ConsulResponse<List<ServiceHealth>> response = client2.healthClient().getHealthyServiceInstances(serviceName);//獲取健康的服務
ServiceHealthCache svHealth = ServiceHealthCache.newCache(healthClient, serviceName);//創建今天服務
svHealth.start();//開始監聽服務

上面用代碼實現了服務的發現，其發現是排除了一些不健康的服務，這正是consul最大的優點，使得服務變化通知更加簡單。

這裏分析下consul和zookeeper服務變更通知的區別：

zookeeper:客戶端和服務端通過建立tcp長連接進行服務變更通知，一旦服務端有服務變化，通過socket發送消息給客戶端。優點是簡單，服務端主動推送消息到客戶端，缺點是長連接往往不穩定，鏈路斷開，客戶端經常收不到服務端推送的消息。

consul:是基於http協議，客戶端通過http api主動查詢服務，如果有變更則返回服務信息，我們都知道http是一個request，一個response，而consul怎樣保證服務端一有變更馬上response到客戶端呢，這裏consul解決方案是:1輪循；2阻塞查詢，通過輪循調用服務端，並且不及時返回服務信息，而是等待一定時間在返回，在規定時間內如果有服務變更則馬上返回變更信息，這樣就客戶端就可以及時的知道服務變更。

五.consul的其它使用

——consul做爲分佈式框架絕不僅僅滿足服務註冊和發現，它還可以

1.分佈式key/value，用於做配置中心。

2.分佈式session，用於解決session的問題。

3.分佈式鎖，其key/value也可以用於分佈式鎖的問題

4.資源中心，動態管理redis、datasource、rabbitmq等資源