Docker Consul

Docker Consul 工具

一、Consul 理論知識

1.1、Consul 簡介

Consul 是一個支持多數據中心分佈式高可用的 服務發現 和 配置共享 的服務軟件，由 HashiCorp 公司用 Go 語言開發，基於 Mozilla Public License 2.0 的協議進行開源。

主要特性：

Consul 支持健康檢查，並允許 HTTP 、GRPC 和 DNS 協議調用 API 存儲鍵值對。

一致性協議採用 Raft 算法，用來保證服務的高可用。

使用 GOSSIP 協議管理成員和廣播消息, 並且支持 ACL 訪問控制。

consul的實例叫agent，agent有兩種運行模式：server和client 。

官方建議每個Consul Cluster數據中心至少有3個或以上的運ServerModeAgentClie節 點不限。

1.2、Consul 使用場景

Docker 容器的註冊與配置共享

Coreos 實例的註冊與配置共享

SaaS 應用的配置共享、服務發現和健康檢查。

vitess 集羣

與 confd 服務集成，動態生成 nginx 和 haproxy 配置文件

1.3、Consul 優勢

市面現在有很多類似的軟件比如：zookeeper 、Etcd、doozerd、eureka，Consul 相比這些軟件有什麼優勢呢？

Consul 的優勢有那幾點：

使用 Raft 算法來保證一致性，比複雜的 Paxos 算法更直接。相比較而言，zookeeper 採用的是 Paxos，而 etcd 使用的則是 Raft。

支持 多數據中心，內外網的服務採用不同的端口進行監聽。 多數據中心集羣可以避免單數據中心的單點故 障，而其部署則需要考慮網絡延遲，分片等情況等. zookeeper 和 etcd 均不提供多數據中心功能的支持。

支持 健康檢查。 etcd 不提供此功能。

支持 HTTP、DNS 和 GPRS 協議接口。 zookeeper 的集成較爲複雜，etcd 只支持 http 協議。

官方提供 WEB管理界面，etcd 無此功能。

1.4、consul 端口的瞭解

端口 說明

TCP/8300 用於服務器節點。客戶端通過該端口RPC協議調用服務端口節點。

TCP/UDP/8301 用於單個數據中心所有節點之間互相通信，對LAN池信息的同步。

使得整個數據中心能夠自動發現服務器地址，分佈式檢測節點故 障，事件廣播。

TCP/UDP/8302 用於單個或多個數據中心之間的服務器節點的信息同步，對WAN信息同步。 針對互聯網的高延遲進行優化，能夠實現跨數據中心請求。

8500 基於HTTP協議，用於API接口或WEB UI訪問

8600 作爲DNS服務器，它使得我們可以通過節點查詢節點信息。

二、基於Docker的Consul服務搭建

2.1、環境準備

consul服務： 192.168.66.138 Docker-ce、Compose-nginx服務、consul、Consul-template模塊

容器服務： 192.168.66.129 Docker-ce、registrator

兩臺虛擬機，提前部署好：Docker-ce

2.2、部署Consul服務

mkdir /root/consul

cp consul_0.9.2_liunx_amd64.zip /root/consul

cd /root/consul
unzip consul_0.9.2_liunx_amd64.zip

// 使consul命令可以在任何目錄下識別
mv consul /usr/bin

// 創建consul 代理agent
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/sonsul-data \
-bind=192.168.66.138 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

// 看consul 的8500端口服務已經啓動
netstat -anpt |grep 8500

// 關閉防火牆
systemctl stop firewalld
setenforce 0

//查看集羣成員信息
consul members
或者
consul info | grep leader

2.3、容器服務自動加入nginx集羣

在容器服務器上安裝 gliderlabs/registrator

檢查容器運行狀態

自動註冊和註銷docker容器的服務到服務配置中心

安裝 Gliderlabs/Registrator 
// 可檢查容器運行狀態自動註冊，還可以註銷 docker 容器的服務到服務配置中心。
// 目前支持 Consul、Etcd、SkyDNS2
// 在 192.168.66.129 節點，執行

docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
-ip=192.168.66.129 \            // 自己的IP地址
consul://192.168.66.138:8500    // 指向consul服務器

測試服務發現功能是否正常
docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test01 nginx
docker run -itd -p:88:80 --name test-03 -h test01 httpd
docker run -itd -p:89:80 --name test-04 -h test01 httpd

2.4、驗證consul 的服務發現功能

用瀏覽器輸入http://192.168.66.138:8500

// 單擊“ NODES ”，然後再點擊“ consul-server01 ”

// 會出現5個服務

或者 ：在 consul服務器,查看服務

curl 127.0.0.1:8500/v1/catalog/services

2.5、部署consul-template和nginx

Consul-Template 是一個守護進程，用於實時查詢Consul 集羣信息，並更新文件系統上任意數量的指定模板，生成配置文件。 更新完成以後，可以選擇運行shell 命令執行更新操作，重新加載Nginx。

Consul-Template可以查詢 Consul 中的服務目錄、Key、Key-values 等。

這種強大的抽象功能和查詢語言模板可以使Consul-Template 特別適合動態的創建配置文件。

例如：創建Apache/Nginx Proxy Balancers、Haproxy Backends

1.準備 template 的 nginx 模板文件

cp consul-template_0.19.3_linux_amd64.zip /root/consul
cp nginx-1.12.2.tar.gz /root/consul

// 在 consul目錄中操作
vim /root/consul/nginx.ctmpl

upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}};
    {{end}}
}
server {
  listen 1216;
  server_name local|host 192.168.66.129;
  access_log /var/log/nginx/kgc.cn-access.log;
  index index.html index.php;
  location / {
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Client-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://http_backend;
  }
}

2、編譯安裝nginx

yum install gcc gcc-c++ zlib-devel pcre-devel -y

tar zxvf nginx-1.12.2.tar.gz -C /opt 

cd /opt/nginx-1.12.2
./configure --prefix=/usr/local/nginx
make && make install

3.配置nginx

vim /usr/local/nginx/conf/nginx.conf

 http {
     include       mime.types;
     include     vhost/*.conf;   // 添加
     default_type  application/octet-stream;

稍後啓動consul-template功能，會自動根據模板文件在vhost 目錄下動態產生配置文件。

//創建虛擬主機目錄
mkdir /usr/local/nginx/conf/vhost
//創建日誌文件目錄
mkdir /var/log/nginx

ln -s /usr/local/nginx/sbin/nginx /usr/bin/
//啓動 nginx 服務
/usr/local/nginx/sbin/nginx

4.配置並啓動 template

cd /root/consul
//解壓
unzip consul-template_0.19.3_linux_amd64.zip

//使命令可以在任意目錄使用
mv consul-template /usr/bin/

//啓動服務，並指明nginx的配置文件名
consul-template -consul-addr 192.168.66.138:8500 \
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info

另外打開一個終端查看生成配置文件

cat /usr/local/nginx/conf/vhost/kgc.conf

打開瀏覽器訪問http://192.168.66.138:1216/，點擊刷新，輪詢調度訪問 test01和test02容器裏的nginx服務。

2.6、增加一個 nginx 容器節點

增加一個 nginx 容器節點，測試服務發現及配置更新功能

// 在容器服務
docker run -itd -p:85:80 --name test-05 -h test05 nginx

在consul服務器 監控裝填會有提示自動更新

到這裏，Docker Consul服務軟件的自動發現和更新兩個功能已經實現，並觀察了 registrator 和 template的功能效果