負載均衡

負載均衡（Load Balance）是分佈式系統架構設計中必須考慮的因素之一，它通常是指，將請求/數據【均勻】分攤到多個操作單元上執行，負載均衡的關鍵在於【均勻】。常見互聯網分佈式架構如上，分爲客戶端層、反向代理nginx層、站點層、服務層、數據層。

什麼是負載均衡

負載均衡(Load Balance)是分佈式系統架構設計中必須考慮的因素之一，它通常是指，將請求/數據【均勻】分攤到多個操作單元上執行，負載均衡的關鍵在於【均勻】。

常見的負載均衡方案

常見互聯網分佈式架構如上，分爲客戶端層、反向代理nginx層、站點層、服務層、數據層。可以看到，每一個下游都有多個上游調用，只需要做到，每一個上游都均勻訪問每一個下游，就能實現“將請求/數據【均勻】分攤到多個操作單元上執行”。

【客戶端層->反向代理層】的負載均衡

【客戶端層】到【反向代理層】的負載均衡，是通過“DNS輪詢”實現的：DNS-server對於一個域名配置了多個解析ip，每次DNS解析請求來訪問DNS-server，會輪詢返回這些ip，保證每個ip的解析概率是相同的。這些ip就是nginx的外網ip，以做到每臺nginx的請求分配也是均衡的。

【反向代理層->站點層】的負載均衡

【反向代理層】到【站點層】的負載均衡，是通過“nginx”實現的。通過修改nginx.conf，可以實現多種負載均衡策略：

1)請求輪詢：和DNS輪詢類似，請求依次路由到各個web-server

2)最少連接路由：哪個web-server的連接少，路由到哪個web-server

3)ip哈希：按照訪問用戶的ip哈希值來路由web-server，只要用戶的ip分佈是均勻的，請求理論上也是均勻的，ip哈希均衡方法可以做到，同一個用戶的請求固定落到同一臺web-server上，此策略適合有狀態服務，例如session(58沈劍備註：可以這麼做，但強烈不建議這麼做，站點層無狀態是分佈式架構設計的基本原則之一，session最好放到數據層存儲)

4)…

【站點層->服務層】的負載均衡

【站點層】到【服務層】的負載均衡，是通過“服務連接池”實現的。

上游連接池會建立與下游服務多個連接，每次請求會“隨機”選取連接來訪問下游服務。

上一篇文章《RPC-client實現細節》中有詳細的負載均衡、故障轉移、超時處理的細節描述，歡迎點擊link查閱，此處不再展開。

【數據層】的負載均衡

在數據量很大的情況下，由於數據層(db，cache)涉及數據的水平切分，所以數據層的負載均衡更爲複雜一些，它分爲“數據的均衡”，與“請求的均衡”。

數據的均衡是指：水平切分後的每個服務(db，cache)，數據量是差不多的。

請求的均衡是指：水平切分後的每個服務(db，cache)，請求量是差不多的。

業內常見的水平切分方式有這麼幾種：

一、按照range水平切分

每一個數據服務，存儲一定範圍的數據，上圖爲例：

user0服務，存儲uid範圍1-1kw

user1服務，存儲uid範圍1kw-2kw

這個方案的好處是：

(1)規則簡單，service只需判斷一下uid範圍就能路由到對應的存儲服務

(2)數據均衡性較好

(3)比較容易擴展，可以隨時加一個uid[2kw,3kw]的數據服務

不足是：

(1)請求的負載不一定均衡，一般來說，新註冊的用戶會比老用戶更活躍，大range的服務請求壓力會更大

二、按照id哈希水平切分

每一個數據服務，存儲某個key值hash後的部分數據，上圖爲例：

user0服務，存儲偶數uid數據

user1服務，存儲奇數uid數據

這個方案的好處是：

(1)規則簡單，service只需對uid進行hash能路由到對應的存儲服務

(2)數據均衡性較好

(3)請求均勻性較好

不足是：

(1)不容易擴展，擴展一個數據服務，hash方法改變時候，可能需要進行數據遷移

總結

負載均衡(Load Balance)是分佈式系統架構設計中必須考慮的因素之一，它通常是指，將請求/數據【均勻】分攤到多個操作單元上執行，負載均衡的關鍵在於【均勻】。

(1)【客戶端層】到【反向代理層】的負載均衡，是通過“DNS輪詢”實現的

(2)【反向代理層】到【站點層】的負載均衡，是通過“nginx”實現的

(3)【站點層】到【服務層】的負載均衡，是通過“服務連接池”實現的

(4)【數據層】的負載均衡，要考慮“數據的均衡”與“請求的均衡”兩個點，常見的方式有“按照範圍水平切分”與“hash水平切分”