11 | 負載均衡：節點負載差距這麼大，爲什麼收到的流量還一樣？
什麼是負載均衡？
當我們的一個服務節點無法支撐現有的訪問量時，我們會部署多個節點，組成一個集羣，然後通過負載均衡，將請求分發給這個集羣下的每個服務節點，從而達到多個服務節點共通分擔請求壓力的目的。
負載均衡有哪些類型？
負載均衡分爲軟負載和硬負載兩種，軟負載就是在一臺或多臺服務器上安裝負載均衡軟件，如LVS、Nginx等；硬負載就是通過硬件設備來實現負載均衡，例如F5服務器等。
有哪些常見的負載均衡算法？
常見的負載均衡算法包括：
- 基於權重的隨機算法
- 基於最小活躍用數算法
- 基於Hash一致性算法
- 基於加權輪詢算法
Dubbo默認採用基於權重的隨機算法。
RPC中的負載均衡完全由RPC框架自身實現，RPC的服務調用者會與“註冊中心”下發的所有服務節點建立長連接，在每次發起RPC調用時，服務調用者都會通過配置的負載均衡插件，自主選擇一個服務節點，發起RPC調用請求。
示意圖如下。
RPC的負載均衡策略一般包括隨機權重、Hash、輪詢等。
如何設計一個自適應的負載均衡？
所謂自適應的負載均衡，就是指負載均衡組件可以根據服務節點的可處理能力，動態調整服務節點的權重，將請求轉發給合適的服務節點，從而保證整個系統的穩定性。
我們可以採用一種打分策略，服務調用者收集與之建立長連接的每個服務節點的指標數據，例如服務節點的負載指標、CPU核數、內存大小、請求處理的平均耗時、服務節點的健康狀態等。我們可以爲這些指標設置不同的權重，之後就可以計算每個服務節點動態分值。
在得到服務節點的動態分值後，我們把分值作爲服務節點的權重，採用隨機權重的負載均衡策略去分發請求，這樣我們就可以完成一個自適應的負載均衡。
整體設計方案如下。
關鍵步驟如下：
- 添加服務指標收集器，並將其作爲插件，默認有運行時狀態指標收集器、請求耗時指標收集器。
- 運行時狀態指標收集器收集服務節點CPU核數、CPU負載以及內存等指標，在服務調用者與服務提供者的心跳數據中獲取。
- 請求耗時指標收集器收集請求耗時數據，如平均耗時、TP99、TP999等。
- 可以配置開啓哪些指標收集器，並設置這些參考指標的指標權重，再根據指標數據和指標權重來綜合打分。
- 通過服務節點的綜合打分與節點的權重，最終計算出節點的最終權重，之後服務調用者會根據隨機權重的策略，來選擇服務節點。
12 | 異常重試：在約定的時間內安全可靠地重試
什麼是RPC框架的重試機制？
當調用端發起的請求失敗時，RPC框架自身可以進行重試，再重新發送請求，用戶可以自行設置是否開啓重試以及重試的次數。
調用端發起RPC請求時，會經過負載均衡，選擇一個節點，之後它會向這個節點發送請求信息。當消息發送失敗或收到異常消息時，我們就可以捕獲異常，根據異常觸發重試，重新通過負載均衡選擇一個節點發送請求信息，並且記錄請求的重試次數，當重試次數達到用戶配置的重試次數時，就返回給調用端動態代理一個失敗異常。
如何在約定的時間內安全可靠的重試？
首先，服務的業務邏輯需要是冪等的，這是我們可以重試的前提。
其次，在每次重試後，都需要重置一下請求的超時時間，因爲連續的異常重試可能會導致請求處理時間過長造成超時。
再次，當我們發起服務重試時，負載均衡選擇節點時，需要去掉重試之前出現過問題的節點，這樣可以提高重試的成功率。
最後，我們可以在RPC框架中配置業務異常相關的白名單，這樣當白名單中的業務異常類型被觸發時，也可以進行服務重試。