請及時關注“高效運維(微信ID：greatops)”公衆號，並置頂公衆號，以免錯過各種乾貨滿滿的原創文章。
作者簡介：
張開濤
京東集團技術研發，2014年加入京東，開發過京東商品詳情頁、詳情頁統一服務架構與開發工作，設計並開發了多個億級訪問量系統。
工作之餘喜歡寫技術博客，有《跟我學 Spring》、《跟我學Spring MVC》、《跟我學Shiro》、《跟我學Nginx+Lua開發》等系列教程。
開篇：
在開發高併發系統時有三把利器用來保護系統：緩存、降級和限流。之前已經有一些文章介紹過緩存和限流了。本文將詳細聊聊降級。
當訪問量劇增、服務出現問題（如響應時間慢或不響應）或非核心服務影響到核心流程的性能時，仍然需要保證服務還是可用的，即使是有損服務。
系統可以根據一些關鍵數據進行自動降級，也可以配置開關實現人工降級。本文將介紹一些筆者在實際工作中遇到的或見到過的一些降級方案供大家參考。
降級的最終目的是保證核心服務可用，即使是有損的。而且有些服務是無法降級的（如加入購物車、結算）。
降級預案
在進行降級之前要對系統進行梳理，看看系統是不是可以丟卒保帥；從而梳理出哪些必須誓死保護，哪些可降級；比如可以參考日誌級別設置預案：
一般：比如有些服務偶爾因爲網絡抖動或者服務正在上線而超時，可以自動降級；
警告：有些服務在一段時間內成功率有波動（如在95~100%之間），可以自動降級或人工降級，併發送告警；
錯誤：比如可用率低於90%，或者數據庫連接池被打爆了，或者訪問量突然猛增到系統能承受的最大閥值，此時可以根據情況自動降級或者人工降級；
嚴重錯誤：比如因爲特殊原因數據錯誤了，此時需要緊急人工降級。
降級的類別
降級按照是否自動化可分爲：自動開關降級和人工開關降級。
降級按照功能可分爲：讀服務降級、寫服務降級。
降級按照處於的系統層次可分爲：多級降級。
降級的功能點
降級的功能點主要從服務端鏈路考慮，即根據用戶訪問的服務調用鏈路來梳理哪裏需要降級：
頁面降級：在大促或者某些特殊情況下，某些頁面佔用了一些稀缺服務資源，在緊急情況下可以對其整個降級，以達到丟卒保帥；
頁面片段降級：比如商品詳情頁中的商家部分因爲數據錯誤了，此時需要對其進行降級；
頁面異步請求降級：比如商品詳情頁上有推薦信息/配送至等異步加載的請求，如果這些信息響應慢或者後端服務有問題，可以進行降級；
服務功能降級：比如渲染商品詳情頁時需要調用一些不太重要的服務：相關分類、熱銷榜等，而這些服務在異常情況下直接不獲取，即降級即可；
讀降級：比如多級緩存模式，如果後端服務有問題，可以降級爲只讀緩存，這種方式適用於對讀一致性要求不高的場景；
寫降級：比如秒殺搶購，我們可以只進行Cache的更新，然後異步同步扣減庫存到DB，保證最終一致性即可，此時可以將DB降級爲Cache。
爬蟲降級：在大促活動時，可以將爬蟲流量導向靜態頁或者返回空數據從而降級保護後端稀缺資源。
降級策略
1、自動開關降級
自動降級是根據系統負載、資源使用情況、SLA等指標進行降級。
超時降級
當訪問的數據庫/http服務/遠程調用響應慢或者長時間響應慢，且該服務不是核心服務的話可以在超時後自動降級；
比如商品詳情頁上有推薦內容/評價，但是推薦內容/評價暫時不展示對用戶購物流程不會產生很大的影響；
對於這種服務是可以超時降級的。如果是調用別人的遠程服務，和對方定義一個服務響應最大時間，如果超時了則自動降級。
之前總結過一些的文章《使用httpclient必須知道的參數設置及代碼寫法、存在的風險》和《dbcp配置及jdbc超時設置總結》。在實際場景用一定主要配置好超時時間和超時重試次數和機制。
統計失敗次數降級
有時候依賴一些不穩定的API，比如調用外部機票服務，當失敗調用次數達到一定閥值自動降級；然後通過異步線程去探測服務是否恢復了，則取消降級。
故障降級
比如要調用的遠程服務掛掉了（網絡故障、DNS故障、http服務返回錯誤的狀態碼、rpc服務拋出異常），則可以直接降級。
降級後的處理方案有：
默認值（比如庫存服務掛了，返回默認現貨）
兜底數據（比如廣告掛了，返回提前準備好的一些靜態頁面）
緩存（之前暫存的一些緩存數據）
限流降級
當我們去秒殺或者搶購一些限購商品時，此時可能會因爲訪問量太大而導致系統崩潰，此時開發者會使用限流來進行限制訪問量，當達到限流閥值，後續請求會被降級；
降級後的處理方案可以是：
排隊頁面（將用戶導流到排隊頁面等一會重試）
無貨（直接告知用戶沒貨了）
錯誤頁（如活動太火爆了，稍後重試）
2、人工開關降級
在大促期間通過監控發現線上的一些服務存在問題，這個時候需要暫時將這些服務摘掉；
還有有時候通過任務系統調用一些服務，但是服務依賴的數據庫可能存在：網卡被打滿了、掛掉了或者很多慢查詢，此時需要暫停下任務系統讓服務方進行處理；
還有發現突然調用量太大，可能需要改變處理方式（比如同步轉換爲異步）；
此時就可以使用開關來完成降級。
開關可以存放到配置文件、存放到數據庫、存放到Redis/ZooKeeper；如果不是存放在本地，可以定期同步開關數據（比如1秒同步一次）。然後通過判斷某個KEY的值來決定是否降級。
另外對於新開發的服務想上線進行灰度測試；但是不太確定該服務的邏輯是否正確，此時就需要設置開關，當新服務有問題可以通過開關切換回老服務。
還有多機房服務，如果某個機房掛掉了，此時需要將一個機房的服務切到另一個機房，此時也可以通過開關完成切換。
還有一些是因爲功能問題需要暫時屏蔽掉某些功能，比如商品規格參數數據有問題，數據問題不能用回滾解決，此時需要開關控制降級。
3、讀服務降級
對於讀服務降級一般採用的策略有：
暫時切換讀（降級到讀緩存、降級到走靜態化）
暫時屏蔽讀（屏蔽讀入口、屏蔽某個讀服務）
在《應用多級緩存模式支撐海量讀服務》中曾經介紹過讀服務，即：
接入層緩存→應用層本地緩存→分佈式緩存→RPC服務/DB
我們會在接入層、應用層設置開關，當分佈式緩存、RPC服務/DB有問題自動降級爲不調用。當然這種情況適用於對讀一致性要求不高的場景。
頁面降級、頁面片段降級、頁面異步請求降級都是讀服務降級，目的是丟卒保帥（比如因爲這些服務也要使用核心資源、或者佔了帶寬影響到核心服務）或者因數據問題暫時屏蔽。
還有一種是頁面靜態化場景：
動態化降級爲靜態化：比如平時網站可以走動態化渲染商品詳情頁，但是到了大促來臨之際可以將其切換爲靜態化來減少對核心資源的佔用，而且可以提升性能；其他還有如列表頁、首頁、頻道頁都可以這麼玩；可以通過一個程序定期的推送靜態頁到緩存或者生成到磁盤，出問題時直接切過去；
靜態化降級爲動態化：比如當使用靜態化來實現商品詳情頁架構時，平時使用靜態化來提供服務，但是因爲特殊原因靜態化頁面有問題了，需要暫時切換回動態化來保證服務正確性。
以上都保證出問題了有預案，用戶還是可以使用網站，不影響用戶購物。
4、寫服務降級
寫服務在大多數場景下是不可降級的，不過可以通過一些迂迴戰術來解決問題。比如將同步操作轉換爲異步操作，或者限制寫的量/比例。
比如扣減庫存一般這樣操作：
方案1：
a、扣減DB庫存；
b、扣減成功後更新Redis中的庫存；
方案2：
a、扣減Redis庫存；
b、同步扣減DB庫存，如果扣減失敗則回滾Redis庫存；
前兩種方案非常依賴DB，假設此時DB性能跟不上則扣減庫存就會遇到問題；因此我們可以想到方案3：
a、扣減Redis庫存：
b、正常同步扣減DB庫存，性能扛不住時降級爲發送一條扣減DB庫存的消息，然後異步進行DB庫存扣減實現最終一致即可；
這種方式發送扣減DB庫存消息也可能成爲瓶頸；這種情況我們可以考慮方案4：
a、扣減Redis庫存；
b、正常同步扣減DB庫存，性能扛不住時降級爲寫扣減DB庫存消息到本機，然後本機通過異步進行DB庫存扣減來實現最終一致性。
也就是說正常情況可以同步扣減庫存，在性能扛不住時降級爲異步；另外如果是秒殺場景可以直接降級爲異步，從而保護系統。
還有如下單操作可以在大促時暫時降級將下單數據寫入Redis，然後等峯值過去了再同步回DB，當然也有更好的解決方案，但是更復雜，不是本文的重點。
還有如用戶評價，如果評價量太大，也可以把評價從同步寫降級爲異步寫。當然也可以對評價按鈕進行按比例開放（比如一些人的看不到評價操作按鈕）。比如評價成功後會發一些獎勵，在必要的時候降級同步到異步。
5、多級降級
緩存是離用戶最近越高效；而降級是離用戶越近越能對系統保護的好。因爲業務的複雜性導致越到後端QPS/TPS越低。
頁面JS降級開關：主要控制頁面功能的降級，在頁面中通過JS腳本部署功能降級開關，在適當時機開啓/關閉開關；
接入層降級開關：主要控制請求入口的降級，請求進入後會首先進入接入層，在接入層可以配置功能降級開關，可以根據實際情況進行自動/人工降級；
這個可以參考《京東商品詳情頁服務閉環實踐》，尤其在後端應用服務出問題時，通過接入層降級從而給應用服務有足夠的時間恢復服務；
應用層降級開關：主要控制業務的降級，在應用中配置相應的功能開關，根據實際業務情況進行自動/人工降級。
總結：
降級能保障系統在大促中活下來，而不是死去，達到丟卒保帥的作用。對用戶提供有損服務，總比不服務要好。根據自己的場景設計相應的降級策略，保障系統在危機時刻能通過降級手段平穩度過。