緩存
緩存比較好理解，在大型高併發系統中，如果沒有緩存數據庫將分分鐘被爆，系統也會瞬間癱瘓。使用緩存不單單能夠提升系統訪問速度、提高併發訪問量，也是保護數據庫、保護系統的有效方式。大型網站一般主要是“讀”，緩存的使用很容易被想到。
在大型“寫”系統中，緩存也常常扮演者非常重要的角色。比如累積一些數據批量寫入，內存裏面的緩存隊列（生產消費），以及HBase寫數據的機制等等也都是通過緩存提升系統的吞吐量或者實現系統的保護措施。甚至消息中間件，你也可以認爲是一種分佈式的數據緩存。
降級
服務降級是當服務器壓力劇增的情況下，根據當前業務情況及流量對一些服務和頁面有策略的降級，以此釋放服務器資源以保證核心任務的正常運行。降級往往會指定不同的級別，面臨不同的異常等級執行不同的處理。根據服務方式：可以拒接服務，可以延遲服務，也有時候可以隨機服務。
根據服務範圍：可以砍掉某個功能，也可以砍掉某些模塊。總之服務降級需要根據不同的業務需求採用不同的降級策略。主要的目的就是服務雖然有損但是總比沒有好。
限流
限流可以認爲服務降級的一種，限流就是限制系統的輸入和輸出流量已達到保護系統的目的。一般來說系統的吞吐量是可以被測算的，爲了保證系統的穩定運行，一旦達到的需要限制的閾值，就需要限制流量並採取一些措施以完成限制流量的目的。
比如：延遲處理，拒絕處理，或者部分拒絕處理等等。
限流的算法
常見的限流算法有：計數器、漏桶和令牌桶算法。
計數器
計數器是最簡單粗暴的算法。比如某個服務最多隻能每秒鐘處理100個請求。我們可以設置一個1秒鐘的滑動窗口，窗口中有10個格子，每個格子100毫秒，每100毫秒移動一次，每次移動都需要記錄當前服務請求的次數。
內存中需要保存10次的次數。可以用數據結構LinkedList來實現。格子每次移動的時候判斷一次，當前訪問次數和LinkedList中最後一個相差是否超過100，如果超過就需要限流了。
很明顯，當滑動窗口的格子劃分的越多，那麼滑動窗口的滾動就越平滑，限流的統計就會越精確。
//服務訪問次數，可以放在Redis中，實現分佈式系統的訪問計數Long counter = 0L;//使用LinkedList來記錄滑動窗口的10個格子。LinkedList ll = new LinkedList();public static void main(String[] args){ Counter counter = new Counter(); counter.doCheck();}private void doCheck(){ while (true) { ll.addLast(counter); if (ll.size() > 10) { ll.removeFirst(); } //比較最後一個和第一個，兩者相差一秒 if ((ll.peekLast() - ll.peekFirst()) > 100) { //To limit rate } Thread.sleep(100); }}
漏桶算法
漏桶算法即leaky bucket是一種非常常用的限流算法，可以用來實現流量整形（Traffic Shaping）和流量控制（Traffic Policing）。
漏桶算法的主要概念如下：
一個固定容量的漏桶，按照常量固定速率流出水滴；
如果桶是空的，則不需流出水滴；
可以以任意速率流入水滴到漏桶；
如果流入水滴超出了桶的容量，則流入的水滴溢出了（被丟棄），而漏桶容量是不變的。
漏桶算法比較好實現，在單機系統中可以使用隊列來實現（.Net中TPL DataFlow可以較好的處理類似的問題，你可以在這裏找到相關的介紹），在分佈式環境中消息中間件或者Redis都是可選的方案。
令牌桶算法
令牌桶算法是一個存放固定容量令牌（token）的桶，按照固定速率往桶裏添加令牌。令牌桶算法基本可以用下面的幾個概念來描述：
令牌將按照固定的速率被放入令牌桶中。比如每秒放10個。
桶中最多存放b個令牌，當桶滿時，新添加的令牌被丟棄或拒絕。
當一個n個字節大小的數據包到達，將從桶中刪除n個令牌，接着數據包被髮送到網絡上。
如果桶中的令牌不足n個，則不會刪除令牌，且該數據包將被限流（要麼丟棄，要麼緩衝區等待）。
令牌算法是根據放令牌的速率去控制輸出的速率，也就是上圖的to network的速率。to network我們可以理解爲消息的處理程序，執行某段業務或者調用某個RPC。
漏桶和令牌桶的比較
令牌桶可以在運行時控制和調整數據處理的速率，處理某時的突發流量。放令牌的頻率增加可以提升整體數據處理的速度，而通過每次獲取令牌的個數增加或者放慢令牌的發放速度和降低整體數據處理速度。而漏桶不行，因爲它的流出速率是固定的，程序處理速度也是固定的。
整體而言，令牌桶算法更優，但是實現更爲複雜一些。