SpringBoot秒殺系統總結25- 項目的亮點和難點及問題解決（源碼地址）...

文章目錄

• 【商城限時秒殺系統總結】
• 源碼地址：
• https://gitee.com/Cao_Kunpeng/Miaosha.git
• 項目的亮點：
• 項目難點及問題解決：
• 1、使用JMeter做壓測的時候開啓5000個線程，系統跑不起來，出現異常
• 2、使用了大量緩存，那麼就存在緩存擊穿和緩存雪崩以及緩存一致性等問題？
• 3、大量的使用緩存，對於緩存服務器，也有很大的壓力，思考如何減少redis的訪問？
• 4、在高併發請求的業務場景，大量請求來不及處理，甚至出現請求堆積時候？
• 5、怎麼保證一個用戶不能重複下單？
• 6、怎麼解決超賣現象？
• 7、頁面靜態化的過程及什麼是瀏覽器緩存？
• 8、秒殺架構設計理念？
• 9、秒殺系統架構設計思路？
• 10、假如減了庫存用戶沒有支付，庫存怎麼還原繼續參加搶購?
• 歡迎大家補充以及修正！

【商城限時秒殺系統總結】

在高併發情況下的秒殺優化，我們知道當併發數達到一定量的時候，會對數據庫服務器帶來很大的壓力，那麼如何緩解這些壓力以及提高併發的QPS就是整個項目的解決重點，也是我們優化系統的目標。

源碼地址：

https://gitee.com/Cao_Kunpeng/Miaosha.git

項目的亮點：

• 使用分佈式Seesion，可以實現讓多臺服務器同時可以響應。
• 使用redis做緩存提高訪問速度和併發量，減少數據庫壓力，利用內存標記減少redis的訪問。
• 使用頁面靜態化，加快用戶訪問速度，提高QPS，緩存頁面至瀏覽器，前後端分離降低服務器壓力。
• 使用消息隊列完成異步下單，提升用戶體驗，削峯和降流。
• 安全性優化：雙重md5密碼校驗，秒殺接口地址的隱藏，接口限流防刷，數學公式驗證碼。

主要知識點：

• 分佈式Seesion
  我們的秒殺服務，實際的應用可能不止部署在一個服務器上，而是分佈式的多臺服務器，這時候假如用戶登錄是在第一個服務器，第一個請求到了第一臺服務器，但是第二個請求到了第二個服務器，那麼用戶的session信息就丟失了。
  解決：session同步，無論訪問那一臺服務器，session都可以取得到，利用redis緩存的方法，另外使用一個redis服務器專門用於存放用戶的session信息。這樣就不會出現用戶session丟失的情況。（每次需要session，從緩存中取即可）
• redis緩解數據庫壓力
  本項目大量的利用了緩存技術，包括用戶信息緩存（分佈式session），商品信息的緩存，商品庫存緩存，訂單的緩存，頁面緩存，對象緩存減少了對數據庫服務器的訪問。
• 通用緩存key封裝
  大量的緩存引用也出現了一個問題，如何識別不同模塊中的緩存（key值重複，如何辨別是不同模塊的key）
  解決：利用一個抽象類，定義BaseKey（前綴），在裏面定義緩存key的前綴以及緩存的過期時間從而實現將緩存的key進行封裝。讓不同模塊繼承它，這樣每次存入一個模塊的緩存的時候，加上這個緩存特定的前綴，以及可以統一制定不同的過期時間。
• 頁面靜態化（前後端分離）
  頁面靜態化的主要目的是爲了加快頁面的加載速度，將商品的詳情和訂單詳情頁面做成靜態HTML（純的HTML），數據的加載只需要通過ajax來請求服務器，並且做了靜態化HTML頁面可以緩存在客戶端的瀏覽器。
• 消息隊列完成異步下單
  使用消息隊列完成異步下單，提升用戶體驗，削峯和降流

思路：

1. 系統初始化，把商品庫存數量stock加載到Redis上面來。
2. 後端收到秒殺請求，Redis預減庫存，如果庫存已經到達臨界值的時候，就不需要繼續請求下去，直接返回失敗，即後面的大量請求無需給系統帶來壓力。
3. 判斷這個秒殺訂單形成沒有，判斷是否已經秒殺到了，避免一個賬戶秒殺多個商品，判斷是否重複秒殺。
4. 庫存充足，且無重複秒殺，將秒殺請求封裝後消息入隊，同時給前端返回一個code (0)，即代表返回排隊中。（返回的並不是失敗或者成功，此時還不能判斷）
5. 前端接收到數據後，顯示排隊中，並根據商品id輪詢請求服務器（考慮200ms輪詢一次）。
6. 後端RabbitMQ監聽秒殺MIAOSHA_QUEUE的這名字的通道，如果有消息過來，獲取到傳入的信息，執行真正的秒殺之前，要判斷數據庫的庫存，判斷是否重複秒殺，然後執行秒殺事務（秒殺事務是一個原子操作：庫存減1，下訂單，寫入秒殺訂單）。
7. 此時，前端根據商品id輪詢請求接口MiaoshaResult,查看是否生成了商品訂單，如果請求返回-1代表秒殺失敗，返回0代表排隊中，返回>0代表商品id說明秒殺成功。

• 安全性優化
  雙重md5密碼校驗，秒殺接口地址的隱藏，接口限流防刷，數學公式驗證碼。
• 優雅的代碼編寫
  接口的輸出結果做了一個Result封裝
  對錯誤的代碼做了一個CodeMsg的封裝
  訪問緩存做了一個key的封裝

項目難點及問題解決：

1、使用JMeter做壓測的時候開啓5000個線程，系統跑不起來，出現異常

原因：修改配置文件中redis的配置項poolMaxTotal 將其設置成1000。

#redis配置項
redis.poolMaxTotal=1000
redis.poolMaxldle=500
redis.poolMaxWait=500

2、使用了大量緩存，那麼就存在緩存擊穿和緩存雪崩以及緩存一致性等問題？

• 緩存穿透指的是對某個一定不存在的數據進行請求，該請求將會穿透緩存到達數據庫。
  解決方案：對這些不存在的數據緩存一個空數據，對這類請求進行過濾。
• 緩存雪崩指的是由於數據沒有被加載到緩存中，或者緩存數據在同一時間大面積失效（過期），又或者緩存服務器宕機，導致大量的請求都到達數據庫。
  解決方案：
  爲了防止緩存在同一時間大面積過期導致的緩存雪崩，可以通過觀察用戶行爲，合理設置緩存過期時間來實現；
  爲了防止緩存服務器宕機出現的緩存雪崩，可以使用分佈式緩存，分佈式緩存中每一個節點只緩存部分的數據，當某個節點宕機時可以保證其它節點的緩存仍然可用。
  也可以進行緩存預熱，避免在系統剛啓動不久由於還未將大量數據進行緩存而導致緩存雪崩。
  例如：首先針對不同的緩存設置不同的過期時間，比如session緩存，在userKey這個前綴中，設置是30分鐘過期，並且每次用戶響應的話更新緩存時間。這樣每次取session,都會延長30分鐘，相對來說，就減少了緩存過期的機率
• 緩存一致性要求數據更新的同時緩存數據也能夠實時更新。
  解決方案：
  在數據更新的同時立即去更新緩存，首先嚐試從緩存讀取，讀到數據則直接返回；如果讀不到，就讀數據庫，並將數據會寫到緩存，並返回。
  在讀緩存之前先判斷緩存是否是最新的，如果不是最新的先進行更新，需要更新數據時，先更新數據庫，然後把緩存裏對應的數據失效掉（刪掉）。

3、大量的使用緩存，對於緩存服務器，也有很大的壓力，思考如何減少redis的訪問？

在redis預減庫存的時候，內存中維護一個isOvermap作爲一個內存標記，當沒有庫存的時候，將其置爲true。每次秒殺業務訪問redis之前，查一下map標記，如果true說明沒有庫存，就直接返回失敗，無需再去請求redis服務器。

4、在高併發請求的業務場景，大量請求來不及處理，甚至出現請求堆積時候？

消息隊列，用來異步處理請求。每次請求過來，先不去處理請求，而是放入消息隊列，然後在後檯布置一個監聽器，分別監聽不同業務的消息隊列，有消息來的時候，才進行秒殺業務邏輯。這樣防止多個請求同時操作的時候，數據庫連接過多的異常。

5、怎麼保證一個用戶不能重複下單？

解決：秒殺訂單表中建立一個唯一索引（所引是用戶Id與商品goodsId），使得第一個記錄可以插入，第二個則出錯，然後通過事務回滾，防止一個用戶同時發出多個請求的處理，秒殺到多個商品。

唯一索引，即是唯一的意思，在數據庫表結構中對字段添加唯一索引後進行數據庫進行存儲操作時數據庫會判斷庫中是否已經存在此數據，不存在此數據時才能進行插入操作。

這雖然是個小技能，但實際上在業務開發中是個很實用的技能，比如在高併發業務中，數據庫如何杜絕數據併發插入兩條相同的訂單號呢？添加一個唯一索引當然是最快捷的方法之一，當然是添加索引還是通過業務代碼去解決因公司業務而定

6、怎麼解決超賣現象？

超賣場景：不同用戶在讀請求的時候，發現商品庫存足夠，然後同時發起請求，進行秒殺操作，減庫存，導致庫存減爲負數。

最簡單的方法，更新數據庫減庫存的時候，進行庫存限制條件，在reduceStock(GoodsVo goodsvo)這個方法裏，sql要多加一個stock_count > 0 ，使用數據庫特性來保證超賣的問題，只有stock_count還大於0的時候纔去讀stock_count然後減1操作

@Update("update miaosha_goods set stock_count=stock_count-1 where goods_id=#{goodsId} and stock_count>0")
	public void reduceStock(MiaoshaGoods goods); 

7、頁面靜態化的過程及什麼是瀏覽器緩存？

將HTML靜態頁面緩存在客戶端瀏覽器，只有數據通過ajax異步調用接口來獲取，僅僅交互的是部分數據，減少了帶寬，也加快用戶訪問的速度。

瀏覽器緩存就是把一個已經請求過的Web資源（如html頁面，圖片，js，數據等）拷貝一份副本儲存在瀏覽器中。緩存會根據進來的請求保存輸出內容的副本。當下一個請求來到的時候，如果是相同的URL，緩存會根據緩存機制決定是直接使用副本響應訪問請求，還是向源服務器再次發送請求。比較常見的就是瀏覽器會緩存訪問過網站的網頁，當再次訪問這個URL地址的時候，如果網頁沒有更新，就不會再次下載網頁，而是直接使用本地緩存的網頁。只有當網站明確標識資源已經更新，瀏覽器纔會再次下載網頁。

8、秒殺架構設計理念？

• 限流： 鑑於只有少部分用戶能夠秒殺成功，所以要限制大部分流量，只允許少部分流量進入服務後端。
• 削峯：對於秒殺系統瞬時會有大量用戶湧入，所以在搶購一開始會有很高的瞬間峯值。高峯值流量是壓垮系統很重要的原因，所以如何把瞬間的高流量變成一段時間平穩的流量也是設計秒殺系統很重要的思路。實現削峯的常用的方法有利用緩存和消息中間件等技術。
• 異步處理：秒殺系統是一個高併發系統，採用異步處理模式可以極大地提高系統併發量，其實異步處理就是削峯的一種實現方式。
• 內存緩存：秒殺系統最大的瓶頸一般都是數據庫讀寫，由於數據庫讀寫屬於磁盤IO，性能很低，如果能夠把部分數據或業務邏輯轉移到內存緩存，效率會有極大地提升。
• 可拓展：當然如果我們想支持更多用戶，更大的併發，最好就將系統設計成彈性可拓展的，如果流量來了，拓展機器就好了。像淘寶、京東等雙十一活動時會增加大量機器應對交易高峯。

9、秒殺系統架構設計思路？

• 將請求攔截在系統上游，降低下游壓力：秒殺系統特點是併發量極大，但實際秒殺成功的請求數量卻很少，所以如果不在前端攔截很可能造成數據庫讀寫鎖衝突，最終請求超時。
• 利用緩存：利用緩存可極大提高系統讀寫速度。
• 消息隊列：消息隊列可以削峯，將攔截大量併發請求，這也是一個異步處理過程，後臺業務根據自己的處理能力，從消息隊列中主動的拉取請求消息進行業務處理。

10、假如減了庫存用戶沒有支付，庫存怎麼還原繼續參加搶購?

設定一個最長付款時間，比如30分鐘，後臺有個定時任務（使用定時器Timer），輪訓超過30分鐘的待付款訂單(數據庫裏面判定訂單狀態)，然後關閉訂單，恢復庫存。

項目地址！

相關鏈接：

慕課網學習網站：https://www.imooc.com
秒殺系統架構分析與實戰：https://my.oschina.net/xianggao/blog/524943
相關視頻可在B站私信我獲得：https://space.bilibili.com/86713253