分佈式鎖框架分析

三大引擎分析

zookeeper引擎分析

優點:

  • 鎖安全性高,zk可持久化,且能實時監聽獲取鎖的客戶端狀態。
  • zookeeper支持watcher機制,這樣實現阻塞鎖,可以watch鎖數據,等到數據被刪除,zookeeper會通知客戶端去重新競爭鎖。
  • zookeeper的數據可以支持臨時節點的概念,即客戶端寫入的數據是臨時數據,在客戶端宕機後,臨時數據會被刪除,這樣就實現了鎖的異常釋放。使用這樣的方式,就不需要給鎖增加超時自動釋放的特性了。

缺點:

  • 性能開銷比較高。因爲其需要動態產生、銷燬瞬時節點來實現鎖功能。所以不太適合直接提供給高併發的場景使用。
  • zk使用的Zab的一致性協議,寫是一個兩階段協議,效率上要差一些。
  • 使用watch時,由於watch使用較多,watch對zookeeper性能有一定影響。

適用場景:

  • 對可靠性要求非常高,且併發程度不高的場景下使用。如核心數據的定時全量/增量同步等。


tair引擎分析

優點:

  • 同時支持分佈式緩存和持久化存儲。
  • 自動的複製和遷移,自動擴容。
  • tair支持Version、原子計數、和Item支持。
  • 使用的中心化的架構設計和一致性 hash 算法的數據分佈,同時支持在線數據遷移。
  • 數據可靠性⾼、成本低。

缺點:

  • 在⼤併發訪問下性能可能會有較⼤抖動
  • 在某些情況下(如客戶端gc、磁盤io、慢請求阻塞)會導致請求超時問題,在分佈式鎖的使用中會導致獲取鎖失敗。

場景:

  • 數據規模較⼤、冷熱數據顯著的業務場景,對分佈式鎖可靠性有一定要求,但併發量要求沒有太高的時候使用。

redis引擎分析

優點:

  • 併發高效,redis自3.0自身支持集羣,同時支持哨兵機制,高性能低延遲。
  • redis可以持久化數據。
  • redis使用單進程單線程,內存存儲,速度非常快,比memcached還要快很多,所以支持的併發訪問量可以很高。
  • 現已有成熟的java客戶端,如jedis。

缺點:

  • redis採用某些淘汰策略,所以如果內存不夠,可能導致緩存中的鎖信息丟失。
  • 一旦緩存服務宕機,鎖數據就丟失了。像redis自帶複製功能,可以對數據可靠性有一定的保證,但是由於複製也是異步完成的,因此依然可能出現master節點寫入鎖數據而未同步到slave節點的時候宕機,鎖數據丟失問題。
  • 需要加入超時機制避免死鎖。
  • 成本較高。

場景:

  • 高併發,需要加入超時機制避免死鎖,提供足夠的支撐鎖服務的內存空間,穩定的集羣化管理,同時沒有對數據的可靠性有較高要求。

自研分佈式鎖分析

優點:

  • 提供了引擎的多種選擇,多種可靠性和不同併發量的階梯選擇。
  • 可擴展性強,可以加入其他引擎。
  • zk引擎和tair引擎目前都支持可重入讀寫鎖。
  • 作爲一個sdk,可以使用jar包直接導入,業務使用簡單。

缺點:

  • 目前相對而言,相對粗糙,多種功能未完成,已有功能需完善。
  • 目前沒有管理界面和工具,排錯需要到集羣上和業務機器上進行。
  • 沒有建立容災機制。
  • tair請求超時問題未解決。
  • tair的可重入讀寫鎖暫時支持的不夠好,需要研究改進。
  • redis存在redlock的問題:鎖失效問題和單點問題。
  • 沒有提供引擎的降級方案,也不能一鍵切換引擎,需要業務機器停下業務逐個切換。
  • 需要提供專屬集羣。
  • 代碼層次需要優化,註釋相對較少。

項目的改進

  1. curator最流行的zookeeper的客戶端,對分佈式鎖有很好的支持,有提供模仿jdk鎖的API,對項目的後期改進空間較大,故zookeeper引擎內部zookeeper客戶端換成curator。
  2. 增加一個服務端以及web界面,管理分佈式鎖客戶端機器的狀態信息(記錄連接機器的IP地址、持有鎖的機器的IP地址、機器的appkey等),以及集羣的鎖的記錄等信息管理和查看。
  3. 由於業務在運行時對引擎進行切換,服務端會丟失鎖的記錄信息,而且沒有較好的解決方案;同時大多數業務在給出需求時就可以確定最合適的引擎,故除去引擎降級方案,增加另一集羣進行切換。
  4. 需要建立容災機制,雙中心容災或異地容災後期研究。
  5. 目前已知tair引擎在併發量大的時候會出現請求超時問題,需要查看集羣狀態,後期研究改進。
  6. 提供鑑權,同時對appkey和secret的校驗移至服務端進行。
  7. 提供統計功能:統計單個機器調用分佈式鎖次數,調用成功和失敗次數,異常統計。
  8. 解決redlock的問題,同時squirrel的redission的方案進行研究。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章