點擊下方“IT牧場”,選擇“設爲星標”
中大型項目中,一旦遇到數據量比較大,小夥伴應該都知道就應該對數據進行拆分了。有垂直和水平兩種。
垂直拆分比較簡單,也就是本來一個數據庫,數據量大之後,從業務角度進行拆分多個庫。如下圖,獨立的拆分出訂單庫和用戶庫。
水平拆分的概念,是同一個業務數據量大之後,進行水平拆分。
二、分庫分表方案
分庫分表方案中有常用的方案,hash取模和range範圍方案;分庫分表方案最主要就是路由算法,把路由的key按照指定的算法進行路由存放。下邊來介紹一下兩個方案的特點。
1、hash取模方案
在我們設計系統之前,可以先預估一下大概這幾年的訂單量,如:4000萬。每張表我們可以容納1000萬,也我們可以設計4張表進行存儲。
那具體如何路由存儲的呢?hash的方案就是對指定的路由key(如:id)對分表總數進行取模,上圖中,id=12的訂單,對4進行取模,也就是會得到0,那此訂單會放到0表中。id=13的訂單,取模得到爲1,就會放到1表中。爲什麼對4取模,是因爲分表總數是4。
-
優點:
熱點的含義:熱點的意思就是對訂單進行操作集中到1個表中,其他表的操作很少。 訂單有個特點就是時間屬性,一般用戶操作訂單數據,都會集中到這段時間產生的訂單。如果這段時間產生的訂單 都在同一張訂單表中,那就會形成熱點,那張表的壓力會比較大。
-
缺點:
一旦我們增加了分表的總數,取模的基數就會變成8,以前id=12的訂單按照此方案就會到4表中查詢,但之前的此訂單時在0表的,這樣就導致了數據查不到。就是因爲取模的基數產生了變化。
當然做數據遷移可以結合自己的公司的業務,做一個工具進行,不過也帶來了很多工作量,每次擴容都要做數據遷移
2、range範圍方案
-
優點
-
缺點
3、總結:
range方案:不需要遷移數據,但有熱點問題。
那有什麼方案可以做到兩者的優點結合呢?,即不需要遷移數據,又能解決數據熱點的問題呢?
三、方案思路
hash是可以解決數據均勻的問題,range可以解決數據遷移問題,那我們可以不可以兩者相結合呢?利用這兩者的特性呢?
我們考慮一下數據的擴容代表着,路由key(如id)的值變大了,這個是一定的,那我們先保證數據變大的時候,首先用range方案讓數據落地到一個範圍裏面。這樣以後id再變大,那以前的數據是不需要遷移的。
四、方案設計
我們先定義一個group組概念,這組裏麪包含了一些分庫以及分表,如下圖
1)id=0~4000萬肯定落到group01組中 2)group01組有3個DB,那一個id如何路由到哪個DB? 3)根據hash取模定位DB,那模數爲多少?模數要爲所有此group組DB中的表數,上圖總表數爲10。爲什麼要去表的總數?而不是DB總數3呢? 4)如id=12,id%10=2;那值爲2,落到哪個DB庫呢?這是設計是前期設定好的,那怎麼設定的呢? 5)一旦設計定位哪個DB後,就需要確定落到DB中的哪張表呢?
五、核心主流程
上面我們也提了疑問,爲什麼對錶的總數10取模,而不是DB的總數3進行取模?我們看一下爲什麼DB_0是4張表,其他兩個DB_1是3張表?
在我們安排服務器時,有些服務器的性能高,存儲高,就可以安排多存放些數據,有些性能低的就少放點數據。如果我們取模是按照DB總數3,進行取模,那就代表着【0,4000萬】的數據是平均分配到3個DB中的,那就不能夠實現按照服務器能力適當分配了。
DB_0承擔了4/10的數據量,DB_1承擔了3/10的數據量,DB_2也承擔了3/10的數據量。整個Group01承擔了【0,4000萬】的數據量。
注意:小夥伴千萬不要被DB_1或DB_2中table的範圍也是0~4000萬疑惑了,這個是範圍區間,也就是id在哪些範圍內,落地到哪個表而已。
六、如何擴容
其實上面設計思路理解了,擴容就已經出來了;那就是擴容的時候再設計一個group02組,定義好此group的數據範圍就ok了。
table和db的關係
一旦需要擴容,小夥伴是不是要增加一下group02關聯關係,那應用服務需要重新啓動嗎?
簡單點的話,就凌晨配置,重啓應用服務就行了。但如果是大型公司,是不允許的,因爲凌晨也有訂單的。那怎麼辦呢?本地jvm緩存怎麼更新呢?
其實方案也很多,可以使用用zookeeper,也可以使用分佈式配置,這裏是比較推薦使用分佈式配置中心的,可以將這些數據配置到分佈式配置中心去。
這邊隱含了一個關鍵點,那就是路由key(如:id)的值是非常關鍵的,要求一定是有序的,自增的,這個就涉及到分佈式唯一id的方案。
乾貨分享
最近將個人學習筆記整理成冊,使用PDF分享。關注我,回覆如下代碼,即可獲得百度盤地址,無套路領取!
•001:《Java併發與高併發解決方案》學習筆記;•002:《深入JVM內核——原理、診斷與優化》學習筆記;•003:《Java面試寶典》•004:《Docker開源書》•005:《Kubernetes開源書》•006:《DDD速成(領域驅動設計速成)》•007:全部•008:加技術羣討論
關注我
喜歡就點個"在看"唄^_^
本文分享自微信公衆號 - IT牧場(itmuch_com)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。