分庫分表以後如何對非Sharding鍵進行查詢?

大家好呀,我是飄渺!

通過上篇文章我們知道了一個結論:那就是對於toC的業務,需要選擇用戶屬性如 user_id 作爲分片鍵。

那問題來了,對於訂單表來說,選擇了user_id作爲分片鍵以後如何查看訂單詳情呢?比如下面這樣一條SQL:

SELECT * FROM T_ORDER WHERE order_id = 801462878019256325

由於查詢條件中的order_id不是分片鍵,所以需要查詢所有分片才能得到最終的結果。如果下面有 1000 個分片,那麼就需要執行 1000 次這樣的 SQL,這時性能就比較差了。

可以通過ShardingSphere-JDBC生成的SQL得知,根據order_id查詢會對所有分片進行查詢然後通過UNION ALL進行合併。

image-20221124160335730

但是,我們知道 order_id 是主鍵,應該只有一條返回記錄,也就是說,order_id 只存在於一個分片中。這時,可以有以下三種設計:

  • 冗餘數據法
  • 索引表法
  • 基因分片法

當然,這三種設計的本質都是通過冗餘實現空間換時間的效果,否則就需要掃描所有的分片,當分片數據非常多,效率就會變得極差。

下面我們逐一分析。

設計一:冗餘法

image-20221123154258465

這種做法很容易理解,同一份訂單數據在插入時保存兩份,根據user_id 和 order_id分別做兩個分庫分表的實現。

通過對錶進行冗餘,對於 order_id 的查詢,只需要在 order_id = 801462878019256325 的分片中直接查詢就行,效率最高。但是這個方案設計的缺點又很明顯:冗餘數據量太大。

方法二:索引表法

索引表法是對第一種冗餘法的改進,由於第一種方案冗餘的數據量太大,所以索引表方案中只創建一個包含user_id和order_id的索引表,在插入訂單時再插入一條數據到索引表中。

image-20221123170018203

表結構如下

CREATE TABLE idx_orderid_userid (
  order_id bigint
  user_id bigint,
  PRIMARY KEY (order_id)
)

在實現時可以將idx_orderid_userid表通過Redis緩存來代替,如果此表數據量很大也可以將其分庫分表,但是它的分片鍵是 order_id。

如果這時再根據字段 order_id 進行查詢,可以進行類似二級索引的回表實現:先通過查詢索引表得到記錄 order_id = 801462878019256325 對應的分片鍵 user_id 的值,接着再根據 user_id 進行查詢,最終定位到想要的數據,如:

原始SQL:

SELECT * FROM T_ORDER WHERE order_id = 801462878019256325

拆分後的SQL:

# step 1
SELECT user_id FROM idx_orderid_userid 
WHERE order_id = 801462890610556951

# step 2
SELECT * FROM T_ORDER 
WHERE user_id = ? AND order_id = 801462890610556951

這個例子是將一條 SQL 語句拆分成 2 條 SQL 語句,但是拆分後的 2 條 SQL 都可以通過分片鍵進行查詢,這樣能保證只需要在單個分片中完成查詢操作。不論有多少個分片,也只需要查詢 2個分片的信息,這樣 SQL 的查詢性能可以得到極大的提升。

方法三:基因法

通過索引表的方式,雖然存儲上較冗餘全表容量小了很多,但是要根據另一個分片鍵進行數據的存儲,還是顯得不夠優雅。

因此,最優的設計,不是創建一個索引表,而是將分片鍵的信息保存在想要查詢的列中,這樣通過查詢的列就能直接知道所在的分片信息,這種方法也叫叫做基因法。

基因法的原理出自一個理論:對一個數取餘2的n次方,那麼餘數就是這個數的二進制的最後n位數。

假如我們現在根據user_id進行分片,採用user_id % 16的方式來進行數據庫路由,這裏的user_id%16,其本質是user_id的最後4個bit位 **log(16,2) = 4 ** 決定這行數據落在哪個分片上,這4個bit就是分片基因。

image-20221124135359638

如上圖所示,user_id=20160169的用戶創建了一個訂單(20160169的二進制表示爲:1001100111001111010101001)

  • 使用user_id%16分片,決定這行數據要插入到哪個分片中
  • 分庫基因是user_id的最後4個bit,log(16,2) = 4,即1001
  • 在生成order_id時,先使用一種分佈式ID生成算法生成前60bit(上圖中綠色部分)
  • 將分庫基因加入到order_id的最後4個bit(上圖中粉色部分)
  • 拼裝成最終的64bit訂單order_id(上圖中藍色部分)

這樣保證了同一個用戶創建的所有訂單都落到了同一個分片上,order_id的最後4個bit都相同,於是:

  • 通過user_id %16 能夠定位到分片
  • 通過order_id % 16也能定位到分片

不好理解的話,可以看下面這段代碼:

@Test
public void modIdTest(){
    long userID = 20160169L;
    //分片數量
    int shardNum = 16;
    String gen = getGen(userID, shardNum);
    log.info("userID:{}的基因爲:{}",userID,gen);
  
    long snowId = IdWorker.getId(Order.class);
    log.info("雪花算法生成的訂單ID爲{}",snowId);
  
    Long orderId = buildGenId(snowId,gen);
    log.info("基因轉換後的訂單ID爲{}",orderId);

    Assert.assertEquals(orderId % shardNum , userID % shardNum);
}

運行結果如下:

image-20221124142308121

原始訂單ID爲1595662702879973377,通過基因轉換後ID變成了1595662702879973385,對於用戶id 和 新生成的訂單id對其取模結果一樣。

上面那種做法是基因替換,替換掉訂單id的分片基因。下面這種做法就更顯直接。

將訂單表 orders 的主鍵設計爲一個字符串,這個字符串中最後一部分包含分片鍵的信息,如:

order_id = string(order_id + user_id)

那麼這時如果根據 order_id 進行查詢:

SELECT * FROM T_ORDER
WHERE order_id = '1595662702879973377-20160169';

由於字段 order_id 的設計中直接包含了分片鍵信息,所以我們可以直接通過分片鍵部分直接定位到分片上。

同樣地,在插入時,由於可以知道插入時 user_id 對應的值,所以只要在業務層做一次字符的拼接,然後再插入數據庫就行了。

這樣的實現方式較冗餘表和索引表的設計來說,效率更高,查詢時可以直接定位到數據對應的分片信息,只需 1 次查詢就能獲取想要的結果。

這樣實現的缺點是,主鍵值會變大一些,存儲也會相應變大。但是隻要主鍵值是有序的,插入的性能就不會變差。而通過在主鍵值中保存分片信息,卻可以大大提升後續的查詢效率,這樣空間換時間的設計,總體上看是非常值得的。

實際上淘寶的訂單號也是這樣構建的

image-20221124143541487

上圖是我的淘寶訂單信息,可以看到,訂單號的最後 6 位都是 607041,所以可以大概率推測出:

  • 淘寶訂單表的分片鍵是用戶 ID;
  • 淘寶訂單表,訂單表的主鍵包含用戶 ID,也就是分片信息。這樣通過訂單號進行查詢,可以獲得分片信息,從而查詢 1 個分片就能得到最終的結果。

小結

分庫分表後需要遵循一個基本原則:所有的查詢儘量帶上sharding key,有時候業務需要根據技術限制進行妥協,那種既要...又要...就是在耍流氓。

當然有些業務場景確實沒辦法避免,對於非sharding key的查詢可以參考上面三種方案實現,不過實際上只能算兩種。

曾經在面試時我還被問到過這個問題~

今天的文章是屬於理論知識,Talk is cheap,Show me the code! 接下來兩篇文章我將結合ShardingSphere-JDBC實現上述兩種方案,系列文章歡迎持續關注。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章