分表 - 從表面意思上看呢,就是把一張表分成N多個小表,每一個小表都是完正的一張表。分表後數據都是存放在分表裏,總表只是一個外殼,存取數據發生在一個一個的分表裏面。分表後單表的併發能力提高了,磁盤I/O性能也提高了。併發能力爲什麼提高了呢,因爲查尋一次所花的時間變短了,如果出現高併發的話,總表可以根據不同 的查詢,將併發壓力分到不同的小表裏面。
分庫 - 把原本存儲於一個庫的數據分塊存儲到多個庫上,把原本存儲於一個表的數據分塊存儲到多個表上。數據庫中的數據量不一定是可控的,在未進行分表分庫的情況下,隨着時間和業務的發展,庫中的表會越來越多,表中的數據量也會越來越大,相應地,數據操作,增刪改查的開銷也會越來越大;另外,一臺服務器的資源(CPU、磁盤、內存、IO等)是有限的,最終數據庫所能承載的數據量、數據處理能力都將遭遇瓶頸。
2|0情懷滿滿
分表、分庫在 .NET 下可謂是老大難題,簡單點可以使用類似 mycat 中間件,但是就 .NET 平臺的自身生態,很缺乏類似 sharding-jdbc 這樣強大的輪子。
本人就自身有限的技術水平和經驗,對分表、分庫進行分析,實現出自成一套的使用方法,雖然不極 sharding-jdbc 強大,但是還算比較通用、簡單。但願有朝一日出現一批真正 .NET 大神,造出偉大的開源項目,實現你我心中的抱負。
這套分表、分庫方法是建立在 .NET ORM SqlSugar之上做的,內容可能比較抽象,敬請諒解!後續會詳解各種租戶設計方案,除了按字段區分租戶,還包括分庫、分表的方案,敬請關注!
3|0入戲準備
SqlSugar是 .Net ORM,能支持 .NetFramework4.0+、.NetCore、Xamarin、XAUI、Blazor、以及還有說不出來的運行平臺,因爲代碼綠色無依賴,支持新平臺非常簡單。目前單元測試數量:5000+,Nuget下載數量:180K+,源碼幾乎每天都有提交。 SqlSugar GITHUB:https://github.com/donet5/SqlSugar,爲開源社區出一份力。
QQ羣:225982985(已滿)、726648662(在線)、995692596(在線)
爲什麼要重複造輪子?
SqlSugar主要優勢在於易用性上,基本是開箱即用,在不同數據庫之間切換兼容性比較好。作者花了大量的時間精力在這個項目,肯請您花半小時瞭解下項目,謝謝。功能特性如下:
- 支持 CodeFirst 對比結構變化遷移;
- 支持 DbFirst 從數據庫導入實體類;
- 支持 豐富的表達式函數,自定義解析;
- 支持 批量添加、批量更新、BulkCopy;
- 支持 導航屬性,貪婪加載、延時加載、級聯保存;
- 支持 讀寫分離、分表分庫,租戶設計;
- 支持 MySql/SqlServer/PostgreSQL/Oracle/Sqlite/達夢/神通/人大金倉;
SqlSugar使用非常簡單,【單機數據庫】只需要定義一個 SqlSugarScope對象即可:
4|0分表
既然是分表,那就大膽認爲他是操作【單機數據庫】,只需要對實體類進行動態映射表名即可實現,SqlSugar原生用法提供了自動分表語法,例如:
SplitTable除了插入數據並且建表和同步結構外,還可以刪除、查詢、和更新操作
var lis2t = db.Queryable<OrderSpliteTest>() .SplitTable(DateTime.Now.Date.AddYears(-1), DateTime.Now) .ToOffsetPage(1,2); //根據時間分表查詢
多數情況,我們都建議提前創建好分表,如果按月分表,手工創建一年的分表。
目前這種算是比較簡單入門的方案,遠不及 mycat、sharding-jdbc 那麼智能,比如:
- 不能利用分表字段自動進行分表映射;
- 不能在查詢時根據 where 條件自動映射分表,甚至跨多個分表的聯合查詢;
5|0分庫(跨服務器)
分庫,但是在同一個數據庫服務器實例下。這種情況也可以使用 AsTable 方式進行操作,如下:
分庫之後,老大難題是事務, SqlSugar自帶多租戶事務
6|0寫在最後
.NET 生態還處於較弱的狀態,呼籲大家支持、踊躍參與開源項目,爲下一個 .NET 開源社區五年計劃做貢獻。
希望正在使用的、善良的您能動一動小手指,把文章轉發一下,讓更多人知道 .NET 有這樣一個好用的 ORM 存在。謝謝了!!