.NET ORM 分表分庫【到底】怎麼做？

理論知識

分表 - 從表面意思上看呢，就是把一張表分成N多個小表，每一個小表都是完正的一張表。分表後數據都是存放在分表裏，總表只是一個外殼，存取數據發生在一個一個的分表裏面。分表後單表的併發能力提高了，磁盤I/O性能也提高了。併發能力爲什麼提高了呢，因爲查尋一次所花的時間變短了，如果出現高併發的話，總表可以根據不同的查詢，將併發壓力分到不同的小表裏面。

分庫 - 把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。數據庫中的數據量不一定是可控的，在未進行分表分庫的情況下，隨着時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，一臺服務器的資源（CPU、磁盤、內存、IO等）是有限的，最終數據庫所能承載的數據量、數據處理能力都將遭遇瓶頸。

情懷滿滿

分表、分庫在 .NET 下可謂是老大難題，簡單點可以使用類似 mycat 中間件，但是就 .NET 平臺的自身生態，很缺乏類似 sharding-jdbc 這樣強大的輪子。

本人就自身有限的技術水平和經驗，對分表、分庫進行分析，實現出自成一套的使用方法，雖然不極 sharding-jdbc 強大，但是還算比較通用、簡單。但願有朝一日出現一批真正 .NET 大神，造出偉大的開源項目，實現你我心中的抱負。

這套分表、分庫方法是建立在 .NET ORM FreeSql 之上做的，內容可能比較抽象，敬請諒解！後續會詳解各種租戶設計方案，除了按字段區分租戶，還包括分庫、分表的方案，敬請關注！

入戲準備

FreeSql 是 .Net ORM，能支持 .NetFramework4.0+、.NetCore、Xamarin、XAUI、Blazor、以及還有說不出來的運行平臺，因爲代碼綠色無依賴，支持新平臺非常簡單。目前單元測試數量：5000+，Nuget下載數量：180K+，源碼幾乎每天都有提交。值得高興的是 FreeSql 加入了 ncc 開源社區：https://github.com/dotnetcore/FreeSql，加入組織之後社區責任感更大，需要更努力做好品質，爲開源社區出一份力。

QQ羣：4336577(已滿)、8578575(在線)、52508226(在線)

爲什麼要重複造輪子？

FreeSql 主要優勢在於易用性上，基本是開箱即用，在不同數據庫之間切換兼容性比較好。作者花了大量的時間精力在這個項目，肯請您花半小時瞭解下項目，謝謝。功能特性如下：

支持 CodeFirst 對比結構變化遷移；
支持 DbFirst 從數據庫導入實體類；
支持豐富的表達式函數，自定義解析；
支持批量添加、批量更新、BulkCopy；
支持導航屬性，貪婪加載、延時加載、級聯保存；
支持讀寫分離、分表分庫，租戶設計；
支持 MySql/SqlServer/PostgreSQL/Oracle/Sqlite/達夢/神通/人大金倉/MsAccess；

FreeSql 使用非常簡單，【單機數據庫】只需要定義一個 IFreeSql 對象即可：

static IFreeSql fsql = new FreeSql.FreeSqlBuilder()
    .UseConnectionString(FreeSql.DataType.MySql, connectionString)
    .UseAutoSyncStructure(true) //自動同步實體結構到數據庫
    .Build(); //請務必定義成 Singleton 單例模式

分表

既然是分表，那就大膽認爲他是操作【單機數據庫】，只需要對實體類進行動態映射表名即可實現，FreeSql 原生用法、FreeSql.Repository 倉儲用法都提供了 AsTable 方法對分表進行 CRUD 操作，例如：

var repo = fsql.GetRepository<Log>();
repo.AsTable(oldname => $"{oldname}_201903");
//對 Log_201903 表 CRUD

repo.Insert(new Log { ... });
repo.Update(...);
repo.Delete(...);
repo.Select...;

AsTable 動態設置實體映射的表名，達到對分表的操作目的。除了 CRUD 操作，還提供了創建分表的功能：

如果開啓了自動同步結構功能 UseAutoSyncStructure(true)，則 AsTable 會自動創建對應分表；
可以使用 fsql.CodeFirst.SyncStructure(typeof(實體類), "分表名") 進行手工建表；

多數情況，我們都建議提前創建好分表，如果按月分表，手工創建一年的分表。

目前這種算是比較簡單入門的方案，遠不及 mycat、sharding-jdbc 那麼智能，比如：

不能利用分表字段自動進行分表映射；
不能在查詢時根據 where 條件自動映射分表，甚至跨多個分表的聯合查詢；

分庫（單機）

分庫，但是在同一個數據庫服務器實例下。這種情況也可以使用 AsTable 方式進行操作，如下：

var repo = fsql.GetRepository<Log>();
repo.AsTable(oldname => $"{201903}.dbo.{oldname}");
//對 [201903].dbo.Log CRUD

分庫之後，老大難題是事務，如果使用 SqlServer 可以利用 TransactionScope 做簡單的跨庫事務，如下：

var repoLog = fsql.GetRepository<Log>();
var repoComment = fsql.GetRepository<Comment>();
repoLog.AsTable(oldname => $"{201903}.dbo.{oldname}");
repoComment.AsTable(oldname => $"{201903}.dbo.{oldname}");

using (TransactionScope ts = new TransactionScope())
{
    repoComment.Insert(new Comment { ... });
    repoLog.Insert(new Log { ... });
    ts.Complete();
}

分庫（跨服務器）

前面提到：【單機數據庫】只需要定義一個 IFreeSql 對象即可。那分庫是不是要定義很多個 IFreeSql 對象？答案是的。

一般思路可以定義 static ConcurrentDictionary<string, IFreeSql> 存儲所有 IFreeSql 對象（key = ConnectionString），當進行 CRUD 時獲取到對應的 IFreeSql 即可。由於 IFreeSql 是靜態單例設計長駐內存，分庫數量太多的時候會浪費資源，因爲不是所有分庫都一直一直在訪問。例如租戶分庫 10000 個，定義 10000 個 static IFreeSql？

更好的辦法可以使用 IdleBus 空閒對象管理容器，有效組織對象重複利用，自動創建、銷燬，解決【實例】過多且長時間佔用的問題。有時候想做一個單例對象重複使用提升性能，但是定義多了，有的又可能一直空閒着佔用資源。專門解決：又想重複利用，又想少佔資源的場景。https://github.com/2881099/IdleBus

dotnet add package IdleBus

static IdleBus<IFreeSql> ib = new IdleBus<IFreeSql>(TimeSpan.FromMinutes(10));

ib.Register("db1", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str1").Build());
ib.Register("db2", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str2").Build());
ib.Register("db3", () => new FreeSqlBuilder().UseConnectionString(DataType.SqlServer, "str3").Build());
//...註冊很多個

ib.Get("db1").Select<T>().Limit(10).ToList();

IdleBus 也是【單例】設計！主要的兩個方法，註冊，獲取。idlebus 註冊不是創建 IFreeSql，首次 Get 時才創建，後面會一直用已經創建的。還有一個超時機制，如果 10 分鐘該 IFreeSql 未使用會被 Dispose，然後下一次又會創建新的 IFreeSql，如此反覆。從而解決了 10000 個 IFreeSql 長駐內存的問題。

還利用 AsyncLocal 特性擴展使用起來更加方便：

public static class IdleBusExtesions
{
    static AsyncLocal<string> asyncDb = new AsyncLocal<string>();
    public static IdleBus<IFreeSql> ChangeDatabase(this IdleBus<IFreeSql> ib, string db)
    {
        asyncDb.Value = db;
        return ib;
    }
    public static IFreeSql Get(this IdleBus<IFreeSql> ib) => ib.Get(asyncDb.Value ?? "db1");
    public static IBaseRepository<T> GetRepository<T>(this IdleBus<IFreeSql> ib) where T : class 
        => ib.Get().GetRepository<T>();
}

使用 ChangeDatabase 切換 db；
使用 Get() 獲取當前 IFreeSql，省略每次都傳遞 db 參數；
使用 GetRepository 獲取當前 IFreeSql 對應的倉儲類；

注意：使用 IdleBus 需要弱化 IFreeSql 的存在，每次都使用 ib.Get 獲取 IFreeSql 對象；

IdleBus<IFreeSql> ib = ...; //單例注入

var fsql = ib.Get(); //獲取當前租戶對應的 IFreeSql

var fsql00102 = ib.ChangeDatabase("db2").Get(); //切換租戶，後面的操作都是針對 db2

var songRepository = ib.GetRepository<Song>();
var detailRepository = ib.GetRepository<Detail>();

目前這種算是比較簡單入門的方案，遠不及 mycat、sharding-jdbc 那麼智能，比如：沒有實現跨庫事務。

寫在最後

.NET 生態還處於較弱的狀態，呼籲大家支持、踊躍參與開源項目，爲下一個 .NET 開源社區五年計劃做貢獻。

希望正在使用的、善良的您能動一動小手指，把文章轉發一下，讓更多人知道 .NET 有這樣一個好用的 ORM 存在。謝謝了！！

FreeSql 開源協議 MIT https://github.com/dotnetcore/FreeSql，可以商用，文檔齊全。QQ羣：4336577(已滿)、8578575(在線)、52508226(在線)

如果你有好的 ORM 實現想法，歡迎給作者留言討論，謝謝觀看！

.NET ORM 分表分庫【到底】怎麼做？

理論知識

情懷滿滿

入戲準備

分表

分庫（單機）

分庫（跨服務器）

寫在最後

獻給 Dapper 使用者的一份禮物

.Net orm 開源項目 FreeSql 2.0.0（一張滿意的答卷）

.Net 開源項目 FreeRedis 實現思路之 - Redis 6.0 客戶端緩存技術

.NET redis 客戶端開源組件 FreeRedis (繼 CSRedisCore 之後重寫)

[開源] .Net ORM FreeSql 1.10.0 穩步向前

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結