NewLife.XCode是一個有10多年曆史的開源數據中間件,支持nfx/netstandard,由新生命團隊(2002~2019)開發完成並維護至今,以下簡稱XCode。
整個系列教程會大量結合示例代碼和運行日誌來進行深入分析,蘊含多年開發經驗於其中,代表作有百億級大數據實時計算項目。
開源地址:https://github.com/NewLifeX/X (求star, 729+)
什麼是髒數據
在XCode中,每次執行實體類更新entity.Update時,都希望只更新修改過的字段,而不是update所有字段。
一方面,減少數據庫壓力以及通信流量;
另一方面,多線程同時更新同一行數據的不同字段,在未加鎖的情況下,避免髒寫。
IsDirty和Dirtys,這是XCode的髒數據,常常出現在Valid中 。
如上圖,前者判斷Password字段是否有髒數據(Password被賦予跟原來不想等的值),後者清空Password髒數據。
髒數據是生成Update語句的核心,不髒的字段不會出現在update set 之中,從而實現部分字段更新。
設置髒數據
髒數據是XCode實體類內置功能,每一個實體類屬性set操作中都帶有髒數據邏輯。
實體類屬性並非普通屬性,而是帶有OnPropertyChanging邏輯
這裏是髒數據的默認設置點,先比較新舊值是否一致,如果一致,顯然不會設置髒數據。
實體屬性數值是否相等比較邏輯:
- 整數全部轉換爲Int64比較,避免因類型不同而誤判
- 時間日期只比較年月日時分秒,而不比較毫秒等其它部分
- 字符串比較時,null與empty相等
- 浮點數比較(單精度和雙精度),比較到小數點後6位
- Decimal比較到小數點後12位
使用代碼來表達,大概是下面的樣子:
實體類屬性賦值有三種方法:
- user.Password = "Stone"
- user.SetItem("Password", "Stone")
- user["Password"] = "Stone"
主要功能相似,都是給Password字段賦值。
最大的不同點在於:後者一定不會設置髒數據,僅僅是簡單賦值;前面兩個可能會設置髒數據,要求Password原值不等於"Stone"時纔會設置髒數據。
* SetItem就是第一種強類型髒數據和第三種弱類型賦值兩者優點的混合體!
髒數據效果
Update User Set Mobile='13012345678', Code='abcdef' Where ID=74
如上,修改了3個字段,但是Name本來就是“張三”,因此實際上只修改了兩個字段,也就是說只有兩個字段有髒數據(數值改變被弄髒了)。
最終生成的update set語句,只包含帶有髒數據的字段。最後的where部分,則由主鍵組成。
使用髒數據
髒數據最常見於數據驗證Valid中,可以用來判斷某個屬性否則曾經被修改過
如上,兩次用到髒數據,如果業務代碼沒有設置用戶名或創建時間,則在Valid時設置。
因此,髒數據往往用於給字段設置默認值。除了可用於實體類Valid,還可以用於實體過濾器EntityModule.Valid。
判斷髒數據有兩種辦法 Dirtys["CreateTime"] 和 IsDirty("CreateTime") 。上面的__.CreateTime實質上就是"CreateTime"常量,僅僅是爲了避免用戶寫錯單詞。
在大數據分析處理場合,數百萬實體對象位於內存之中,Dirtys將導致每個實體對象附帶實例化一個髒數據集合對象,而IsDirty則不會,因此效果更好。
實現原理
第一代髒數據實現就是字典 Dictionary<String, Boolean>,後來發現在高併發性頻繁出現多線程衝突;
第二代髒數據實現是並行字典ConcurrentDictionary<String, Boolean>,後來在大數據分析處理中發現,單個並行字典,哪怕是空的,也要佔用約2k內存空間;
第三代髒數據實現 DirtyCollection,採用了內置數組以及CAS原子操作,擁有最好的性能以及最小內存佔用。
系列教程
NewLife.XCode教程系列[2019版]
- 增刪改查入門。快速展現用法,代碼配置連接字符串
- 數據模型文件。建立表格字段和索引,名字以及數據類型規範,推薦字段(時間,用戶,IP)
- 實體類詳解。數據類業務類,泛型基類,接口
- 功能設置。連接字符串,調試開關,SQL日誌,慢日誌,參數化,執行超時。代碼與配置文件設置,連接字符串局部設置
- 反向工程。自動建立數據庫數據表
- 數據初始化。InitData寫入初始化數據
- 高級增刪改。重載攔截,自增字段,Valid驗證,實體模型(時間,用戶,IP)
- 髒數據。如何產生,怎麼利用
- 增量累加。高併發統計
- 事務處理。單表和多表,不同連接,多種寫法
- 擴展屬性。多表關聯,Map映射
- 高級查詢。複雜條件,分頁,自定義擴展FieldItem,查總記錄數,查彙總統計
- 數據層緩存。Sql緩存,更新機制
- 實體緩存。全表整理緩存,更新機制
- 對象緩存。字典緩存,適用用戶等數據較多場景。
- 百億級性能。字段精煉,索引完備,合理查詢,充分利用緩存
- 實體工廠。元數據,通用處理程序
- 角色權限。Membership
- 導入導出。Xml,Json,二進制,網絡或文件
- 分表分庫。常見拆分邏輯
- 高級統計。聚合統計,分組統計
- 批量寫入。批量插入,批量Upsert,異步保存
- 實體隊列。寫入級緩存,提升性能。
- 備份同步。備份數據,恢復數據,同步數據
- 數據服務。提供RPC接口服務,遠程執行查詢,例如SQLite網絡版
- 大數據分析。ETL抽取,調度計算處理,結果持久化