[NewLife.XCode]髒數據

NewLife.XCode是一個有10多年曆史的開源數據中間件,支持nfx/netstandard,由新生命團隊(2002~2019)開發完成並維護至今,以下簡稱XCode。

整個系列教程會大量結合示例代碼和運行日誌來進行深入分析,蘊含多年開發經驗於其中,代表作有百億級大數據實時計算項目。

開源地址:https://github.com/NewLifeX/X (求star, 729+)

 

什麼是髒數據

在XCode中,每次執行實體類更新entity.Update時,都希望只更新修改過的字段,而不是update所有字段

一方面,減少數據庫壓力以及通信流量;

另一方面,多線程同時更新同一行數據的不同字段,在未加鎖的情況下,避免髒寫。

 

IsDirty和Dirtys,這是XCode的髒數據,常常出現在Valid中 。

如上圖,前者判斷Password字段是否有髒數據(Password被賦予跟原來不想等的值),後者清空Password髒數據。

髒數據是生成Update語句的核心,不髒的字段不會出現在update set 之中,從而實現部分字段更新。

 

設置髒數據

髒數據是XCode實體類內置功能,每一個實體類屬性set操作中都帶有髒數據邏輯。

實體類屬性並非普通屬性,而是帶有OnPropertyChanging邏輯 

這裏是髒數據的默認設置點,先比較新舊值是否一致,如果一致,顯然不會設置髒數據。

實體屬性數值是否相等比較邏輯:

  • 整數全部轉換爲Int64比較,避免因類型不同而誤判
  • 時間日期只比較年月日時分秒,而不比較毫秒等其它部分
  • 字符串比較時,null與empty相等
  • 浮點數比較(單精度和雙精度),比較到小數點後6位
  • Decimal比較到小數點後12位

使用代碼來表達,大概是下面的樣子:

實體類屬性賦值有三種方法:

  • user.Password = "Stone"
  • user.SetItem("Password", "Stone")
  • user["Password"] = "Stone"

 主要功能相似,都是給Password字段賦值。

最大的不同點在於:後者一定不會設置髒數據,僅僅是簡單賦值;前面兩個可能會設置髒數據,要求Password原值不等於"Stone"時纔會設置髒數據。

* SetItem就是第一種強類型髒數據和第三種弱類型賦值兩者優點的混合體!

 

髒數據效果

Update User Set Mobile='13012345678', Code='abcdef' Where ID=74

如上,修改了3個字段,但是Name本來就是“張三”,因此實際上只修改了兩個字段,也就是說只有兩個字段有髒數據(數值改變被弄髒了)。

最終生成的update set語句,只包含帶有髒數據的字段。最後的where部分,則由主鍵組成。

 

使用髒數據

髒數據最常見於數據驗證Valid中,可以用來判斷某個屬性否則曾經被修改過

如上,兩次用到髒數據,如果業務代碼沒有設置用戶名或創建時間,則在Valid時設置。

因此,髒數據往往用於給字段設置默認值。除了可用於實體類Valid,還可以用於實體過濾器EntityModule.Valid。

 

判斷髒數據有兩種辦法 Dirtys["CreateTime"] 和 IsDirty("CreateTime") 。上面的__.CreateTime實質上就是"CreateTime"常量,僅僅是爲了避免用戶寫錯單詞。

在大數據分析處理場合,數百萬實體對象位於內存之中,Dirtys將導致每個實體對象附帶實例化一個髒數據集合對象,而IsDirty則不會,因此效果更好。

 

實現原理

第一代髒數據實現就是字典 Dictionary<String, Boolean>,後來發現在高併發性頻繁出現多線程衝突;

第二代髒數據實現是並行字典ConcurrentDictionary<String, Boolean>,後來在大數據分析處理中發現,單個並行字典,哪怕是空的,也要佔用約2k內存空間;

第三代髒數據實現 DirtyCollection,採用了內置數組以及CAS原子操作,擁有最好的性能以及最小內存佔用。

 

系列教程

NewLife.XCode教程系列[2019版]

  1. 增刪改查入門。快速展現用法,代碼配置連接字符串
  2. 數據模型文件。建立表格字段和索引,名字以及數據類型規範,推薦字段(時間,用戶,IP)
  3. 實體類詳解。數據類業務類,泛型基類,接口
  4. 功能設置。連接字符串,調試開關,SQL日誌,慢日誌,參數化,執行超時。代碼與配置文件設置,連接字符串局部設置
  5. 反向工程。自動建立數據庫數據表
  6. 數據初始化。InitData寫入初始化數據
  7. 高級增刪改。重載攔截,自增字段,Valid驗證,實體模型(時間,用戶,IP)
  8. 髒數據。如何產生,怎麼利用
  9. 增量累加。高併發統計
  10. 事務處理。單表和多表,不同連接,多種寫法
  11. 擴展屬性。多表關聯,Map映射
  12. 高級查詢。複雜條件,分頁,自定義擴展FieldItem,查總記錄數,查彙總統計
  13. 數據層緩存。Sql緩存,更新機制
  14. 實體緩存。全表整理緩存,更新機制
  15. 對象緩存。字典緩存,適用用戶等數據較多場景。
  16. 百億級性能。字段精煉,索引完備,合理查詢,充分利用緩存
  17. 實體工廠。元數據,通用處理程序
  18. 角色權限。Membership
  19. 導入導出。Xml,Json,二進制,網絡或文件
  20. 分表分庫。常見拆分邏輯
  21. 高級統計。聚合統計,分組統計
  22. 批量寫入。批量插入,批量Upsert,異步保存
  23. 實體隊列。寫入級緩存,提升性能。
  24. 備份同步。備份數據,恢復數據,同步數據
  25. 數據服務。提供RPC接口服務,遠程執行查詢,例如SQLite網絡版
  26. 大數據分析。ETL抽取,調度計算處理,結果持久化

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章