數據流向:業務源(rds)->ods->std->dwd->dws->ads-rds>頁面;固定的維度會存放在dim相關表中
數倉模型實現邏輯:rds中的數據會和ods的數據 一 一對應(相當於是把業務庫落到數倉自己庫),dwd中會通過主鍵外鍵將有關的業務數據表進行關聯 dws中會查詢篩選最終的一些數據 存放到 ads庫中,再從數倉的ads又回到後端的業務庫 ,再反饋給前端到頁面。
測試驗證範圍:
1、從業務源表到ods層由於是一一映射關係,字段一致,字段類型一致,數據量也一致,故這一層由數據開發自己保證兩邊數據的一致性,測試不做覆蓋。
2、測試需要測試的是從ods層到ads層的數據的準確性,可通過數據開發提供的指標口徑定義文件,將ods和ads的數據做對比測試,再將ads的數據與頁面的展現做對比測試,還包括需要從業務層面對頁面中相關聯的業務邏輯和流程做測試。(業務庫查出來的數據和從數倉表查詢出來的數據對比一下)
3、測試的測試用例必須按照頁面的數據指標從ods層到ads層再到頁面全部串聯起來組成完整的數據流用例,必須是直接可溯源的。
準備工作:
- 關於每一個指標的取值邏輯、業務描述(會議評審指標的口徑、取數邏輯)
- 測試數據字典表熟悉(相關表字段含義,字段相應值)
- 測試編寫數據流測試用例和業務測試用例(數據開發輔助編寫相關sql腳本)。
- 發起用例評審會議(PD/數據開發/後端/測試),確保測試用例沒有問題。
- 數據開發對ods層數據和業務源數據進行比對,確保沒有差異。
問題跟蹤:
- 出現問題,先由數據開發排查是否是業務庫->ods層的同步問題或者是業務庫數據本身的問題,若不是->測試。
- 測試排查是ods層到ads層&後端&前端問題,再找對應的開發。
原則:
數據的一致性、完整性、準確性
數據測試問題(待解決):
業務庫修改字段信息沒有同步到數據開發
業務庫開發對取數模棱兩可
測試環境和生產環境數據不同的問題
產品交付到項目,項目的數據不乾淨(髒數據)
歡迎有想法的朋友在下方留言~~