數據測試流程+存在的問題

數據流向:業務源(rds)->ods->std->dwd->dws->ads-rds>頁面;固定的維度會存放在dim相關表中

數倉模型實現邏輯:rds中的數據會和ods的數據 一 一對應(相當於是把業務庫落到數倉自己庫),dwd中會通過主鍵外鍵將有關的業務數據表進行關聯 dws中會查詢篩選最終的一些數據 存放到 ads庫中,再從數倉的ads又回到後端的業務庫 ,再反饋給前端到頁面。

測試驗證範圍:

1、從業務源表到ods層由於是一一映射關係,字段一致,字段類型一致,數據量也一致,故這一層由數據開發自己保證兩邊數據的一致性,測試不做覆蓋。

2、測試需要測試的是從ods層到ads層的數據的準確性,可通過數據開發提供的指標口徑定義文件,將ods和ads的數據做對比測試,再將ads的數據與頁面的展現做對比測試,還包括需要從業務層面對頁面中相關聯的業務邏輯和流程做測試。(業務庫查出來的數據和從數倉表查詢出來的數據對比一下)

3、測試的測試用例必須按照頁面的數據指標從ods層到ads層再到頁面全部串聯起來組成完整的數據流用例,必須是直接可溯源的。

準備工作:

  • 關於每一個指標的取值邏輯、業務描述(會議評審指標的口徑、取數邏輯)
  • 測試數據字典表熟悉(相關表字段含義,字段相應值)
  • 測試編寫數據流測試用例和業務測試用例(數據開發輔助編寫相關sql腳本)。
  • 發起用例評審會議(PD/數據開發/後端/測試),確保測試用例沒有問題。
  • 數據開發對ods層數據和業務源數據進行比對,確保沒有差異。

問題跟蹤:

  • 出現問題,先由數據開發排查是否是業務庫->ods層的同步問題或者是業務庫數據本身的問題,若不是->測試。
  • 測試排查是ods層到ads層&後端&前端問題,再找對應的開發。

原則:

數據的一致性、完整性、準確性

數據測試問題(待解決):

業務庫修改字段信息沒有同步到數據開發

業務庫開發對取數模棱兩可

測試環境和生產環境數據不同的問題

產品交付到項目,項目的數據不乾淨(髒數據)

歡迎有想法的朋友在下方留言~~

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章