任務運維 | 怎麼補數據?這有一篇實踐案例

在任務運維同學的日常工作中,經常需要使用補數據功能,例如當一個新的數據開發任務提交上線後,需要將歷史的數據也能寫入對應的時間分區;或者當發現某個任務產出數據有誤時,需要重新刷新數據,這時候也會需要用到補數據功能。

通過本篇文章,你能夠收穫:

  • 瞭解補數據的場景和流程;
  • 掌握補數據的步驟和內容,體驗Easydata補數據的產品功能。

01實踐內容

1.1 場景說明

假設你是一名勤勤懇懇的數據開發兼運維同學,今天早上如往常一樣登陸平臺查看任務運維情況,突然收到來自數據分析師的一條信息,對方表示今天有一個重要報表突然沒有產出數據,需要你幫忙緊急排查問題。

你連忙定位到具體任務,再根據血緣定位上游任務,經過一番排查與操作,發現原來是ods層的有一個開發同學對錶進行了變更,原先依賴的ods表已經不再產出,於是你雖然抱怨上游開發的粗心大意,但仍然吭哧吭哧認真地把所有相關下游任務代碼改好並重新提交上線。但你的任務不僅是把下游任務的代碼編輯完成,你還需要把昨天的數據恢復正常,於是你在運維中心的任務詳情頁面,點擊了“補數據”按鈕……

1.2 實操階段

(1)創建補數據任務

進入任務運維中心,補數據入口有三處:分別是任務列表的右側操作欄,可以支持單個任務補數據;任務列表的左上操作按鈕,可以支持批量補數據;以及任務詳情頁右上角支持單個任務補數據。

本次實踐帶大家體驗批量補數據的功能,點擊任務列表,點擊上方“批量補數據”按鈕,即可進入批量補數據頁面:

下游任務選擇完成後,進入配置補數據設置的頁面,配置項都已係統默認填充,本次實驗需要體驗通知功能,因此請確保通知條件的三個勾選項均已被勾選、通知對象爲實驗者本人,通知方式需至少勾選郵件、POPO之一。

(2)查看補數據任務詳情

點擊創建補數據任務後,頁面自動返回補數據實例運維列表,用戶可以查看補數據任務進展、對補數據任務進行暫停、終止等操作:

(3)補數據任務運維

讓我們回到本次實踐場景中。

你創建完補數據任務後,終於舒了一口氣,想着終於找到了問題,還算是有驚無險,但是萬萬沒想到緊接着就收到了來自運維中心的報警信息:

你趕緊點擊鏈接,回到任務運維中心,鏈接自動跳轉到了失敗實例的詳情頁面,原來是最下游的任務出現了問題。於是你點擊節點狀態旁邊的“放大鏡”圖標,進入智能診斷頁面

在智能診斷頁面顯示,Hive語法錯誤,需要檢查代碼。

於是你來到離線開發,重新查看代碼,發現是在剛剛改代碼的時候,不小心寫錯了一個字段,你這纔想起來,剛剛修改代碼的時候,匆匆忙忙之中忘記先在開發模式試運行,竟然沒有測試就直接就把代碼提交到了線上!你趕緊把代碼重新改好,並測試了節點,在測試通過後將任務重新提交上線。

你的工作還沒有完成。修改完代碼後,最後還需要回到運維中心,將剛剛失敗的補數據實例重跑。

(4)補數據任務完成通知

點擊運行後,實例開始重跑。在等待幾分鐘後,終於,系統再次發來通知,宣告這次數據補救行動圓滿結束,撒花~

02小結

“補數據”是任務運維中心十分重要的功能。目前產品能夠支持單個任務補數據與批量補數據,由於有些任務的上下游鏈路十分複雜,爲方便用戶快速選擇需要補數據的任務和節點,產品也支持流程視圖的補數據功能。感興趣的同學歡迎瞭解產品~

*本文基於Easydata-V7.0版本,任務運維中心V1.8.2.1版本進行編寫。點擊試用Easydata產品

作者簡介

露亞,網易數帆Easydata-任務運維中心產品經理。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章