一、依賴關係配置
- 依賴關係原理概述
- 三種依賴配置方式
- “自動解析”配置依賴關係:推薦使用
- 手動配置依賴關係
- “自動推薦”配置依賴關係
1.1 依賴關係原理概述
- 可擴展性差,缺乏解耦
- 重跑任務的成本太高
輸出名稱
- 每個節點(Task)輸出點的名稱。用於在單個租戶(阿里雲賬號)內設置依賴關係時,連接上下游兩個節點(Task)的虛擬實體。
【原則】
- 每個節點必須配置至少一個本節點輸出名稱、一個父節點輸出名稱
- 每個輸出點必須在同租戶、同Region唯一
1.2 三種依賴配置方式
【依賴模式】
- 手動配置:手工搜索上游節點名稱實現;
- 自動推薦:通過SQL血緣找到對應節點名
- 自動解析:通過SQL insert / create / from 解析輸出名。
1.3 自動解析依賴關係
- 原理:根據 INSERT / CREATE / FROM 自動填寫上游輸出名與本節點輸出名
- 前提:下游任務的輸入表必須是上游任務的產出表
1.4 手動配置依賴關係
- 可以通過拉線的方式手動配置,這是最簡單的方式
- 填寫上游節點輸出名進行手動配置
1.5 “自動推薦”配置依賴關係
二、常見問題解析
2.1 自動解析後提交失敗
Q:自動解析後提交失敗,報錯:依賴的父節點輸出projectname.table不存在,不能提交本節點,請先提交父節點。
A:出現這種情況有以下兩種原因:
- 上游節點未提交,提交後可以再次嘗試。
- 上游節點已經提交,但上游節點的輸出名不是 workshop_yanshi.tb_2 。
在當前的阿里雲賬號(同Region)下,必須存在一個擁有workshop_yanshi.tb_2輸出名的節點已提交。
2.2 本節點輸出中,下游節點名稱等都是空且不能填寫
Q:爲什麼本節點的輸出中,下游節點名稱、下游節點ID、責任人都是空且不能填寫內容?
A:因爲沒有其他任意一個節點依賴於該輸出名。
只有該輸出名被依賴,且依賴它的節點被提交,此處纔會自動解析出相關信息。
2.3 如何不自動解析中間表
Q:使用自動解析依賴關係時,如何不解析到中間表?
A:除了在SQL代碼中對錶名郵件“刪除輸出/刪除輸入”之外,還可以在“配置中心”中約點中間表前綴,符合規則的中間表講不會被解析。
在左下角配置中心-項目配置中:
三、標準模式解析
- 標準模式介紹
- 標準模式與簡單模式的區別、優勢
- 注意事項
3.1 標準模式介紹
標準模式與簡單模式的區別、優勢
四、運維中心使用技巧
- 版面概述
- 週期任務運維
- 手動期任務運維
- 組合節點
- 注意事項