阿里雲 DataWorks v2.0 常見問題與難點解析整理

一、依賴關係配置

  • 依賴關係原理概述
  • 三種依賴配置方式
  • “自動解析”配置依賴關係:推薦使用
  • 手動配置依賴關係
  • “自動推薦”配置依賴關係

1.1 依賴關係原理概述

在這裏插入圖片描述

  • 可擴展性差,缺乏解耦
  • 重跑任務的成本太高

輸出名稱

  • 每個節點(Task)輸出點的名稱。用於在單個租戶(阿里雲賬號)內設置依賴關係時,連接上下游兩個節點(Task)的虛擬實體。

在這裏插入圖片描述
【原則】

  • 每個節點必須配置至少一個本節點輸出名稱、一個父節點輸出名稱
  • 每個輸出點必須在同租戶、同Region唯一
    在這裏插入圖片描述

1.2 三種依賴配置方式

【依賴模式】

  • 手動配置:手工搜索上游節點名稱實現;
  • 自動推薦:通過SQL血緣找到對應節點名
  • 自動解析:通過SQL insert / create / from 解析輸出名。

在這裏插入圖片描述

1.3 自動解析依賴關係

  • 原理:根據 INSERT / CREATE / FROM 自動填寫上游輸出名與本節點輸出名
  • 前提:下游任務的輸入表必須是上游任務的產出表
    在這裏插入圖片描述
    在這裏插入圖片描述

1.4 手動配置依賴關係

在這裏插入圖片描述
在這裏插入圖片描述

  • 可以通過拉線的方式手動配置,這是最簡單的方式
  • 填寫上游節點輸出名進行手動配置

1.5 “自動推薦”配置依賴關係

在這裏插入圖片描述

二、常見問題解析

2.1 自動解析後提交失敗

Q:自動解析後提交失敗,報錯:依賴的父節點輸出projectname.table不存在,不能提交本節點,請先提交父節點。

在這裏插入圖片描述
A:出現這種情況有以下兩種原因:

  1. 上游節點未提交,提交後可以再次嘗試。
  2. 上游節點已經提交,但上游節點的輸出名不是 workshop_yanshi.tb_2 。
    在當前的阿里雲賬號(同Region)下,必須存在一個擁有workshop_yanshi.tb_2輸出名的節點已提交。

2.2 本節點輸出中,下游節點名稱等都是空且不能填寫

Q:爲什麼本節點的輸出中,下游節點名稱、下游節點ID、責任人都是空且不能填寫內容?
A:因爲沒有其他任意一個節點依賴於該輸出名。
只有該輸出名被依賴,且依賴它的節點被提交,此處纔會自動解析出相關信息。

在這裏插入圖片描述

2.3 如何不自動解析中間表

Q:使用自動解析依賴關係時,如何不解析到中間表?
A:除了在SQL代碼中對錶名郵件“刪除輸出/刪除輸入”之外,還可以在“配置中心”中約點中間表前綴,符合規則的中間表講不會被解析。

在這裏插入圖片描述

在左下角配置中心-項目配置中:
在這裏插入圖片描述

三、標準模式解析

  • 標準模式介紹
  • 標準模式與簡單模式的區別、優勢
  • 注意事項

3.1 標準模式介紹

在這裏插入圖片描述
標準模式與簡單模式的區別、優勢

在這裏插入圖片描述
在這裏插入圖片描述

四、運維中心使用技巧

  • 版面概述
    在這裏插入圖片描述
  • 週期任務運維
    在這裏插入圖片描述
  • 手動期任務運維
  • 組合節點
  • 注意事項

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章