datstage---常用組件

1.Join: 數據集內連接,外連接(Left,Rigth)。

2.Lookup: 數據字典查找,通過主鍵關聯查找到需要的列輸出。

3.Transform : 數據計算,通過利用系統函數和表達式進行數據列計算轉換,輸入輸出Mapping;數據分流,定義constraints數據分流、過濾。
條件表達式:相當於自定義函數。

4.Aggregator :計算彙總。

5.Copy :複製數據源,將一個數據集複製爲多個數據集。

6.Filter :根據不同的輸出條件過濾數據,一個數據集不同過濾條件 多個輸出數據集,一個Reject(條件都不滿足時)。

7.Funnel 多個具有相同表結構的輸入合併爲一個輸出 ,表結構不變,只整合數據內容,相當於Union all。

8.Remove Duplicates :去重,一個排序的輸入一個非重複輸出,依據關鍵字段判斷重複數據。常和sort一起連用。

9.Sort :排序。

10.Merge : 類似(Union +Join): 包括行的組合和列的組合:關鍵字一致時列合併,否則行合併.

11.Change Capture: 兩組輸入的數據集,Before和After,Change Capture記錄了Before數據集經過何種變化變爲After數據集,該Stage會產生一個記錄變化的結果數據集,表結構與After數據集一致,類似於Oracle Minus,但返回After裏的數據集。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章