Repository manager(資料庫內容管理客戶端工具)管理repository service(元數據資料庫服務)。
Administratortion console(基於web的管理控制檯)管理integration service(數據抽取、轉換、裝載服務)。
一.INFA開發流程:
R用來在使用infa開發之前做一些準備工作,比如創建用戶,創建工作文件夾
D用來設計etl流程,主要用到3個區域,源工作區,目標工作區,mapping工作區
第一步:定義源 (使用D)
第二步:定義目標 (使用D)
第三步:創建映射(mapping) (使用D)
第四步:定義任務 (使用W)
1. 2.
第五步:定義工作流 (使用W)
1. 2.點擊下的wizard
改爲
- 雙擊,點擊mapping來設置源和目標
- 右擊空白處,點擊start workflow
第六步:工作流調用監控,在任務調度起來的時候進行監控
- 組件介紹
組件類型:
Passinve組件:流入流出組件的行數不發生變化,例如:expression組件
Active組件:流入流出組件的行數會發生變化,例如:aggregaor組件
Expression組件:對一行的數據進行賦值、修改、計算等處理,在同行記錄中可新增、減少數據項,應用範圍:數據類型轉換、數據項計算、新增變量等
Filter組件:用於數據過濾,類似WHERE(在內存裏做過濾)
Router組件:用於數據分發,對流入組件中的記錄數據按照條件進行分發
Sq組件:
在SQ組件中,如果properties下sql query裏sql的抽取條件與sql query裏source filter的抽取條件衝突了,按sql query的來,source filter失效。
SQ組件中,properties下的pre sql:在mapping執行之前執行的sql
SQ組件中,properties下的post sql:在mapping執行之後執行的sql
Joiner組件:對異構數據進行關聯,比如用一個文本文件和數據庫表進行關聯
- 將兩個表的字段依次拖到joiner組件
- 在condition定義兩個表的關聯字段
- 在ports定義哪個表是master表
- 在properties選擇join type
Lookup組件:類似於sql中的join語句,把關聯找到的數據查詢出來。
Lookup的ports中,‘L’爲lookup要查詢的字段,‘R’選項爲return,爲lookup查找後返回的字段,只在非關聯lookup才生效。