前提條件
已瞭解StreamSet基本操作和各個功能組件:origins、processors、Destinations、Executors
一、 導出全表數據到Hive
功能:將Mysql表全表導出到Hive,同時將類型都轉換爲String類型
1、 Field Type Converter 可用於轉換字段類型
注: 如果轉換前此pipline已經執行過,則需要修改目標表名或重啓以清除緩存,否則會報 Type Mismatch 異常。例如:Type Mismatch for column 'id', Expected: BIGINT, Actual: STRING
2、導出全表數就需要使用Pipeline Finisher Executor ,以便導完後能夠自動終止,否則會重複執行導入操作。
未完,待續