StreamSet使用要點

前提條件
已瞭解StreamSet基本操作和各個功能組件:origins、processors、Destinations、Executors

一、 導出全表數據到Hive
功能:將Mysql表全表導出到Hive,同時將類型都轉換爲String類型
StreamSet使用要點

1、 Field Type Converter 可用於轉換字段類型
注: 如果轉換前此pipline已經執行過,則需要修改目標表名或重啓以清除緩存,否則會報 Type Mismatch 異常。例如:Type Mismatch for column 'id', Expected: BIGINT, Actual: STRING

2、導出全表數就需要使用Pipeline Finisher Executor ,以便導完後能夠自動終止,否則會重複執行導入操作。

未完,待續

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章