- 前言
我們設想有一個場景，需要從把數據從mysql寫入到hive中，這樣大家就可以用到這篇文章的內容，話不多說直接看下面的操作。
- 業務流程圖
- 創建一個作業把流程配置好
- 創建mysql表及其數據
- 創建一個轉換進行數據處理及寫入
根據業務需求來寫需要的業務
獲取mysql的表的數據
字段選擇
按照需求設置，這裏我們的需求需要設置日期的格式
Parquet output（寫入到hdfs）
數據格式需要改爲UTF8，這裏的字段順序與字段類型需要跟即將創建的hive表的字段順序一模一樣
壓縮格式改爲Snappy
- 編寫修復分區
因爲我們是直接把數據寫入到hive的數據文件夾下，所以需要修復分區
- 在Hive中創建表
- 執行作業