今天用sqoop從Oracle數據庫抽數,做數據覈對的時候發現抽到的數據量少於Oracle數據中的數據量,
後來檢查發現是因爲抽數語句中的split-by field 關鍵字不是主鍵,有空值,
一般來數split-by field 字段都是主鍵,但是本次特殊情況,在前幾次的抽數過程中出現 split-by field 字段只能是數字類型
但是目標表的主鍵是string類型,所以找了其他的數字類型字段,然後出現了這個小情況。
祝大家工作順利呀。
今天用sqoop從Oracle數據庫抽數,做數據覈對的時候發現抽到的數據量少於Oracle數據中的數據量,
後來檢查發現是因爲抽數語句中的split-by field 關鍵字不是主鍵,有空值,
一般來數split-by field 字段都是主鍵,但是本次特殊情況,在前幾次的抽數過程中出現 split-by field 字段只能是數字類型
但是目標表的主鍵是string類型,所以找了其他的數字類型字段,然後出現了這個小情況。
祝大家工作順利呀。
某一類表格的導入的控制流大體如下: 1、 執行SQL任務,找到本地文件夾中未被處理過的最新的表 2、 Foreach循環容器:重複包中的任務 3、執行SQL任務:刪除數據庫中的原表