今天用sqoop从Oracle数据库抽数,做数据核对的时候发现抽到的数据量少于Oracle数据中的数据量,
后来检查发现是因为抽数语句中的split-by field 关键字不是主键,有空值,
一般来数split-by field 字段都是主键,但是本次特殊情况,在前几次的抽数过程中出现 split-by field 字段只能是数字类型
但是目标表的主键是string类型,所以找了其他的数字类型字段,然后出现了这个小情况。
祝大家工作顺利呀。
今天用sqoop从Oracle数据库抽数,做数据核对的时候发现抽到的数据量少于Oracle数据中的数据量,
后来检查发现是因为抽数语句中的split-by field 关键字不是主键,有空值,
一般来数split-by field 字段都是主键,但是本次特殊情况,在前几次的抽数过程中出现 split-by field 字段只能是数字类型
但是目标表的主键是string类型,所以找了其他的数字类型字段,然后出现了这个小情况。
祝大家工作顺利呀。
某一類表格的導入的控制流大體如下: 1、 執行SQL任務,找到本地文件夾中未被處理過的最新的表 2、 Foreach循環容器:重複包中的任務 3、執行SQL任務:刪除數據庫中的原表