sqoop導入的一些問題

sqoop導入的一些問題

以下爲sqoop語句有問題，一定注意語句後的 \ 。 \前要空格，\後不要空格

--null-non-string 0 \
--null-string '123' \

原數據如果爲null的話，會被替換‘成 ’的內容

版本1.4.7這種模式使用lastmodifyed 可以使用merge-key覆蓋。（路徑爲hive表路徑）

因爲1.4.7不支持lastmodifyed和hive -import連用（1.4.6可以，但是不支持append和hive-import），所以我直接導入到hive表路徑下

sqoop import --connect jdbc:mysql://hadoop-02:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--columns user_id,user_name,trade_time \
--incremental lastmodified \
--check-column trade_time \
--last-value 0 \
--fields-terminated-by '\t' \
--target-dir /user/hive/workmouse/ali_test.db/part3 \
--null-non-string 0 \
--null-string '123' \
--merge-key user_id \
--split-by user_id

這種模式merge-key等於無用

sqoop import --connect jdbc:mysql://hadoop-02:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--columns user_id,user_name,trade_time \
--incremental append \
--check-column user_id \
--last-value 0 \
--fields-terminated-by '\t' \
--target-dir /user/hive/workmouse/ali_test.db/part3 \
--null-non-string 0 \
--null-string '123' \
--merge-key user_id \
--split-by user_id

3’
–merge-key user_id
–split-by user_id