sqoop與vertica、hive連接

1.export

/opt/sqoop/bin/sqoop export \
-Dsqoop.export.records.per.statement=10000 \
--batch \
--driver com.vertica.jdbc.Driver \
--connection-manager org.apache.sqoop.manager.GenericJdbcManager \
--connect jdbc:vertica:XXXXXXXXXXXXXXX \
--username XXXXXXX \
--password XXXXXXXX \
--table FNODS.trfc_channel\
--columns 'data_date,platform_ver_id,channel_id' \
--export-dir /bigbi/hive/fntmp.db/trfc_channel \
--input-fields-terminated-by '\001' \
--input-lines-terminated-by  '\n'  -m  3 \
--input-null-string '\\N' \
--input-null-non-string '\\N'

2.import

sqoop import \
--connection-manager org.apache.sqoop.manager.GenericJdbcManager \
--driver com.vertica.jdbc.Driver \
--connect jdbc:XXXXXXXXXXXXXXXXXXXXX \
--username XXXXXXXXXX \
--password XXXXXXXXXXXX \
--query 'select data_date,platform_ver_id,channel_id from FNODS.trfc_channel where $CONDITIONS' \
--target-dir /bigbi/dev/fntmp.db/tmp_trfc_channel_ \
--split-by platform_ver_id \
--hive-overwrite \
--hive-import \
--hive-table fntmp.tmp_trfc_channel \
--delete-target-dir \
--hive-drop-import-delims \
-m 3 \
--null-string ''\

沒有此表時會 自動創建,類型是推斷;
手動創建的結構則不會刪除

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章