Sqoop導入數據

1）導入 MySQL -> HDFS

(1) 全表導入

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

--password root123 \

--table  user \

--target-dir /input/import \

--num-mappers 1 \

--fields-terminated-by ","

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

-P \                              //不使用明文指定數據庫連接密碼

--table  user \

--target-dir /input/import \      //指定數據導入到HDFS上的目錄  

--delete-target-dir \        //如果目標目錄已存在，則先刪除

-m 1 \         //指定使用導入數據的map個數

--fields-terminated-by ","    //目標文件的分隔符

(2) query，where子句必須有$CONDITONS(固定寫法)  查詢導入方式

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

-P \

--query 'select id,account from user where account="fff" and  $CONDITIONS' \

--target-dir /input/query \

-m 1 \

--delete-target-dir \

--fields-terminated-by  "\t”

(3)增量導入

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

--password root123  \

--table  user \

--target-dir /input/append \

-m 1 \

--fields-terminated-by  " " \

--check-column id \

--incremental append \

--last-value 2

**注意:

incremental append和-delete-target-dir不能一起用

2)MySQL -> Hive

bin/sqoop import \

--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \

--username root \

--password root123 \

--table  user \

-m 1 \

--delete-target-dir \

--fields-terminated-by  "\t" \

--hive-import \                 //導入表到hive(使用默認的分隔符如果沒有設置)。

--hive-overwrite \            //如果hive存在表，就裏覆蓋現有的數據表。

--hive-database db01 \  

--hive-table user