sqoop 和mysql相關操作

數據遷移工具,可以和RDBMS相互遷移數據

需要先將db driver copy to sqoop lib dir

注意：

    sqoop是以mapreduce的方式來運行任務的，用hdfs來存儲數據的。所以依賴NameNode和ResourceManager，只要機器上配置了這兩個就可以正常運行，程序運行時會自動讀取環境變量.

// 導出car數據庫中的carinfo表到hdfs的user裏面

sqoop import --connect jdbc:mysql://192.168.32.1:3306/car --username root --password bill --table carinfo 

// 導出到/sqoop/file(hdfs上)  

--target-dir /sqoop/file

使用2個map任務來跑

 -m 2

使用製表符作爲分隔符

--fields-terminated-by '\t'

只導出id和name列

--columns "id,name"

帶上過濾條件    

--where 'id > 2 and id <= 9'

帶上查詢語句,加上了query必須要帶上這個   $CONDTIONS:動態拼接條件

--query ‘select * from user where id > 100 and  $CONDTIONS’ 

// 根據trande_detail.id來分給不同的map,在map多個的時候需要指定

// 單個map不需要加這個選項

--split-by trande_detail.id

案例：

1.將h1數據庫中的radiotype表全部導出到/sqoop/table/radiotype/all中，使用\t作爲字段的分隔符

sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1 --username root --password bill --target-dir /sqoop/table/radiotype/all/ --fields-terminated-by '\t' --table radiotype

2.將h1數據庫中的radiotype表id大於等於3小於等於5的記錄導出到/sqoop/table/radiotype/id3-5中，使用2個map來跑

sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1 --where 'id >= 3 and id <= 5' --target-dir /sqoop/table/radiotype/id3-5_03/ --fields-terminated-by '\t' -m 2 --table radiotype --username root --password bill

// 上面 -m 2居然沒用，但是改成1又有用，待解決。!

3.將h1數據庫中的radiotype表的記錄導出到/sqoop/table/radiotype/assign-columns中，只導出(id,typename,imageurl)字段

sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1 --table radiotype --target-dir /sqoop/table/radiotype/assign-columns/ --columns 'id,typename,imageurl' --fields-terminated-by '^' -m 4 --username root --password bill

3.自定義sql語句導出radiotype表

sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1  --target-dir /sqoop/table/radiotype/custom_sql/ --username root --password bill --fields-terminated-by '標' --query 'select * from radiotype where id > 1 and $CONDITIONS' -m 1

// 使用query時，要帶上$CONDITIONS 若是使用多個map需要手動指定--split-by ,否則會報錯

sqoop import --connect jdbc:mysql://192.168.32.1/h1 --username root --password bill --query 'select * from radiotype where id != 3 and $CONDITIONS' --target-dir /sqoop/table/radiotype/custom_sql_02 --fields-terminated-by '^'  -m 4 --split-by radiotype.id

4.導入數據

sqoop export --connect jdbc:mysql://192.168.32.1/h1 --table radiotype_export --export-dir /sqoop/table/radiotype/custom_sql/ --username root --password bill --fields-terminated-by '標'