Sqoop簡介
Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據庫中。
Sqoop項目開始於2009年，最早是作爲Hadoop的一個第三方模塊存在，後來爲了讓使用者能夠快速部署，也爲了讓開發人員能夠更快速的迭代開發，Sqoop獨立成爲一個Apache項目。
Sqoop下載
最新的官方版本爲1.4.7下載地址如下
http://mirror.bit.edu.cn/apache/sqoop/1.4.7/
解壓
tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz sqoop
配置環境變量
export SQOOP_HOME=/home/ubuntu/sqoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin
cd sqoop/conf
cp sqoop-env-template.sh sqoop-env.sh
測試數據庫連接
sqoop list-databases --connect jdbcUrl --username test --password 'test'
導入數據到hdfs中
sqoop import jdbcUrl --username 用戶名 --password '密碼' --table 表名 --columns "user_name,phone" --target-dir /test -m 1