Sqoop使用總結——安裝配置 sqoop-1.4.6-cdh5.7.0

1.下載並解壓

wget https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz

 tar -zxvf sqoop-1.4.6-cdh5.7.0.tar.gz -C ~/app/

 

環境變量添加地址：

cat ~/.bash_profile

使環境變量生效

source ~/.bash_profile

 

2.修改配置文件

Sqoop的配置文件與大多數大數據框架類似，在sqoop根目錄下的conf目錄中。

1) 重命名配置文件

$ mv sqoop-env-template.sh sqoop-env.sh

 

2) 修改配置文件 sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

export HBASE_HOME=/home/hadoop/app/hbase-1.2.0-cdh5.7.0

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

export ZOOCFGDIR=/home/hadoop/app/zookeeper-3.4.5-cdh5.7.0

export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper-3.4.5-cdh5.7.0

 

3.拷貝JDBC驅動

拷貝jdbc驅動到sqoop的lib目錄下，如：

cp /home/hadoop/software/mysql-connector-java-5.1.27-bin.jar /home/hadoop/app/sqoop-1.4.6-cdh5.7.0/lib

4.驗證Sqoop

我們可以通過某一個command來驗證sqoop配置是否正確：

$ bin/sqoop help

出現一些Warning警告（警告信息已省略），並伴隨着幫助命令的輸出：

Available commands:

  codegen            Generate code to interact with database records

  create-hive-table     Import a table definition into Hive

  eval               Evaluate a SQL statement and display the results

  export             Export an HDFS directory to a database table

  help               List available commands

  import             Import a table from a database to HDFS

  import-all-tables     Import tables from a database to HDFS

  import-mainframe    Import datasets from a mainframe server to HDFS

  job                Work with saved jobs

  list-databases        List available databases on a server

  list-tables           List available tables in a database

  merge              Merge results of incremental imports

  metastore           Run a standalone Sqoop metastore

  version            Display version information

5.測試Sqoop是否能夠成功連接數據庫

sqoop list-databases --connect jdbc:mysql://hadoop000:3306/ --username root --password root

出現如下輸出：

information_schema

metastore

mysql

oozie

performance_schema

 

在使用Sqoop之前把HDFS和YARN服務全啓動起來，避免出現一些意外的情況