一、sqoop從mysql導入導出數據到hdfs、hive、hbase

一、sqoop介紹

Sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql…)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據庫中。

sqoop原理
將導入或導出命令翻譯成mapreduce程序來實現。
在翻譯出的mapreduce中主要是對inputformat和outputformat進行定製。

sqoop安裝

1、下載地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

2、上傳tar解壓到指定目錄 /opt/module/sqoop

3、修改配置文件

1）修改文件名
$ mv sqoop-env-template.sh sqoop-env.sh

2）修改sqoop-env.sh	 添加如下配置

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

export HIVE_HOME=/opt/module/hive

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10

export HBASE_HOME=/opt/module/hbase

4、拷貝一個mysql 驅動到 sqoop/lib 目錄下

$ cp mysql-connector-java-5.1.27-bin.jar \
/opt/module/sqoop/lib/

5、驗證mysql
我們可以通過某一個command來驗證sqoop配置是否正確：

$ bin/sqoop help
出現一些Warning警告（警告信息已省略），並伴隨着幫助命令的輸出：
Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  import-mainframe    Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases        List available databases on a server
  list-tables           List available tables in a database
  merge              Merge results of incremental imports
  metastore           Run a standalone Sqoop metastore
  version            Display version information

6、測試sqoop連接mysql庫

bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password root

出現如下輸出數據庫列表：
information_schema
metastore
mysql
oozie
performance_schema

二、導入數據到HDFS

事前在mysql中準備一張有數據的表

$ mysql -uroot -proot
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

1、全表導入

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

2、查詢導入-支持連表查詢導入

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

提示：must contain '$CONDITIONS' in WHERE clause.
如果query後使用的是雙引號，則$CONDITIONS前必須加轉移符，防止shell識別爲自己的變量。

3、導入指定列

方式一：通過查詢導入，只查詢需要導入的列

方式二：

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

提示：columns中如果涉及到多列，用逗號分隔，分隔時不要添加空格

4、使用sqoop關鍵字篩選查詢導入數據

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

5、myql導入到hive，自動創建hive表

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

提示：該過程分爲兩步，第一步將數據導入到HDFS，第二步將導入到HDFS的數據遷移到Hive倉庫，第一步默認的臨時目錄是/user/root/表名

6、導入到HBase

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--table company \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
--split-by id

提示：sqoop1.4.6只支持HBase1.0.1之前的版本的自動創建HBase表的功能

解決方案：手動創建HBase表

hbase> create 'hbase_company,'info'

在HBase中scan這張表得到如下內容
hbase> scan ‘hbase_company’

三、數據導出

1、hive\hdfs 導出到mysql

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

提示：Mysql中如果表不存在，不會自動創建

2、hbase 導出到mysql

詳細介紹：https://www.cnblogs.com/felixzh/p/11362183.html

導出過程：
hbase表是列試存儲，所以無法直接導出到mysql中，所以先有hbase錶轉爲hive表再導出

a) Mysql創建空表，導出不會自動建表
mysql> create table company.employee(rowkey int(11),id int(11),name varchar(20),primary key (id));

b) hbase創建內部表
hbase(main):001:0> create 'employee','info'
hbase(main):002:0> put 'employee',1,'info:id',1
hbase(main):003:0> put 'employee',1,'info:name','peter'
hbase(main):004:0> put 'employee',2,'info:id',2
hbase(main):005:0> put 'employee',2,'info:name','paul'

c) hive創建外部表
CREATE EXTERNAL TABLE h_employee (key int,id int,name string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" =
":key,info:id, info:name"
)
TBLPROPERTIES( "hbase.table.name" = "employee",
"hbase.mapred.output.outputtable" = "employee");

d) hive創建內部表
CREATE TABLE test.employee(key INT,id INT,name STRING);

e) hive外部表的數據導入內部表中
insert overwrite table employee select * from h_employee;

f) sqoop導出hive表至mysql中
[root@master bin]# sqoop export -connect jdbc:mysql://hadoop102:3306/company -username root -password root -table employee