Sqoop定时增量导入mysql数据到hdfs(hive)

需求

有2张大的mysql表，量级分别是1亿和4.5亿（太大了，DBA的同学正在考虑分表），而且数据是增量的，需要写spark任务做处理，直接读取mysql有点吃力，想通过sqoop定时增量直接导入hive，然后spark sql再与hive交互，能避免mysql的很多瓶颈，研究好几天sqoop定时任务，使用的是sqoop1，版本是sqoop-1.4.6-cdh5.7.0。

1. 创建并执行sqoop job：

sqoop job -delete torderincrementjob //先删除之前的job

1.  
   sqoop job --create torderincrementjob -- import \
2.  
   --connect jdbc:mysql://172.16.*.*:3306/*?useCursorFetch=true \
3.  
   --username *\
4.  
   --password-file /input/sqoop/pwd/109mysql.pwd \
5.  
   --target-dir /mysqldb/t_order \
6.  
   --table t_order \
7.  
   --fields-terminated-by "\t" \
8.  
   --lines-terminated-by "\n" \
9.  
   --null-string '\\N' \
10.  
    --null-non-string '\\N' \
11.  
    --incremental append \
12.  
    --check-column id \
13.  
    --last-value 1281 \
14.  
    -m 1

其中：
--password-file指定hdfs上存放的密码
--fields-terminated-by "\t" \ 指定列分隔符，即制表符
--lines-terminated-by "\n" \ 指定行分隔符，及换行符
--split-by id \ 指定分割的字段
--null-string '\N' \ 指定string类型到hive里的值为NULL
--null-non-string '\N' \ 指定非string类型到hive里的值为NULL
--incremental append
--check-column id
--last-value 1281
以上3个参数组合使用做增量
创建完成后，执行这个job：sqoop job -exec torderincrementjob会看到在日志里有如下select语句：
SELECT MIN(id), MAX(id) FROM t_order WHERE ( id >= '1281' AND id < '100701508' )，也就是last-value指定的id，sqoop会自己维护记录，下次再执行这个任务，起始id就是100701508，每次都是从上次执行的id到当前id的区间增量，这样就能通过crontab做定时任务，定时增量导入到hdfs
每次执行sqoop都会更新last-value的值，下次从新的值开始，以下是我从3次打印的日志里截取的：
Lower bound value: 1281
Upper bound value: 100701508
Lower bound value: 100701508
Upper bound value: 100703035
Lower bound value: 100703035
Upper bound value: 100704475
第一次执行完job后hdfs就有数据了，可以在命令行或者通过50070查看

2. 在hive中创建外部表关联HDFS上的数据：

1.  
   CREATE external TABLE `t_order`(
2.  
   `id` bigint,
3.  
   `serial` string,
4.  
   `product_id` int,
5.  
   `product_type` tinyint,
6.  
   `product_name` string,
7.  
   `quantity` double,
8.  
   `buyer_id` bigint,
9.  
   `payer_id` bigint,
10.  
    `price` double,
11.  
    `vip_price` double,
12.  
    `settle_price` double,
13.  
    `currency` string,
14.  
    `payer_level` tinyint,
15.  
    `status` tinyint,
16.  
    `pay_mode` tinyint,
17.  
    `payment_serial` string,
18.  
    `client_type` string,
19.  
    `app_type` tinyint,
20.  
    `seller_id` string,
21.  
    `partner_id` int,
22.  
    `reference` string,
23.  
    `channel_source` string,
24.  
    `note` string,
25.  
    `expiration_time` string,
26.  
    `operator` string,
27.  
    `create_time` string,
28.  
    `pay_time` string,
29.  
    `update_time` string)
30.  
    ROW FORMAT DELIMITED
31.  
    FIELDS TERMINATED BY '\t'
32.  
    LINES TERMINATED BY '\n'
33.  
    LOCATION
34.  
    'hdfs://golive-master:8020/mysqldb/t_order'

这时候就可以通过hive查询hdfs上的数据了

select * from golivecms20.t_order limit 10;

3. crontab定时任务

创建如下3个文件:

timermysqltohdfs.cron //定时任务
timermysqltohdfs.sh //脚本文件
timermysqltohdfs.log //日志文件

1.  
   timermysqltohdfs.sh：
2.  
   #!/bin/sh
3.  
   current_time=$(date +%Y%m%d%H%M%S)
4.  
   echo $current_time >> /data/bigdata/app/sqoopjob/timermysqltohdfs.log
5.  
   echo ............................>> /data/bigdata/app/sqoopjob/timermysqltohdfs.log
6.  
   #t_order表同步
7.  
   /data/bigdata/sqoop-1.4.6-cdh5.7.0/bin/sqoop job -exec torderincrementjob
8.  
   #t_userlogout表同步
9.  
   /data/bigdata/sqoop-1.4.6-cdh5.7.0/bin/sqoop job -exec tuserlogoutincrementjob
10.  
     
11.  
    timermysqltohdfs.cron（每天1点、7点、13点、19点定时执行）：
12.  
    00 1,7,13,19 * * * /bin/bash /data/bigdata/app/sqoopjob/timermysqltohdfs.sh >> /data/bigdata/app/sqoopjob/timermysqltohdfs.log 2>&1
13.  
     

---

另一个表t_userlogout也是一样，相关命令如下：
创建job:

1.  
   sqoop job --create tuserlogoutincrementjob -- import \
2.  
   --connect jdbc:mysql://172.16.*.*:3306/*?useCursorFetch=true \
3.  
   --username *\
4.  
   --password-file /input/sqoop/pwd/68mysql.pwd \
5.  
   --target-dir /mysqldb/t_userlogout \
6.  
   --table t_userlogout \
7.  
   --fields-terminated-by "\t" \
8.  
   --lines-terminated-by "\n" \
9.  
   --null-string '\\N' \
10.  
    --null-non-string '\\N' \
11.  
    --incremental append \
12.  
    --check-column ID \
13.  
    --last-value 1 \
14.  
    -m 1

首次执行：sqoop job -exec tuserlogoutincrementjob
在hive创建外部表：

1.  
   CREATE external TABLE `t_userlogout`(
2.  
   `ID` bigint,
3.  
   `GoliveId` string,
4.  
   `InstalmentCode` string,
5.  
   `ManufacturerCode` string,
6.  
   `MacAddress` string,
7.  
   `AreaCode` string,
8.  
   `IpAddress` string,
9.  
   `LoginTime` string,
10.  
    `LogoutTime` string,
11.  
    `DeviceID` string,
12.  
    `VersionType` string,
13.  
    `Version` string,
14.  
    `Platform` string,
15.  
    `PartnerID` int,
16.  
    `BranchType` int,
17.  
    `LicenseProviderCode` string)
18.  
    ROW FORMAT DELIMITED
19.  
    FIELDS TERMINATED BY '\t'
20.  
    LINES TERMINATED BY '\n'
21.  
    LOCATION
22.  
    'hdfs://golive-master:8020/mysqldb/t_userlogout'

后边就是定时任务，增量导入了

附录

除了指定--table导入表的全部字段，也可以通过--query指定sql:

1.  
   --query "select ID,GoliveId,InstalmentCode,ManufacturerCode,MacAddress,IpAddress,LoginTime,VersionType,Version,PartnerID from t_userlogout where $CONDITIONS" \
2.  
    
3.  
   --query "select id,serial,product_id,product_type,product_name,buyer_id,price,vip_price,settle_price,status,pay_mode,client_type,seller_id,partner_id,channel_source,expiration_time,create_time,pay_time,update_time from t_order where $CONDITIONS" \