hive数据导出到mysql

在MySQL中创建名为xiandian的数据库,在xiandian数据库中创建xd_phy_course数据表,其数据表结构如表1所示。使用Hive工具来创建数据表xd_phy_course,将phy_course_xd.txt导入到该表中,其中xd_phy_course表的数据结构如表2所示。使用Sqoop工具将hive数据仓库中的xd_phy_course表导出到master节点的MySQL中xiandain 数据库的xd_phy_course表。将以上操作命令和输出结果以文本形式提交到答题框中。

在这里插入图片描述

注释在最后,可以先看注释,再看步骤

1,先把txt文件传到本体上

[root@master ~]# ll
总用量 12314168
-rw-------. 1 root root       1245 1月  26 23:00 anaconda-ks.cfg
-rw-r--r--. 1 root root 4329570304 1月  26 23:05 CentOS-7-x86_64-DVD-1511.iso
-rw-r--r--. 1 root root      14624 1月  27 02:38 m1.java
-rw-r--r--. 1 root root      91494 4月   2 2019 ==phy_course_xd.txt==
-rw-r--r--. 1 root root 8280023040 1月  26 23:07 XianDian-BigData-v2.2.iso
[root@master ~]# 

2,创建一个名为xiandian的数据库,然后创建一个名为m1的表

create database xiandian;
create table m1 (stname varchar(50),stID int(50),class varchar(50),opt_cour varchar(50));

3.创建一个hive表,名为h1,然后导入数据到hive表

create table h1 (stname string,stID int,class string,opt_cour string) row format delimited fields terminated by '\t' lines terminated by '\n';
load data local inpath '/root/phy_course_xd.txt' into table h1;

用sqoop工具将hive中的数据导出到mysql表中(这里指定hive的数据库,所以用的默认的)

 sqoop export --connect jdbc:mysql://localhost:3306/xiandian --username root --password bigdata --table m1 --hcatalog-table h1;

注释

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。

第一种是将hive上某张表的全部数据导入到mysql对应的表中。

第二种是将hive上某张表中的部分数据导入到mysql对应的表中。

两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下:

1.全部导入

Sqoop export --connect jdbc:mysql://127.0.0.1:3306/dbname --username mysql(mysql用户名) --password 123456(密码) --table student(mysql上的表) --hcatalog-database sopdm(hive上的schema) --hcatalog-table student(hive上的表)

2.部分导入

Sqoop export --connect jdbc:mysql://127.0.0.1:3306/dbname --username mysql(mysql用户名) --password 123456(密码) --table student(mysql上的表) --columns “id,name,age” --hcatalog-database sopdm(hive上的schema) --hcatalog-table student(hive上的表)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章