ETL工具Sqoop使用

ETL工具Sqoop使用

一:启动集群
Hadoop,Hbase,Hive,Sqoop使用admin用户进行操作。
启动Zookeeper服务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
启动Hadoop集群
在这里插入图片描述
在这里插入图片描述
用jps命令查看
在这里插入图片描述
二:MySQL集群使用root用户进行操作
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
三:mysql->HDFS
MySQL集群使用root用户进行操作。
Hadoop,Hbase,Hive,Sqoop使用admin用户进行操作。
测试
(1)初始化Sqoop服务器连接操作
在这里插入图片描述
注:其中“host”和“port”分别为Sqoop服务器的主机名和服务器所使用的端口号,“port”采用默认的端口号“12000”,“webapp”为指定Sqoop的jetty服务器的标识名称,可以自己定义。
(2)查看服务器连接
在这里插入图片描述
(3)查看所有连接模板信息
在这里插入图片描述
建立MySQL测试表空间,表和数据
a.创建用户sqoop并授权,建立新的数据库
在这里插入图片描述
b.创建表并查询
在这里插入图片描述
c.插入测试语句
在这里插入图片描述
建立MySQL数据库连接
(1) 把MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar”上传到用户家目录的“setups”目录下,该目录为事先自行创建用于存放实训相关软件包的目录。
(2) 将MySQL的数据库连接工具包添加到Sqoop的“extra”目录下
在这里插入图片描述
(3)创建数据库连接
在这里插入图片描述
(4)建立HDFS文件系统连接
在这里插入图片描述
在这里插入图片描述
(5)在HDFS创建用于存放导出的数据文件的目录
在这里插入图片描述
(6)创建数据传输事务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
四:练习
在admin用户家目录/home/admin/新建一个文本文件test001.txt
在这里插入图片描述
从本地文件系统复制文件到HDFS文件系统
在这里插入图片描述
在MySQL提前创新好表结构
在这里插入图片描述
在这里插入图片描述
创建job并执行导入到mysql
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在mysql查询导入的数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章