Sqoop 1.4.7 的安装部署(包含测试)

Sqoop 下载地址(这里是1.4.7版本,1.4.7目前是最稳定的版本)

(Sqoop2 的最新版本是 1.99.7。请注意,1.99.7 与 1.4.7 不兼容, 且没有特征不完整)
https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

(sqoop官方帮助文档地址 : http://sqoop.apache.org/docs/1.4.7/index.html)

正文开始了嗷

把 sqoop-1.4.7.bin hadoop-2.6.0.tar.gz 上传到 linux 的/opt/(jar包) 目录下

解压 sqoop-1.4.7.bin hadoop-2.6.0.tar.gz 到/opt/(解压包)/目录下
(这两个包没有就随便搞两个目录就行)

修改/opt/module/ sqoop-1.4.7.bin hadoop-2.6.0/conf 目录下的 sqoop-env-template.sh 名称为 sqoop-env.sh
配置 sqoop-env.sh 文件

export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HIVE_HOME=$HIVE_HOME
export ZOOKEEPER_HOME=$ZOOKEEPER_HOME

(这里 “=” 后面如果配置了全局变量就写 “$全局” ,没有就写刚刚解压的绝对路径, 环境里面有的home属性可以多添加,没有就不配但是 Hadoop和Hive必须要有)

添加 JDBC 驱动

拷贝/opt/(解压包)/mysql-libs/mysql-connector-java-5.1.27 目录下的
mysql-connector-java-5.1.27-bin.jar 到/opt/(解压包)/sqoop/lib/
(这里就是把mysql的这个包放到sqoop的lib下面)

测试

接下来就是验证是否可以(调用一下help)
$ bin/sqoop help
(root用户直接 用 bin/sqoop help 不需要 ‘’$’’)

出现一些 Warning 警告(警告信息已省略),并伴随着帮助命令的输出:
Available commands:

	codegen	Generate code to interact with database records 
	create-hive-table	Import 	a table definition into Hive
	eval	Evaluate a SQL statement and display the results
	export	Export an HDFS directory to a database table
	help	List available commands
	import	Import a table from a database to HDFS import-all-tables	Import tables from a database to HDFS
	import-mainframe	Import datasets from a mainframe server to HDFS 
	job	Work with saved jobs
	list-databases	List available databases on a server 
	list-tables	List available tables in a database
	merge	Merge results of incremental imports
	metastore	Run a standalone Sqoop metastore
	version	Display version information

测试 Sqoop 是否能够成功连接数据库

$ bin/sqoop list-databases --connect jdbc:mysql://(节点名字):3306/ –username root --password 123456
(root用户直接 用 bin/sqoop help 不需要 ‘’$’’)
出现如下输出(结果就mysql里面的数据库,报错的话就没连接上):

information_schema 
metastore
mysql 
performance_schema
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章