Sqoop 1.4.7 的安裝部署(包含測試)

Sqoop 下載地址(這裏是1.4.7版本,1.4.7目前是最穩定的版本)

(Sqoop2 的最新版本是 1.99.7。請注意，1.99.7 與 1.4.7 不兼容， 且沒有特徵不完整)
https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

(sqoop官方幫助文檔地址 : http://sqoop.apache.org/docs/1.4.7/index.html)

正文開始了嗷

把 sqoop-1.4.7.bin hadoop-2.6.0.tar.gz 上傳到 linux 的/opt/(jar包) 目錄下

解壓 sqoop-1.4.7.bin hadoop-2.6.0.tar.gz 到/opt/(解壓包)/目錄下
(這兩個包沒有就隨便搞兩個目錄就行)

修改/opt/module/ sqoop-1.4.7.bin hadoop-2.6.0/conf 目錄下的 sqoop-env-template.sh 名稱爲 sqoop-env.sh
配置 sqoop-env.sh 文件

export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HIVE_HOME=$HIVE_HOME
export ZOOKEEPER_HOME=$ZOOKEEPER_HOME

(這裏 “=” 後面如果配置了全局變量就寫 “$全局” ,沒有就寫剛剛解壓的絕對路徑, 環境裏面有的home屬性可以多添加,沒有就不配但是 Hadoop和Hive必須要有)

添加 JDBC 驅動

拷貝/opt/(解壓包)/mysql-libs/mysql-connector-java-5.1.27 目錄下的
mysql-connector-java-5.1.27-bin.jar 到/opt/(解壓包)/sqoop/lib/
(這裏就是把mysql的這個包放到sqoop的lib下面)

測試

接下來就是驗證是否可以(調用一下help)
$ bin/sqoop help
(root用戶直接 用 bin/sqoop help 不需要 ‘’$’’)

出現一些 Warning 警告（警告信息已省略），並伴隨着幫助命令的輸出：
Available commands:

	codegen	Generate code to interact with database records 
	create-hive-table	Import 	a table definition into Hive
	eval	Evaluate a SQL statement and display the results
	export	Export an HDFS directory to a database table
	help	List available commands
	import	Import a table from a database to HDFS import-all-tables	Import tables from a database to HDFS
	import-mainframe	Import datasets from a mainframe server to HDFS 
	job	Work with saved jobs
	list-databases	List available databases on a server 
	list-tables	List available tables in a database
	merge	Merge results of incremental imports
	metastore	Run a standalone Sqoop metastore
	version	Display version information

測試 Sqoop 是否能夠成功連接數據庫

$ bin/sqoop list-databases --connect jdbc:mysql://(節點名字):3306/ –username root --password 123456
(root用戶直接 用 bin/sqoop help 不需要 ‘’$’’)
出現如下輸出(結果就mysql裏面的數據庫,報錯的話就沒連接上)：

information_schema 
metastore
mysql 
performance_schema