Sqoop 介紹 安裝 應用

Sqoop 介紹 安裝 應用

總體介紹

Sqoop簡單介紹

1.1 概述

作用：導入導出數據
sqoop是apache旗下一款“Hadoop和關係數據庫服務器之間傳送數據”的工具。
導入數據：MySQL，Oracle導入數據到Hadoop的HDFS、HIVE、HBASE等數據存儲系統；
導出數據：從Hadoop的文件系統中導出數據到關係數據庫

1.2 工作機制

本質利用mapreduce來實現數據導入導出
將導入或導出命令翻譯成mapreduce程序來實現
在翻譯出的mapreduce中主要是對inputformat和outputformat進行定製

2.sqoop安裝

安裝sqoop的前提是已經具備java和hadoop的環境

2.1、下載並解壓

在https://mirrors.cnnic.cn/apache/下載

cd ~/apps
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6

2、修改配置文件

cd ~/apps/sqoop-1.4.6/conf
mv sqoop-env-template.sh sqoop-env.sh
打開sqoop-env.sh並編輯下面幾行：
export HADOOP_COMMON_HOME=/root/apps/hadoop-2.6.4/ 
export HADOOP_MAPRED_HOME=/root/apps/hadoop-2.6.4/
export HIVE_HOME=/root/apps/apache-hive-1.2.1-bin

3、加入mysql的jdbc驅動包

cp  /root/apps/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.34_1.jar   /root/apps/sqoop-1.4.6/lib/

3.sqoop 實戰 數據導入導出

在另外一篇博客中詳細講解

• 導入到hdfs
• 導入到hive表
• 導出