Sqoop快速入門系列(1) | Sqoop的簡單介紹及安裝解析

  大家好，我是不溫卜火，是一名計算機學院大數據專業大二的學生，暱稱來源於成語—不溫不火，本意是希望自己性情溫和。作爲一名互聯網行業的小白，博主寫博客一方面是爲了記錄自己的學習過程，另一方面是總結自己所犯的錯誤希望能夠幫助到很多和自己一樣處於起步階段的萌新。但由於水平有限，博客中難免會有一些錯誤出現，有紕漏之處懇請各位大佬不吝賜教！暫時只有csdn這一個平臺，博客主頁：https://buwenbuhuo.blog.csdn.net/

  此篇爲大家帶來的是Sqoop的簡單介紹及安裝解析。

所需文檔等博主已經打包到百度雲，如有需要請自行提取：
鏈接：https://pan.baidu.com/s/1QVJMj1JHQR80UDfqOGrTYw
提取碼：pnxs

---

1. Sqoop的簡單介紹

  Sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql…)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據庫中。
  Sqoop項目開始於2009年，最早是作爲Hadoop的一個第三方模塊存在，後來爲了讓使用者能夠快速部署，也爲了讓開發人員能夠更快速的迭代開發，Sqoop獨立成爲一個Apache項目。

2. sqoop1與sqoop2架構對比

• 1. sqoop1架構
  
• sqoop2架構
  

3. Sqoop原理

  將導入或導出命令翻譯成mapreduce程序來實現。
  在翻譯出的mapreduce中主要是對inputformat和outputformat進行定製。

4. Sqoop的安裝過程

1. 上傳並解壓

• 1. 上傳文檔
  
• 2. 解壓sqoop安裝包到指定目錄

[bigdata@hadoop002 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

// 修改文件夾名稱
[bigdata@hadoop002 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

2. 修改配置文件

Sqoop的配置文件與大多數大數據框架類似，在sqoop根目錄下的conf目錄中。

• 1. 重命名配置文件

[bigdata@hadoop002 conf]$ mv sqoop-env-template.sh sqoop-env.sh

• 2. 修改配置文件

[bigdata@hadoop002 conf]$ vim sqoop-env.sh 


export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase

3. 拷貝JDBC驅動

拷貝jdbc驅動到sqoop的lib目錄下

// 聲明： 驅動在/opt/software/mysql-libs/mysql-connector-java-5.1.27/

[bigdata@hadoop002 mysql-connector-java-5.1.27]$ cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

4. 驗證Sqoop

• 我們可以通過某一個command來驗證sqoop配置是否正確

[bigdata@hadoop002 sqoop]$ bin/sqoop help

5. 測試Sqoop是否能夠成功連接數據庫

[bigdata@hadoop002 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop002:3306 --username root --password 199712

  本次的分享就到這裏了,

---

  好書不厭讀百回，熟讀課思子自知。而我想要成爲全場最靚的仔，就必須堅持通過學習來獲取更多知識，用知識改變命運，用博客見證成長，用行動證明我在努力。
  如果我的博客對你有幫助、如果你喜歡我的博客內容，請“點贊” “評論”“收藏”一鍵三連哦！聽說點讚的人運氣不會太差，每一天都會元氣滿滿呦！如果實在要白嫖的話，那祝你開心每一天，歡迎常來我博客看看。
  碼字不易，大家的支持就是我堅持下去的動力。點贊後不要忘了關注我哦！