Sqoop新品來了


Sqoop儘管穩定的應用於生產環境很多年,但是它自身存在的一些缺陷給實際操作帶來了不便。Sqoop2便成爲了研究使用的對象,那麼Sqoop2有什麼優勢呢?

首先我們先來了解一下Sqoop的使用情況,使用Sqoop數據不會出現丟失,而且Sqoop功能強大,可以將數據導到HDFS,Hbase,Hive等各種連接器,但Sqoop是純客戶端的體系架構,這樣就會帶來很多的問題:

(1)客戶端需要連接關係型數據庫,這就需要每一個客戶端都配置一個連接器。客戶端越多,那麼相應的每個客戶端相應的配置也就越多,操作麻煩。

(2)需要用戶的用戶密碼,可是Sqoop在執行操作的過程中,密碼會明文的出現,操作不安全。

(3)很難在外部應用中集成命令行藉口。

(4)跟JDBC語義緊密結合,無法訪問NoSQL數據庫

wKioL1hgvriiAilXAAELFq***-g469.png-wh_50

而Sqoop2就是在原有Sqoop基礎上增加了Server端,那麼我們是不是可以把連接器統一配置到Server端,是不是可以把連接數據庫的配置項統一維護起來,是不是可以把用戶的密碼統一的保存起來?當然,Sqoop2可以很好地解決這些問題。Sqoop2的優勢:

 (1)    客戶端只需要連接到Sqoop服務器

 (2)    管理員配置好DB連接

 (3)   最終用戶不再需要處理數據庫認證

 (4)   集中審計跟蹤

 (5)   更好的資源管理

 (6)   可以通過CLI,REST API和Web UI訪問Sqoop服務

wKiom1hgvy7BhYu1AAClsEkAVW8771.png-wh_50

可是目前Sqoop2還在開發當中,它的方向是好的,但是它的一些功能和特性還沒有出現在我們的實際應用中,比如Sqoop的一些功能在Sqoop2裏面還不能夠使用,像導數據到Hbase就不能使用,儘管Sqoop2跟Sqoop沒有完全相等的特性,但是它已實現的特性被認爲是穩定的。那麼在實際使用中,Sqoop和Sqoop2如何選擇使用呢?優先推薦使用Sqoop2,除非缺失某些特性再去選擇使用Sqoop。

這就是我對於sqoop2的一些認知和理解,但是sqoop2畢竟還不是一款成熟的產品,也期待我們大家可以一起交流共享。我自平時喜歡關注微信公衆號“大數據cn”“大數據時代學習中心”,裏面有很多經典介紹,對於汲取各方面知識來講還不錯。大家在平時的自我提升中,也要多交流溝通,對於改善自己的知識架構來說也有着重要的促進意義。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章