Hadoop核心組件:四步通曉HDFS

Hadoop分佈式文件系統(HDFS)被設計成適合運行在通用硬件上的分佈式文件系統,它提供高吞吐量來訪問應用程序的數據,適合那些有着超大數據集的應用程序,那麼在實際應用中我們如何來操作使用呢?

一、HDFS操作方式:

1、  命令行操作

FsShell
$ hdfs dfs

wKioL1hTdVnhWM4WAABKRwdVQpQ363.png-wh_50

2、 其他的計算框架-如spark

通過URI,比如: hdfs://nnhost:port/file…,調用HDFS的協議、主機、端口或者對外提供的服務媒、以及文件,在spark的程序中實現對HDFS的訪問。

wKiom1hTdYuD2V8hAABvArCKg90640.png-wh_50

 

3、  其他程序:

(1)Java的API,藉助於其他的一些計算框架或者分析工具都可以訪問HDFS,如Sqoop加載數據到HDFS,Flume加載日誌到HDFS,Impala基於HDFS進行查詢

(2)REST API:通過HTP的方式訪問HDFS。

wKiom1hTdbngmdaAAACzmJ42gzM133.png-wh_50

 

二、重點關注HDFS命令行的方式:

    (1)從本地磁盤拷貝文件foo.txt到HDFS的用戶目錄

wKiom1hTdeqwCKGXAAAHIseuFZ8920.png-wh_50

   文件將會拷貝到/user/username/foo.txt

(2)獲取用戶home目錄的目錄列表

wKioL1hTdgGRAK4QAAAEZqCOjV8076.png-wh_50

(3)獲取HDFS的根目錄

wKiom1hTdhDBnIXcAAAFKCkOFL8131.png-wh_50

(4)顯示HDFS文件/user/fred/bar.txt內容

wKioL1hTdhywNOz2AAAozirOHUU430.png-wh_50

(5)拷貝文件到本地磁盤,命名爲baz.txt

wKiom1hTdivwJ7TkAAAvUZATYJM967.png-wh_50

(6)在用戶home目錄下創建input目錄

wKiom1hTdkiimXqDAAAddNJbKb0103.png-wh_50

     (7)刪除input_old目錄和所有裏面的內容

wKiom1hTdlmgX_qEAAAfM5Jg_j8276.png-wh_50

 

三、通過HUe進行操作。

通過File Browser可以瀏覽和管理HDFS的目錄和文件,也可以創建、移動、重命名、修改、上傳、下載和刪除目錄和文件,以及查看文件內容

wKiom1hTdpWgv16HAAC-KAfi_lg396.png-wh_50

 

四、HDFS推薦

HDFS是所有數據的倉庫,在使用HDFS的時候應該對其目錄(如日誌目錄、數據目錄)進行合理地規劃和組織。最佳實踐方式是定義標準目錄結構以及把階段臨時的數據分開。規劃示例如下:

(1)/user-用戶目錄,存放屬於個別用戶的數據和配置信息

(2)/etl-ETL階段的數據

(3)/tmp-臨時生成的用戶在用戶間共享的數據

(4)/data-整個組織用來分析的和處理的數據集

(5)/app-非數據文件,比如:配置文件,JAR文件,SQL文件等

 

 

    掌握以上四步對於應用HDFS有着重要的作用和意義,但是大家應該根據自己的情況循序漸進,注重實踐,纔可以不斷取得進步。我平時喜歡找一些案例進行分析,從而鍛鍊提升自己的技能,這個比較喜歡“大數據cn ”這個微信服務平臺。但是真知更多源於實踐,只有學習和了解他人的經驗,纔可以走的更高更遠,我愛關注微信訂閱號“大數據時代學習中心”,研究各位數據大牛的經驗分享,對於促進我個人的技術成長有着非凡的意義。

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章