Hadoop中hdfs如何存儲文件

安裝Hadoop單機版

Hadoop文件系統操作指令

從安裝Hadoop 單機版的配置說起

在這裏配置了Hadoop的文件目錄

1. 啓動Hadoop 並上傳文件

    上傳文件命令:hadoop fs -put hadoop-2.9.2.tar.gz hdfs://hdgroup01:9000/

    

    

    可以看到已經上傳了文件了

2. 刪除本地文件

  

如果刪除後你在瀏覽器刷新頁面 然後還能下載 說明 肯定存在其他地方 

使用命令下載也可以:hadoop fs -get hdfs://hdgroup01:9000/hadoop-2.9.2.tar.gz

3. hdfs 文件存放的位置

通過查看 安裝時配置的hadoop文件目錄  上傳文件後的結果

這個dfs 應該見過的 就是在格式化namenode的時候 在我們配置的文件中創建了dfs 文件夾

4. 上傳一個349.5M 的文件 

5. 進到hadoop 本地存儲文件中查看 存儲格式

上傳的文件爲349.47M 被切分成了 三塊 因爲是單機版 所以都存放到了 這臺主機的文件系統中

可以看到 hadoop 塊大小爲128M(默認) 超過128M的文件會被切成不同的塊存放

 

總結

    1. hdfs是是通過分佈式集羣來存儲文件,爲客戶端提供了一個便捷的訪問方式 虛擬的目錄結構

    2. 文件存儲到hdfs集羣中的時候是被切分成block的 默認爲128M

    3. 文件的block 存放在若干臺datanode節點中

    4. hdfs文件系統中的文件與真實的block之間有映射關係,由namenode管理

    5. 每個block 在集羣中會存儲多個副本,好處是可以提高數據的可靠性,還可以提高訪問的吞吐量。

 

 

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章