HDFS的特性和缺點

HDFS特性

1、海量數據存儲: HDFS可橫向擴展,其存儲的文件可以支持PB級別或更高級別的數據存儲。
2、高容錯性:數據保存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴展。當集羣增加新節點之後,namenode也可以感知,進行負載均衡,將數據分發和備份數據均衡到新的節點上。
3、商用硬件:Hadoop並不需要運行在昂貴且高可靠的硬件上。它是設計運行在商用硬件(廉價商業硬件)的集羣上的。(相對於小型機,大型機廉價)
4、大文件存儲:HDFS採用數據塊的方式存儲數據,將數據物理切分成多個小的數據塊。所以再大的數據,切分後,大數據變成了很多小數據。用戶讀取時,重新將多個小數據塊拼接起來。

HDFS缺點

1、不能做到低延遲數據訪問:由於hadoop針對高數據吞吐量做了優化,犧牲了獲取數據的延遲,所以對於低延遲訪問數據的業務需求不適合HDFS。
2、不適合大量的小文件存儲 :由於namenode將文件系統的元數據存儲在內存中,因此該文件系統所能存儲的文件總數受限於namenode的內存容量。根據經驗,每個文件、目錄和數據塊的存儲信息大約佔150字節。因此,如果有一百萬個小文件,每個小文件都會佔一個數據塊,那至少需要300MB內存。如果是上億級別的,就會超出當前硬件的能力。
3、修改文件:。HDFS適合一次寫入,多次讀取的場景。對於上傳到HDFS上的文件,不支持修改文件。Hadoop2.0雖然支持了文件的追加功能,但不建議對HDFS上的文件進行修改。因爲效率低下.
4、不支持用戶的並行寫:同一時間內,只能有一個用戶執行寫操作。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章