Hadoop HDFS 文件塊大小

HDFS中的文件在物理上是分塊存儲(Block),塊的大小可以通過配置參數(dfs.blocksize)來配置,默認大小在Hadoop2.x/3.x版本中是128M,1.x版本中是64M.
建議配置爲物理機硬盤每秒的讀取速度,如機械硬盤則建議爲128M,SSD則配置爲256M。

  • HDFS的塊設置太小,會增加尋址時間,程序一直在找塊的開始位置。
  • 如果塊設置的太大,從磁盤傳輸數據的時間會明顯大於定位這個塊開始位置所需的時間,導致程序在處理這塊數據時,會非常慢
  • HDFS塊的大小設置主要取決於硬盤傳輸速率(讀的速度)
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章