如何在hadoop中控制map的個數

hadooop提供了一個設置map個數的參數mapred.map.tasks,我們可以通過這個參數來控制map的個數。但是通過這種方式設置map的個數,並不是每次都有效的。原因是mapred.map.tasks只是一個hadoop的參考數值,最終map的個數,還取決於其他的因素。

     爲了方便介紹,先來看幾個名詞:

block_size : hdfs的文件塊大小,默認爲64M,可以通過參數dfs.block.size設置

total_size : 輸入文件整體的大小

input_file_num : 輸入文件的個數


(1)默認map個數

     如果不進行任何設置,默認的map個數是和blcok_size相關的。

     default_num = total_size / block_size;


(2)期望大小

     可以通過參數mapred.map.tasks來設置程序員期望的map個數,但是這個個數只有在大於default_num的時候,纔會生效。

     goal_num = mapred.map.tasks;


(3)設置處理的文件大小

     可以通過mapred.min.split.size 設置每個task處理的文件大小,但是這個大小只有在大於block_size的時候纔會生效。

     split_size = max(mapred.min.split.size, block_size);

     split_num = total_size / split_size;


(4)計算的map個數

compute_map_num = min(split_num,  max(default_num, goal_num))


     除了這些配置以外,mapreduce還要遵循一些原則。 mapreduce的每一個map處理的數據是不能跨越文件的,也就是說max_map_num <= input_file_num。 所以,最終的map個數應該爲:

     final_map_num = min(compute_map_num, input_file_num)


     經過以上的分析,在設置map個數的時候,可以簡單的總結爲以下幾點:

(1)如果想增加map個數,則設置mapred.map.tasks 爲一個較大的值。

(2)如果想減小map個數,則設置mapred.min.split.size 爲一個較大的值。

(3)如果輸入中有很多小文件,依然想減少map個數,則需要將小文件merger爲大文件,然後使用準則2。

轉自:http://blog.csdn.net/lylcore/article/details/9136555

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章