但是通過這種方式設置map的個數,並不是每次都有效的。原因是mapred.map.tasks只是一個hadoop的參考數值,最終map的個數,還取決於其他的因素。 爲了方便介紹,先來看幾個名詞: block_size : hdfs的文件塊大小,默認爲64M,可以通過參數dfs.block.size設置 total_size : 輸入文件整體的大小 input_file_num : 輸入文件的個數 (1)默認map個數 如果不進行任何設置,默認的map個數是和blcok_size相關的。 default_num = total_size / block_size; (2)期望大小 可以通過參數 mapred.map.tasks來設置程序員期望的map個數,但是這個個數只有在大於default_num的時候,纔會生效。 goal_num =mapred.map.tasks; (3)設置處理的文件大小 可以通過mapred.min.split.size 設置每個task處理的文件大小,但是這個大小只有在大於 block_size的時候纔會生效。 split_size = max( mapred.min.split.size, block_size);split_num = total_size / split_size; (4)計算的map個數 compute_map_num = min(split_num, max(default_num, goal_num)) 除了這些配置以外,mapreduce還要遵循一些原則。 mapreduce的每一個map處理的數據是不能跨越文件的,也就是說max_map_num <= input_file_num。 所以,最終的map個數應該爲: final_map_num = min(compute_map_num, input_file_num) 經過以上的分析,在設置map個數的時候,可以簡單的總結爲以下幾點: (1)如果想增加map個數,則設置mapred.map.tasks 爲一個較大的值。 (2)如果想減小map個數,則設置mapred.min.split.size 爲一個較大的值。
3.1 減小Map-Reduce job 啓動時創建的Mapper數量
當處理大批量的大數據時,一種常見的情況是job啓動的mapper數量太多而超出了系統限制,導致Hadoop拋出異常終止執行。解決這種異常的思路是減少mapper的數量。具體如下:
3.1.1 輸入文件size巨大,但不是小文件
這種情況可以通過增大每個mapper的input size,即增大minSize或者增大blockSize來減少所需的mapper的數量。增大blockSize通常不可行,因爲當HDFS被hadoop namenode -format之後,blockSize就已經確定了(由格式化時dfs.block.size決定),如果要更改blockSize,需要重新格式化HDFS,這樣當然會丟失已有的數據。所以通常情況下只能通過增大minSize,即增大mapred.min.split.size的值。
3.1.2 輸入文件數量巨大,且都是小文件
所謂小文件,就是單個文件的size小於blockSize。這種情況通過增大mapred.min.split.size不可行,需要使用FileInputFormat衍生的CombineFileInputFormat將多個input path合併成一個InputSplit送給mapper處理,從而減少mapper的數量。具體細節稍後會更新並展開。
3.2 增加Map-Reduce job 啓動時創建的Mapper數量
增加mapper的數量,可以通過減小每個mapper的輸入做到,即減小blockSize或者減小mapred.min.split.size的值。