hbase中region拆分而父region未刪除，導致spark讀取hbase時重複讀取數據，統計結果變多

使用spark的newAPIHadoopRDD方法讀取hbase數據的時候，在hbase有父region未刪除的情況下會導致數據重複讀取。查看spark的executor日誌可以發現未刪除的父region會定位到其中的某一個女兒region中。從而導致數據重複讀取。日誌表現爲input split信息中有重複的region name。因此我們需要自定義表讀取類來避免重複讀取。

我們只需要自定義類繼承TableInputFormat，然後重寫getSplits方法，刪除重複的region即可。

示例代碼：

public class SelfTableInputFormat extends TableInputFormat {

    static final Logger logger = LogManager.getLogger(SelfTableInputFormat.class);

    @Override
    public List<InputSplit> getSplits(JobContext context) throws IOException {
        logger.info("--------------SelfTableInputFormat-------------------");
        List<InputSplit> result = super.getSplits(context);

        if (result.isEmpty()) {
            return result;
        }
        Configuration conf = context.getConfiguration();
        // 混亂排序了，需要通過startkey跟endkey來判斷使用範圍最小的那個
        // 暫時不做，
        if ((conf.get(SHUFFLE_MAPS) != null) && "true".equals(conf.get(SHUFFLE_MAPS).toLowerCase(Locale.ROOT))) {
            return removeSameSplitForShuffle(result);
        }

        return removeSameSplitForOrder(result);
    }

    /**
     * InputSplit是按照從小到大排序的
     * @param result
     * @return
     */
    private List<InputSplit> removeSameSplitForOrder(List<InputSplit> result) {
        int count = result.size();
        // 去除重複的InputSplit，而且女region替代父region
        InputSplit tmp;
        TableSplit tableSplit;
        Map<Integer, InputSplit> noRepeat = new TreeMap<>();
        Map<String, Integer> regionNameMap = new HashMap<>();
        for (int i = 0, j = result.size(); i < j; i++) {
            tmp = result.get(i);
            if (tmp instanceof TableSplit) {
                tableSplit = (TableSplit) tmp;
                String regionName = tableSplit.getEncodedRegionName();
                logger.info("tableSplit region encodedRegionName:" + regionName);
                Integer ori = null;
                if (regionNameMap.containsKey(regionName)) {
                    ori = regionNameMap.get(regionName);
                } else {
                    regionNameMap.put(regionName, i);
                }
                if (ori != null) {
                    noRepeat.put(ori, tmp);
                } else {
                    noRepeat.put(i, tmp);
                }
            }
        }
        if (noRepeat.size() == result.size()) {
            return result;
        }
        result = new ArrayList<>();
        for (Entry<Integer, InputSplit> entry : noRepeat.entrySet()) {
            result.add(entry.getValue());
        }
        logger.info("remove zero region count:" + (count - result.size()));
        return result;
    }
    
    /**
     * InputSplit是打亂的無須的
     * @param result
     * @return
     */
    private List<InputSplit> removeSameSplitForShuffle(List<InputSplit> result){
        return result;
    } 
}