圖像跟蹤與識別-NMS非極大值抑制學習筆記

NMS（non maximum suppression），中文名非極大值抑制，在很多計算機視覺任務中都有廣泛應用，如：邊緣檢測、目標檢測等。

這裏主要以人臉檢測中的應用爲例，來說明NMS，並給出Matlab和C++示例程序。

人臉檢測的一些概念

（1） 絕大部分人臉檢測器的核心是分類器，即給定一個尺寸固定圖片，分類器判斷是或者不是人臉；

（2）將分類器進化爲檢測器的關鍵是：在原始圖像上從多個尺度產生窗口，並resize到固定尺寸，然後送給分類器做判斷。最常用的方法是滑動窗口。

以下圖爲例，由於滑動窗口，同一個人可能有好幾個框(每一個框都帶有一個分類器得分)

而我們的目標是一個人只保留一個最優的框：

於是我們就要用到非極大值抑制，來抑制那些冗餘的框： 抑制的過程是一個迭代-遍歷-消除的過程。

（1）將所有框的得分排序，選中最高分及其對應的框：

（2）遍歷其餘的框，如果和當前最高分框的重疊面積(IOU)大於一定閾值，我們就將框刪除。

（3）從未處理的框中繼續選一個得分最高的，重複上述過程。

下面給出MATLAB下的快速NMS代碼，並帶有詳細的註釋：

%% NMS:non maximum suppression
function pick = nms(boxes,threshold,type)
% boxes: m x 5,表示有m個框，5列分別是[x1 y1 x2 y2 score]
% threshold: IOU閾值
% type：IOU閾值的定義類型

    % 輸入爲空，則直接返回
    if isempty(boxes)
      pick = [];
      return;
    end

    % 依次取出左上角和右下角座標以及分類器得分(置信度)
    x1 = boxes(:,1);
    y1 = boxes(:,2);
    x2 = boxes(:,3);
    y2 = boxes(:,4);
    s = boxes(:,5);

    % 計算每一個框的面積
    area = (x2-x1+1) .* (y2-y1+1);

    %將得分升序排列
    [vals, I] = sort(s);

    %初始化
    pick = s*0;
    counter = 1;

    % 循環直至所有框處理完成
    while ~isempty(I)
        last = length(I); %當前剩餘框的數量
        i = I(last);%選中最後一個，即得分最高的框
        pick(counter) = i;
        counter = counter + 1;  

        %計算相交面積
        xx1 = max(x1(i), x1(I(1:last-1)));
        yy1 = max(y1(i), y1(I(1:last-1)));
        xx2 = min(x2(i), x2(I(1:last-1)));
        yy2 = min(y2(i), y2(I(1:last-1)));  
        w = max(0.0, xx2-xx1+1);
        h = max(0.0, yy2-yy1+1); 
        inter = w.*h;

        %不同定義下的IOU
        if strcmp(type,'Min')
            %重疊面積與最小框面積的比值
            o = inter ./ min(area(i),area(I(1:last-1)));
        else
            %交集/並集
            o = inter ./ (area(i) + area(I(1:last-1)) - inter);
        end

        %保留所有重疊面積小於閾值的框，留作下次處理
        I = I(find(o<=threshold));
    end
    pick = pick(1:(counter-1));
end