文章標題

最近一直在關注視頻中人體識別、訓練及跟蹤這塊的實現，想在opencv上實現基本操作，因此也看了很多大牛的博客和相關的論文，現在對出現的一些問題進行簡單的記錄。
首先對圖片中的人體進行識別，目前主要的是HOG+級聯SVM分類器進行，但是目前的代碼誤差還是很大，漏檢錯檢還是頻出，正在進行調整：
（1）一開始在網上找了一些代碼，代碼是使用之前說的HOG+級聯SVM分類器，但是在編譯的過程中會發現，它使用的是代碼文件中已經生成好的.xml文件，所以就想着能不能自己訓練一個分類器，並將其保存在自己的.xml文件中，所以進行了一些實驗。
1、先上原始代碼：

#include <iostream>
#include <fstream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/ml/ml.hpp>

using namespace std;
using namespace cv;

#define PosSamNO 2400    //正樣本個數
#define NegSamNO 12000    //負樣本個數

#define TRAIN false    //是否進行訓練,true表示重新訓練，false表示讀取xml文件中的SVM模型
#define CENTRAL_CROP true   //true:訓練時，對96*160的INRIA正樣本圖片剪裁出中間的64*128大小人體

//HardExample：負樣本個數。如果HardExampleNO大於0，表示處理完初始負樣本集後，繼續處理HardExample負樣本集。
//不使用HardExample時必須設置爲0，因爲特徵向量矩陣和特徵類別矩陣的維數初始化時用到這個值
#define HardExampleNO 4435  


//繼承自CvSVM的類，因爲生成setSVMDetector()中用到的檢測子參數時，需要用到訓練好的SVM的decision_func參數，
//但通過查看CvSVM源碼可知decision_func參數是protected類型變量，無法直接訪問到，只能繼承之後通過函數訪問
class MySVM : public CvSVM
{
public:
    //獲得SVM的決策函數中的alpha數組
    double * get_alpha_vector()
    {
        return this->decision_func->alpha;
    }

    //獲得SVM的決策函數中的rho參數,即偏移量
    float get_rho()
    {
        return this->decision_func->rho;
    }
};



int main()
{
    //檢測窗口(64,128),塊尺寸(16,16),塊步長(8,8),cell尺寸(8,8),直方圖bin個數9
    HOGDescriptor hog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9);//HOG檢測器，用來計算HOG描述子的
    int DescriptorDim;//HOG描述子的維數，由圖片大小、檢測窗口大小、塊大小、細胞單元中直方圖bin個數決定
    MySVM svm;//SVM分類器

    //若TRAIN爲true，重新訓練分類器
    if(TRAIN)
    {
        string ImgName;//圖片名(絕對路徑)
        ifstream finPos("INRIAPerson96X160PosList.txt");//正樣本圖片的文件名列表
        //ifstream finPos("PersonFromVOC2012List.txt");//正樣本圖片的文件名列表
        ifstream finNeg("NoPersonFromINRIAList.txt");//負樣本圖片的文件名列表

        Mat sampleFeatureMat;//所有訓練樣本的特徵向量組成的矩陣，行數等於所有樣本的個數，列數等於HOG描述子維數    
        Mat sampleLabelMat;//訓練樣本的類別向量，行數等於所有樣本的個數，列數等於1；1表示有人，-1表示無人


        //依次讀取正樣本圖片，生成HOG描述子
        for(int num=0; num<PosSamNO && getline(finPos,ImgName); num++)
        {
            cout<<"處理："<<ImgName<<endl;
            //ImgName = "D:\\DataSet\\PersonFromVOC2012\\" + ImgName;//加上正樣本的路徑名
            ImgName = "D:\\DataSet\\INRIAPerson\\INRIAPerson\\96X160H96\\Train\\pos\\" + ImgName;//加上正樣本的路徑名
            Mat src = imread(ImgName);//讀取圖片
            if(CENTRAL_CROP)
                src = src(Rect(16,16,64,128));//將96*160的INRIA正樣本圖片剪裁爲64*128，即剪去上下左右各16個像素
            //resize(src,src,Size(64,128));

            vector<float> descriptors;//HOG描述子向量
            hog.compute(src,descriptors,Size(8,8));//計算HOG描述子，檢測窗口移動步長(8,8)
            //cout<<"描述子維數："<<descriptors.size()<<endl;

            //處理第一個樣本時初始化特徵向量矩陣和類別矩陣，因爲只有知道了特徵向量的維數才能初始化特徵向量矩陣
            if( 0 == num )
            {
                DescriptorDim = descriptors.size();//HOG描述子的維數
                //初始化所有訓練樣本的特徵向量組成的矩陣，行數等於所有樣本的個數，列數等於HOG描述子維數sampleFeatureMat
                sampleFeatureMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, DescriptorDim, CV_32FC1);
                //初始化訓練樣本的類別向量，行數等於所有樣本的個數，列數等於1；1表示有人，0表示無人
                sampleLabelMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, 1, CV_32FC1);
            }

            //將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat
            for(int i=0; i<DescriptorDim; i++)
                sampleFeatureMat.at<float>(num,i) = descriptors[i];//第num個樣本的特徵向量中的第i個元素
            sampleLabelMat.at<float>(num,0) = 1;//正樣本類別爲1，有人
        }

        //依次讀取負樣本圖片，生成HOG描述子
        for(int num=0; num<NegSamNO && getline(finNeg,ImgName); num++)
        {
            cout<<"處理："<<ImgName<<endl;
            ImgName = "D:\\DataSet\\NoPersonFromINRIA\\" + ImgName;//加上負樣本的路徑名
            Mat src = imread(ImgName);//讀取圖片
            //resize(src,img,Size(64,128));

            vector<float> descriptors;//HOG描述子向量
            hog.compute(src,descriptors,Size(8,8));//計算HOG描述子，檢測窗口移動步長(8,8)
            //cout<<"描述子維數："<<descriptors.size()<<endl;

            //將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat
            for(int i=0; i<DescriptorDim; i++)
                sampleFeatureMat.at<float>(num+PosSamNO,i) = descriptors[i];//第PosSamNO+num個樣本的特徵向量中的第i個元素
            sampleLabelMat.at<float>(num+PosSamNO,0) = -1;//負樣本類別爲-1，無人
        }

        //處理HardExample負樣本
        if(HardExampleNO > 0)
        {
            ifstream finHardExample("HardExample_2400PosINRIA_12000NegList.txt");//HardExample負樣本的文件名列表
            //依次讀取HardExample負樣本圖片，生成HOG描述子
            for(int num=0; num<HardExampleNO && getline(finHardExample,ImgName); num++)
            {
                cout<<"處理："<<ImgName<<endl;
                ImgName = "D:\\DataSet\\HardExample_2400PosINRIA_12000Neg\\" + ImgName;//加上HardExample負樣本的路徑名
                Mat src = imread(ImgName);//讀取圖片
                //resize(src,img,Size(64,128));

                vector<float> descriptors;//HOG描述子向量
                hog.compute(src,descriptors,Size(8,8));//計算HOG描述子，檢測窗口移動步長(8,8)
                //cout<<"描述子維數："<<descriptors.size()<<endl;

                //將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat
                for(int i=0; i<DescriptorDim; i++)
                    sampleFeatureMat.at<float>(num+PosSamNO+NegSamNO,i) = descriptors[i];//第PosSamNO+num個樣本的特徵向量中的第i個元素
                sampleLabelMat.at<float>(num+PosSamNO+NegSamNO,0) = -1;//負樣本類別爲-1，無人
            }
        }

        ////輸出樣本的HOG特徵向量矩陣到文件
        //ofstream fout("SampleFeatureMat.txt");
        //for(int i=0; i<PosSamNO+NegSamNO; i++)
        //{
        //  fout<<i<<endl;
        //  for(int j=0; j<DescriptorDim; j++)
        //      fout<<sampleFeatureMat.at<float>(i,j)<<"  ";
        //  fout<<endl;
        //}

        //訓練SVM分類器
        //迭代終止條件，當迭代滿1000次或誤差小於FLT_EPSILON時停止迭代
        CvTermCriteria criteria = cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON);
        //SVM參數：SVM類型爲C_SVC；線性核函數；鬆弛因子C=0.01
        CvSVMParams param(CvSVM::C_SVC, CvSVM::LINEAR, 0, 1, 0, 0.01, 0, 0, 0, criteria);
        cout<<"開始訓練SVM分類器"<<endl;
        svm.train(sampleFeatureMat, sampleLabelMat, Mat(), Mat(), param);//訓練分類器
        cout<<"訓練完成"<<endl;
        svm.save("SVM_HOG.xml");//將訓練好的SVM模型保存爲xml文件

    }
    else //若TRAIN爲false，從XML文件讀取訓練好的分類器
    {
        svm.load("SVM_HOG_2400PosINRIA_12000Neg_HardExample(誤報少了漏檢多了).xml");//從XML文件讀取訓練好的SVM模型
    }


    /*************************************************************************************************
    線性SVM訓練完成後得到的XML文件裏面，有一個數組，叫做support vector，還有一個數組，叫做alpha,有一個浮點數，叫做rho;
    將alpha矩陣同support vector相乘，注意，alpha*supportVector,將得到一個列向量。之後，再該列向量的最後添加一個元素rho。
    如此，變得到了一個分類器，利用該分類器，直接替換opencv中行人檢測默認的那個分類器（cv::HOGDescriptor::setSVMDetector()），
    就可以利用你的訓練樣本訓練出來的分類器進行行人檢測了。
    ***************************************************************************************************/
    DescriptorDim = svm.get_var_count();//特徵向量的維數，即HOG描述子的維數
    int supportVectorNum = svm.get_support_vector_count();//支持向量的個數
    cout<<"支持向量個數："<<supportVectorNum<<endl;

    Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);//alpha向量，長度等於支持向量個數
    Mat supportVectorMat = Mat::zeros(supportVectorNum, DescriptorDim, CV_32FC1);//支持向量矩陣
    Mat resultMat = Mat::zeros(1, DescriptorDim, CV_32FC1);//alpha向量乘以支持向量矩陣的結果

    //將支持向量的數據複製到supportVectorMat矩陣中
    for(int i=0; i<supportVectorNum; i++)
    {
        const float * pSVData = svm.get_support_vector(i);//返回第i個支持向量的數據指針
        for(int j=0; j<DescriptorDim; j++)
        {
            //cout<<pData[j]<<" ";
            supportVectorMat.at<float>(i,j) = pSVData[j];
        }
    }

    //將alpha向量的數據複製到alphaMat中
    double * pAlphaData = svm.get_alpha_vector();//返回SVM的決策函數中的alpha向量
    for(int i=0; i<supportVectorNum; i++)
    {
        alphaMat.at<float>(0,i) = pAlphaData[i];
    }

    //計算-(alphaMat * supportVectorMat),結果放到resultMat中
    //gemm(alphaMat, supportVectorMat, -1, 0, 1, resultMat);//不知道爲什麼加負號？
    resultMat = -1 * alphaMat * supportVectorMat;

    //得到最終的setSVMDetector(const vector<float>& detector)參數中可用的檢測子
    vector<float> myDetector;
    //將resultMat中的數據複製到數組myDetector中
    for(int i=0; i<DescriptorDim; i++)
    {
        myDetector.push_back(resultMat.at<float>(0,i));
    }
    //最後添加偏移量rho，得到檢測子
    myDetector.push_back(svm.get_rho());
    cout<<"檢測子維數："<<myDetector.size()<<endl;
    //設置HOGDescriptor的檢測子
    HOGDescriptor myHOG;
    myHOG.setSVMDetector(myDetector);
    //myHOG.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());

    //保存檢測子參數到文件
    ofstream fout("HOGDetectorForOpenCV.txt");
    for(int i=0; i<myDetector.size(); i++)
    {
        fout<<myDetector[i]<<endl;
    }


    /**************讀入圖片進行HOG行人檢測******************/
    //Mat src = imread("00000.jpg");
    //Mat src = imread("2007_000423.jpg");
    Mat src = imread("1.png");
    vector<Rect> found, found_filtered;//矩形框數組
    cout<<"進行多尺度HOG人體檢測"<<endl;
    myHOG.detectMultiScale(src, found, 0, Size(8,8), Size(32,32), 1.05, 2);//對圖片進行多尺度行人檢測
    cout<<"找到的矩形框個數："<<found.size()<<endl;

    //找出所有沒有嵌套的矩形框r,並放入found_filtered中,如果有嵌套的話,則取外面最大的那個矩形框放入found_filtered中
    for(int i=0; i < found.size(); i++)
    {
        Rect r = found[i];
        int j=0;
        for(; j < found.size(); j++)
            if(j != i && (r & found[j]) == r)
                break;
        if( j == found.size())
            found_filtered.push_back(r);
    }

    //畫矩形框，因爲hog檢測出的矩形框比實際人體框要稍微大些,所以這裏需要做一些調整
    for(int i=0; i<found_filtered.size(); i++)
    {
        Rect r = found_filtered[i];
        r.x += cvRound(r.width*0.1);
        r.width = cvRound(r.width*0.8);
        r.y += cvRound(r.height*0.07);
        r.height = cvRound(r.height*0.8);
        rectangle(src, r.tl(), r.br(), Scalar(0,255,0), 3);
    }

    imwrite("ImgProcessed.jpg",src);
    namedWindow("src",0);
    imshow("src",src);
    waitKey();//注意：imshow之後必須加waitKey，否則無法顯示圖像


    /******************讀入單個64*128的測試圖並對其HOG描述子進行分類*********************/
    ////讀取測試圖片(64*128大小)，並計算其HOG描述子
    ////Mat testImg = imread("person014142.jpg");
    //Mat testImg = imread("noperson000026.jpg");
    //vector<float> descriptor;
    //hog.compute(testImg,descriptor,Size(8,8));//計算HOG描述子，檢測窗口移動步長(8,8)
    //Mat testFeatureMat = Mat::zeros(1,3780,CV_32FC1);//測試樣本的特徵向量矩陣
    ////將計算好的HOG描述子複製到testFeatureMat矩陣中
    //for(int i=0; i<descriptor.size(); i++)
    //  testFeatureMat.at<float>(0,i) = descriptor[i];

    ////用訓練好的SVM分類器對測試圖片的特徵向量進行分類
    //int result = svm.predict(testFeatureMat);//返回類標
    //cout<<"分類結果："<<result<<endl;



    system("pause");
}

2、分析：
在代碼中大家可以看到，#define TRAIN false //是否進行訓練,true表示重新訓練，false表示讀取xml文件中的SVM模型 ，TRAIN默認是false的，爲false是代碼直接進行
else //若TRAIN爲false，從XML文件讀取訓練好的分類器
{ svm.load("SVM_HOG_2400PosINRIA_12000Neg_HardExample(誤報少了漏檢多了).xml");//從XML文件讀取訓練好的SVM模型
}
爲了能進行訓練，將TRAIN改成true，之後發現有三個文件地址：正樣本文件地址、負樣本文件地址和Hard Example樣例文件地址，然而網上下載的文件中並沒有樣例 ，在網上搜索後找到了行人檢測DataSets中的INRIA數據庫，地址：http://pascal.inrialpes.fr/data/human/。
下載了樣本解壓後，點擊進去“96X160H96”這個文件夾裏放的是正樣本，“Train”文件夾下的“neg”放的是負樣本，但是負樣本需要處理一下才能成爲訓練分類器的負樣本，處理代碼如下：別忘了配置你的opencv環境，千萬千萬注意要更改圖片文件的路徑，換成你自己的。

#include <iostream>
#include <iostream>#include <fstream>
#include <stdlib.h> //srand()和rand()函數
#include <time.h> //time()函數
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/ml/ml.hpp>

using namespace std;
using namespace cv;

int CropImageCount = 0; //裁剪出來的負樣本圖片個數

int main()
{
    Mat src;
    string ImgName;

    char saveName[256];//裁剪出來的負樣本圖片文件名
    ifstream fin("INRIANegativeImageList.txt");//打開原始負樣本圖片文件列表
    //ifstream fin("subset.txt");

    //一行一行讀取文件列表
    while(getline(fin,ImgName))
    {
        cout<<"處理："<<ImgName<<endl;
        ImgName = "E:\\運動目標檢測\\INRIAPerson\\Train\\neg\\" + ImgName;

        src = imread(ImgName,1);//讀取圖片


        //src =cvLoadImage(imagename,1);
        //cout<<"寬："<<src.cols<<"，高："<<src.rows<<endl;

        //圖片大小應該能能至少包含一個64*128的窗口
        if(src.cols >= 64 && src.rows >= 128)
        {
            srand(time(NULL));//設置隨機數種子

            //從每張圖片中隨機裁剪10個64*128大小的不包含人的負樣本
            for(int i=0; i<10; i++)
            {
                int x = ( rand() % (src.cols-64) ); //左上角x座標
                int y = ( rand() % (src.rows-128) ); //左上角y座標
                //cout<<x<<","<<y<<endl;
                Mat imgROI = src(Rect(x,y,64,128)); 
                sprintf(saveName,"E:\\運動目標檢測\\INRIAPerson\\negphoto\\noperson%06d.jpg",++CropImageCount);//生成裁剪出的負樣本圖片的文件名
                imwrite(saveName, imgROI);//保存文件
            }
        }
    }

    system("pause");
}

有了樣本就可以訓練分類器並進行識別測試了，代碼如下：同樣要配置自己的opencv環境，更改圖片的路徑。

後續在加：