OpenCV 3.1.0支持向量机SVM

什么是支持向量机SVM

---

支持向量机是20世纪90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，也能获得良好统计规律的目的。它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
通俗来说，支持向量机是一个能够将不同类样本在样本空间分隔的超平面。 换句话说，给定一些标记(label)好的训练样本 (监督式学习), SVM算法输出一个最优化的分隔超平面。

• 如何评判最优的超平面？
  给定分别属于两类（圆形和正方形）的二维点，这些点可以通过直线分割。
  
  可以看出，能将两类样本分开的直线有无数条。如何定义一条直线好坏的标准？
  距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。 因此我们的目标是找到一条直线，离所有点的距离最远。
  由此， SVM算法的实质是找出一个能够将某个值最大化的超平面，这个值就是超平面离所有训练样本的最小距离。这个最小距离用SVM术语来说叫做间隔(margin) 。 概括一下，最优分割超平面最大化训练数据的间隔。
  

• SVM的核心——核函数
  很多情况下需要分类的数据都是线性不可分数据。一种解决方法是选择一个核函数（Kernel）K，将原始数据映射到高维空间，使原始数据线性可分问题变为在高维空间线性可分的问题。如图所示。
  

  常用核函数：
  ①线性核：K(x,y)=x·y
  ②多项式核：K(x,y)=[(x·y)+1]^d
  ③高斯核：K(x,y)=exp(-|x-y|^2/d^2）
  ④Sigmoid内积核：K(x,y)=tanh(a(x·y)+b）

OpenCV在很久以前就集成了SVM功能，然而升级到3.0和3.1版本后发生了很大的变化。这里只对3.1版本进行考虑。

• 建立训练样本

  一开始训练数据用的是int类型，即
  int colors[8][3];
Mat trainingDataMat(8, 3, CV_32SC1, colors);
  结果报错：
  OpenCV Error: Assertion failed (_samples.type() == CV_32F) in cv::ml::SVMImpl::do_train, file C:\buildslave64\win64_amdocl\master_PackSlave-win64-vc14-shared\opencv\modules\ml\src\svm.cpp, line 1370
  查询官方API发现：训练数据必须为CV_32FC1格式。
  

• 训练支持向量机

//初始化SVM
    Ptr<SVM> svm = SVM::create();
    svm->setType(SVM::Types::C_SVC);
    svm->setKernel(SVM::KernelTypes::LINEAR);
    svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, 100, 1e-6));

    //训练
    svm->train(trainingDataMat,SampleTypes::ROW_SAMPLE , labelsMat);

• 预测

Mat sample = (Mat_<float>(1, 3) << color[0] / pixelAmount, color[1] / pixelAmount, color[2] / pixelAmount);
float response = svm->predict(sample);

源代码：
简单的通过颜色来对苹果和香蕉进行分类，读取样本图片并计算其像素颜色平均值作为训练数据进行训练。

#include "opencv2/opencv.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/ml.hpp"
#include <iostream>
using namespace std;

using namespace cv;
using namespace cv::ml;

int main(int argc, char** argv)
{
    //训练数据的分类 1.0苹果-1.0香蕉
    int labels[8] = { 1,1,1,1,-1,-1,-1,-1 };
    Mat labelsMat(8, 1, CV_32SC1, labels);
    //训练数据矩阵
    float colors[8][3];

    //苹果样本数据 
    for (int i = 0; i < 4; i++){

        string temp = "apple";
        char n[1];
        itoa(i, n, 10);
        temp = temp.append(n);
        string imgName = temp.append(".png");

        //cout << imgName;
        Mat testImg = imread(imgName);
        //imshow(imgName, testImg);

        int color[3] = { 0, 0, 0 };
        int pixelAmount = testImg.rows*testImg.cols;
        for (int j = 0; j < testImg.rows; j++){
            for (int k = 0; k < testImg.cols; k++){
                color[0] += testImg.at<Vec3b>(j, k)[0];
                color[1] += testImg.at<Vec3b>(j, k)[1];
                color[2] += testImg.at<Vec3b>(j, k)[2];
            }
        }
        cout << "苹果" << i << " : " << color[0] / pixelAmount << " " << color[1] / pixelAmount << " " << color[2] / pixelAmount << endl;
        colors[i][0] = color[0] / pixelAmount;
        colors[i][1] = color[1] / pixelAmount;
        colors[i][2] = color[2] / pixelAmount;
    }
    //香蕉样本数据
    for (int i = 0; i < 4; i++){

        string temp = "banana";
        char n[1];
        itoa(i, n, 10);
        temp = temp.append(n);
        string imgName = temp.append(".png");

        //cout << imgName;
        Mat testImg = imread(imgName);
        //imshow(imgName, testImg);

        int color[3] = { 0, 0, 0 };
        int pixelAmount = testImg.rows*testImg.cols;
        for (int j = 0; j < testImg.rows; j++){
            for (int k = 0; k < testImg.cols; k++){
                color[0] += testImg.at<Vec3b>(j, k)[0];
                color[1] += testImg.at<Vec3b>(j, k)[1];
                color[2] += testImg.at<Vec3b>(j, k)[2];
            }
        }
        cout << "香蕉" << i << " : " << color[0] / pixelAmount << " " << color[1] / pixelAmount << " " << color[2] / pixelAmount << endl;
        colors[i + 4][0] = color[0] / pixelAmount;
        colors[i + 4][1] = color[1] / pixelAmount;
        colors[i + 4][2] = color[2] / pixelAmount;
    }
    Mat trainingDataMat(8, 3, CV_32FC1, colors);

    //初始化SVM
    Ptr<SVM> svm = SVM::create();
    svm->setType(SVM::Types::C_SVC);
    svm->setKernel(SVM::KernelTypes::LINEAR);
    svm->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, 100, 1e-6));

    //训练
    svm->train(trainingDataMat,SampleTypes::ROW_SAMPLE , labelsMat);

    //测试图片
    for (int i = 0; i < 4; i++){

        string temp = "test";
        char n[1];
        itoa(i, n, 10);
        temp = temp.append(n);
        string imgName = temp.append(".png");

        //cout << imgName;
        Mat testImg = imread(imgName);
        //imshow(imgName, testImg);

        int color[3] = { 0, 0, 0 };
        int pixelAmount = testImg.rows*testImg.cols;
        for (int j = 0; j < testImg.rows; j++){
            for (int k = 0; k < testImg.cols; k++){
                color[0] += testImg.at<Vec3b>(j, k)[0];
                color[1] += testImg.at<Vec3b>(j, k)[1];
                color[2] += testImg.at<Vec3b>(j, k)[2];
            }
        }
        cout << "测试" << i << " : " << color[0] / pixelAmount << " " << color[1] / pixelAmount << " " << color[2] / pixelAmount << endl;
        Mat sample = (Mat_<float>(1, 3) << color[0] / pixelAmount, color[1] / pixelAmount, color[2] / pixelAmount);
        float response = svm->predict(sample);
        if (response == 1.0){
            cout << "苹果" << endl;
        }
        else if (response == -1.0){
            cout << "香蕉" << endl;
        }
    }

    waitKey();
    int a;
    cin >> a;
    return 0;
}

样本图片：


测试图片：

测试结果：