OpenCV成長之路：視頻的處理

視頻中包含的信息量要遠遠大於圖片，對視頻的處理分析也越來越成爲計算機視覺的主流，而本質上視頻是由一幀幀的圖像組成，所以視頻處理最終還是要歸結於圖像處理，但在視頻處理中，有更多的時間維的信息可以利用。本文主要介紹OpenCV在處理視頻時的一些基本函數。

一、視頻幀的讀取

OpenCV爲視頻的讀入提供了一個類VideoCapture，下面我們說明一下類的幾個重要的方法：

1，打開一段視頻或默認的攝像頭

有兩種方法，一種是在定義類的時候，一種是用open()方法。

VideoCapture capture("../video.avi"); // 方法1
capture.open("../video.avi"); // 方法2

如果把文件名換爲設置ID，則可打開攝像頭，默認攝像頭爲0。

2，獲取視頻幀

獲取視頻幀可以有多種方法

// 方法一
capture.read(frame);
// 方法二
capture.grab();
capture.retrieve(frame);
// 方法三
capture>>frame;

3，獲取視頻的參數

一個視頻有很多參數，比如：幀率、總幀數、尺寸、格式等，VideoCapture的get方法可以獲取大量這些參數。

double rate=capture.get(CV_CAP_PROP_FPS); // 獲取
long nFrame=static_cast<long>(capture.get(CV_CAP_PROP_FRAME_COUNT)); // 獲取總幀數

更加相關的參數可以參考手冊。

4，設置視頻幀的讀取位置

VideoCapture類的set方法可以允許我們取出視頻中某個位置的幀，它有一些參數，可以按時間，也可以按幀號，還可以按視頻長短的比例。

// 第100幀
double position=100.0;
capture.set(CV_CAP_PROP_POS_FRAMES,position);
// 第1e6毫秒
double position=1e6;
capture.set(CV_CAP_PROP_POS_MSEC,position);
// 視頻1/2位置
double position=0.5;
capture.set(CV_CAP_PROP_POS_AVI_RATIO,position);

當然，set方法僅用於取視頻幀的位置，還可以設置視頻的幀率、亮度。

下面是一個將canny邊緣檢測應用於視頻的程序：

int main()
{
    VideoCapture capture("../track.avi");
    if(!capture.isOpened())
        return 1;
    double rate=capture.get(CV_CAP_PROP_FPS);
    bool stop(false);
    Mat frame;
    namedWindow("Canny Video");
    int delay=1000/rate;
    while(!stop)
    {
        if(!capture.read(frame))
            break;
        Mat result;
        Canny(frame,result,100,200);
        threshold(result,result,128,255,THRESH_BINARY);
        imshow("Canny Video",result);
        if(waitKey(delay)>=0)
            stop=true;
    }
    capture.release();
}

二、視頻的寫入

視頻的寫入與讀取類似，OpenCV中是使用VideoWriter類來實現的，這個類有幾個方法，都很簡單。除了構造函數外，提供了open、IsOpen、write、和重載操作符<<

值得注意的是OpenCV裏對視頻的編碼解碼等支持並不是很良好，所以不要希望用這個類去實現攝像頭圖像的獲取與轉碼，有興趣的可以參考FFmpeg庫。

VideoWriter::VideoWriter(const string& filename, int fourcc,
                         double fps, Size frameSize, bool isColor=true);
bool VideoWriter::open(const string& filename, int fourcc,
                       double fps, Size frameSize, bool isColor=true);

上面是類的構造函數與open方法，它們的參數相同，首先指定文件名，第二個參數是編碼格式，OpenCV裏提供了很多種的編碼格式，如CV_FOURCC(‘P’,’I’,’M’,’1’)是MPEG-1格式，CV_FOURCC(‘M’,’G’,’P’,’G’)爲motion-jpeg格式。

第三個參數爲幀率，第4個參數爲視頻的尺寸大小。

VideoCapture capture("../track.avi");
double rate=capture.get(CV_CAP_PROP_FPS);
Size videoSize(capture.get(CV_CAP_PROP_FRAME_WIDTH),
               capture.get(CV_CAP_PROP_FRAME_HEIGHT));
VideoWriter writer;
writer.open("../result.avi",CV_FOURCC('P','I','M','1'),rate,
            videoSize);
Mat frame;
capture>>frame;
writer<<frame;