從IplImage到QImage的轉化看性能優化

      最近對VP的數據協議進行了反思，昨天進行了重大改進，去掉了智能指針的使用，在模塊內部使用了緩存區概念，既方便了內存管理又極大地提高了效率，性能檢測結果對比如下：

     改進之前：

/*---------------------------------------------------*/ Providers Execute: 0 WebCam Provider Execute: 1 CvContourExtractor Execute: 6 Processors Execute: 145 VPImageConsumer Execute: 1 Consumers Execute: 2 Total: 147 /*---------------------------------------------------*/

     改進之後：

/*---------------------------------------------------*/ Providers Execute: 0 CvContourExtractor Execute: 2 Processors Execute: 52 VPImageConsumer Execute: 1 VPImageConsumer Execute: 0 Consumers Execute: 1 Total: 53 /*---------------------------------------------------*/

上述所有的數字都以cpu時鐘週期爲單位。

 

      運行結果還是不太滿意，繼續追蹤各個模塊的運行時間，結果大大出乎意料，從IplImage到QImage的轉化函數居然這麼耗時，性能檢測結果如下：

/*---------------------------------------------------*/ Providers Execute: 0 Topo Sort : 1 IntProvider Exec: 0 FileLoader Exec: 0 VideoLoader Exec: 0 CvContourExtractor Execute: 1 CvContourExtractor Exec: 1 CvImage2QImage Exec: 22 ImageDisplayer Exec: 0 CvImage2QImage Exec: 23 ImageDisplayer Exec: 0 Processors Execute: 52 VPImageConsumer Execute: 0 VPImageConsumer Execute: 1 Consumers Execute: 1 Total: 53 /*---------------------------------------------------*/

注意其中的CvImage2QImage的執行時間。 跟蹤那段函數代碼，使用的兩重循環執行圖片的轉化：

// 23 clock. void vpCvImageToQImage(const IplImage* pImage, QImage &qImage) { const IplImage* pIplImage = pImage; if(!pIplImage) return; if(qImage.isNull()) { int w = pIplImage->width; int h = pIplImage->height; qImage = QImage(w, h, QImage::Format_RGB32); } // 複製像素 int x, y; for(x = 0; x < pIplImage->width; ++x) { for(y = 0; y < pIplImage->height; ++y) { CvScalar color = cvGet2D(pIplImage, y, x); int r = color.val[2]; int g = color.val[1]; int b = color.val[0]; qImage.setPixel(x, y, qRgb(r,g,b)); } } } // vpCvImageToQImage

     下面是改進的代碼：

 // 4 clock void vpCvImageToQImage(const IplImage* cvimage, QImage &qimage) { if (!cvimage) return; if ( qimage.isNull() ) qimage = QImage(cvimage->width, cvimage->height, QImage::Format_RGB32); int cvIndex = 0; int cvLineStart = 0; for (int y = 0; y < cvimage->height; y++) { unsigned char red,green,blue; cvIndex = cvLineStart; for (int x = 0; x < cvimage->width; x++) { // DO it red = cvimage->imageData[cvIndex+2]; green = cvimage->imageData[cvIndex+1]; blue = cvimage->imageData[cvIndex+0]; qimage.setPixel(x,y,qRgb(red, green, blue)); cvIndex += 3; } cvLineStart += cvimage->widthStep; } } // vpCvImageToQImage

      改進後的性能檢測結果如下：

/*---------------------------------------------------*/ Providers Execute: 1 Topo Sort : 0 IntProvider Exec: 0 FileLoader Exec: 0 VideoLoader Exec: 1 CvContourExtractor Execute: 1 CvContourExtractor Exec: 1 CvImage2QImage : 3 CvImage2QImage Exec: 4 ImageDisplayer Exec: 0 CvImage2QImage : 4 CvImage2QImage Exec: 5 ImageDisplayer Exec: 0 Processors Execute: 15 VPImageConsumer Execute: 0 VPImageConsumer Execute: 0 Consumers Execute: 0 Total: 16 /*---------------------------------------------------*/

     原因分析：

     第一種情況要差不多23個時鐘週期，然後第二個卻只需要4個時鐘週期，效率差距這麼大。原因在於opencv中圖片存儲是按行存取，所以行優先處理可以更加符合程序的局部性原理。

    尾聲

    對於一個實時性強的系統每秒處理幾十幀，從一幀處理147個時鐘週期到16個時鐘週期。。。

/*---------------------------------------------------*/ Providers Execute: 1 Topo Sort : 0 IntProvider Exec: 0 FileLoader Exec: 0 VideoLoader Exec: 1 CvContourExtractor Execute: 1 CvContourExtractor Exec: 1 CvImage2QImage : 3 CvImage2QImage Exec: 4 ImageDisplayer Exec: 0 CvImage2QImage : 4 CvImage2QImage Exec: 5 ImageDisplayer Exec: 0 Processors Execute: 15 VPImageConsumer Execute: 0 VPImageConsumer Execute: 0 Consumers Execute: 0 Total: 16 /*---------------------------------------------------*/

 

一種更好的改進：

通過QImage和IplImage共享內存，需要注意的是，QT中的的圖片是RGB格式，而OpenCV攝像頭獲得圖片是BGR格式。具體實現代碼如下：

void vpCvImageToQImage(const IplImage* frame, QImage &qimage) { if (!frame) return; if ( qimage.isNull() ) { // 使用24位 // QImage to draw on paint event qimage = QImage( QSize(frame->width, frame->height), QImage::Format_RGB888 ); // IplImage * to work with OpenCV functions _cvimage = cvCreateImageHeader( cvSize(frame->width, frame->height), 8, 3 ); // Share the buffer between QImage and IplImage * _cvimage->imageData = (char *)qimage.bits(); } cvCopy(frame, _cvimage, 0); // Convert it from BGR to RGB. QImage works with RGB and cvQueryFrame returns a BGR IplImage cvCvtColor(_cvimage, _cvimage, CV_BGR2RGB); } // vpCvImageToQImage

經測試，對於640*480的幀圖片，轉化爲qimage只需要五個時鐘週期左右。

add: 2011/1/14  by RYF