Android將camera獲取到的YuvData在jni中轉化爲Mat

Android中可以通過camera獲取圖像，並實時處理，不同的手機camera支持的的圖像格式不同，可以採用getCameraPreviewFormat來得到preview支持的圖像編碼格式，Android默認使用NV21（yuv420sp）的圖像格式，因爲大部分手機都支持。

爲了達到實時處理的目的，很多時候我們將得到的yuv數據直接傳入jni中的c++使用，減少上層轉化圖像格式的過程yuv420本身屬於單通道圖像，若圖像處理中只需要獲取灰度圖像，可以在c++中直接通過Mat構造函數構造生成灰度圖像，代碼如下：

/*
*  ImageProcessing.cpp
*    實時顯示canny算子結果
*/
#include <jni.h>

#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc_c.h>
#include <opencv2/opencv.hpp>


using namespace std;
using namespace cv;


Mat * mCanny = NULL;

extern "C"
jboolean
Java_my_project_MyRealTimeImageProcessing_CameraPreview_ImageProcessing(
		JNIEnv* env, jobject thiz,
		jint width, jint height,
		jbyteArray NV21FrameData, jintArray outPixels)
{
	jbyte * pNV21FrameData = env->GetByteArrayElements(NV21FrameData, 0);  //輸入yuv數據 
	jint * poutPixels = env->GetIntArrayElements(outPixels, 0);	//輸出結果的int數據
	if ( mCanny == NULL )
	{
		mCanny = new Mat(height, width, CV_8UC1);
	}
	Mat mGray(height, width, CV_8UC1, (unsigned char *)pNV21FrameData);	//構建灰度圖時構造函數
	Mat mResult(height, width, CV_8UC4, (unsigned char *)poutPixels);
	IplImage srcImg = mGray;
	IplImage CannyImg = *mCanny;
	IplImage ResultImg = mResult;

	cvCanny(&srcImg, &CannyImg, 80, 100, 3);
	cvCvtColor(&CannyImg, &ResultImg, CV_GRAY2BGRA);
	env->ReleaseByteArrayElements(NV21FrameData, pNV21FrameData, 0);
	env->ReleaseIntArrayElements(outPixels, poutPixels, 0);
	return true;
}

若圖像處理時需要彩色圖像，則需要先將nv21類型的數據轉化爲yuv格式，再將yuv轉化爲BGR彩色圖像，構造yuv時的構造函數和直接構造灰度圖有些不同，在YUV420中一個像素對應一個Y，一個2*2的小方塊對應一個UV，對於所有YUV420圖像，它們的Y值排列是完全相同的，因爲只有Y的圖像就是灰度圖像。YUV420sp與YUV420p的數據格式它們的UV排列在原理上是完全不同的。420p它是先把U存放完後，再存放V，也就是說UV它們是連續的。而420sp它是UV、UV這樣交替存放的。對於一個YUV420在內存中存放的大小：

Y = width*height

U = Y/4

v = Y/4

所以獲取灰度圖只需要Y的數據大小就可以，所以構造函數中寬高都是圖像的寬高，而要獲取YUV彩色圖像則需要獲取的內存長度爲width*height*3/2

                     YUV420sp格式如下圖                                                                    YUV420p數據格式如下圖

             

構造函數中圖像高度需再加上1/2*height，代碼如下：

JNIEXPORT int JNICALL Java_com_ProjectName_nativecaller_ClassName_readYUV420SP(JNIEnv *env, jclass clz, jbyteArray yuv,jint len,jint height,jint width)
{

	jbyte * pBuf = (jbyte*)env->GetByteArrayElements(yuv, 0);

	Mat image(height + height/2,width,CV_8UC1,(unsigned char *)pBuf);	//注意這裏是height+height/2
	Mat mBgr;
	cvtColor(image, mBgr, CV_YUV2BGR_NV21);
	imwrite("/mnt/sdcard/readYuv.jpg",mBgr);
	env->ReleaseByteArrayElements(yuv, pBuf, 0);   
	return 0;
}