常用视频像素格式NV12、NV21、I420、YV12、YUYV

原創

小帆别吃糖

2020-02-21 06:45

最近因为任务需要，遇到视频像素格式的问题，学习了NV12和YV12，以及UYVY的具体存储区别。

总结如下：

像素格式描述了像素数据存储所用的格式，定义了像素在内存中的编码方式，RGB和YUV是两种经常使用的像素格式。

RGB：较为熟悉，具有3个通道R G B，分别对应红绿蓝三个分量，由三个分量的值决定颜色；通常，会给RGB图像加一个通道alpha，即透明度，于是共有四个分量共同控制颜色。（常用的opencv库默认将图片以BGR的方式进行存储，只是通道顺序不一样而已）

YUV：（YCrCb）是指将亮度参量Y和色度参量U/V分开表示的像素格式，主要用于优化彩色视频信号的传输。

YUV像素格式来源于RGB像素格式，通过公式运算，YUV三分量可以还原出RGB，YUV转RGB的公式如下：

R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U

一般，将RGB和YUV的范围均限制在[0,255]间，则有如下转换公式：

R = Y + 1.403(V - 128)
G = Y - 0.344(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)

YUV采样：YUV相比于RGB格式最大的好处是可以做到在保持图像质量降低不明显的前提下，减小文件大小。YUV格式之所以能够做到，是因为进行了采样操作。

YUV码流的存储格式与其采样方式密切相关，主流的采样方式有3种：

YUV 4:4:4**(YUV444), YUV 4:2:2(YUV422), YUV 4:2:0(YUV420)**

若以以黑点表示采样该像素点的Y分量，以空心圆圈表示采用该像素点的UV分量，则这三种采样方式如下：

即：

YUV 4:4:4采样，每一个Y对应一组UV分量。
YUV 4:2:2采样，每两个Y共用一组UV分量。
YUV 4:2:0采样，每四个Y共用一组UV分量。

YUV存储格式

YUV存储可以分为两种：packed（打包）和planar（平面）；

packed：Y、U、V分量穿插着排列，三个分量存在一个Byte型数组里；
planar：Y、U、V分量分别存在三个Byte型数组中；

常见的像素格式

1.YUV422：YUYV、YVYU、UYVY、VYUY

这四种格式每一种又可以分为2类（packed和planar），以YUYV为例，一个6*4的图像的存储方式如下：

Y Y Y Y Y Y                   
Y Y Y Y Y Y                  
Y Y Y Y Y Y                   
Y Y Y Y Y Y                    
U U U U U U                  Y U Y V Y U Y V Y U Y V
U U U U U U                  Y U Y V Y U Y V Y U Y V
V V V V V V                  Y U Y V Y U Y V Y U Y V
V V V V V V                  Y U Y V Y U Y V Y U Y V
- Planar -                          - Packed:YUYV - 

Y Y Y Y Y Y                   
Y Y Y Y Y Y                  
Y Y Y Y Y Y                   
Y Y Y Y Y Y                    
U U U U U U                  U Y V Y U Y V Y U Y V Y
U U U U U U                  U Y V Y U Y V Y U Y V Y
V V V V V V                  U Y V Y U Y V Y U Y V Y
V V V V V V                  U Y V Y U Y V Y U Y V Y
- Planar -                          - Packed:UYVY -

如果实际应用中，从camera那边取到的数据流是UYVY的格式，但是gl显示或者图像处理的相关接口又需要用到BGR或I420（YV12或NV12）的格式，那么就需要写代码进行转换（下面给出一些示例代码片段）：

如果要用opencv的接口将UYVY格式转成YV12格式（则需要先从UYVY转成BGR或RGB,再将BGR或RGB转成YV12）：

//pSrcBuf的存储格式是UYVY
cv::Mat yuv_img = cv::Mat(height, width, CV_8UC2, pSrcBuf);
cv::Mat bgr_img;
cv::cvtColor(yuv_img, bgr_img, CV_YUV2BGR_UYVY);

//pDstBuf的存储格式是YV12
cv::Mat yv12_img = cv::Mat(height* 3/2, width, CV_8UC1, pDstBuf);
cv::cvtColor(bgr_img, yv12_img, CV_BGR2YUV_YV12);

所以下面直接手动转换，而不调用opencv的cv::cvtColor接口来转换，也可以进一步熟悉存储格式规范。

//从UYVY中获取Y，并存到一个数组
void UYVYToYRow(const char* src_uyvy, char* dst_y, int width) {
  // Output a row of Y values.
  for (int x = 0; x < width - 1; x += 2) {
    dst_y[x] = src_uyvy[1];
    dst_y[x + 1] = src_uyvy[3];
    src_uyvy += 4;
  }

}
//从UYVY中获取UV，并分别存到2个数组
void UYVYToUVRow(const char* src_uyvy, int src_stride_uyvy,
                   char* dst_u, char* dst_v, int width) {
  // Output a row of UV values.
  for (int x = 0; x < width-1 ; x += 2) {
    dst_u[0] = src_uyvy[0];
    dst_v[0] = src_uyvy[2];
    src_uyvy += 4;
    dst_u += 1;
    dst_v += 1;
  }
}
int UYVYToI420(const char* src_uyvy, int src_stride_uyvy,
               char* dst_y, int dst_stride_y,
               char* dst_u, int dst_stride_u,
               char* dst_v, int dst_stride_v,
               int width, int height) {


  for (int y = 0; y < height - 1; y += 2) {
    UYVYToUVRow(src_uyvy, src_stride_uyvy, dst_u, dst_v, width);
    UYVYToYRow(src_uyvy, dst_y, width);
    UYVYToYRow(src_uyvy + src_stride_uyvy, dst_y + dst_stride_y, width);
    src_uyvy += src_stride_uyvy * 2;
    dst_y += dst_stride_y * 2;
    dst_u += dst_stride_u;
    dst_v += dst_stride_v;

  }
  
  return 0;
}


UYVYToI420( pSrcBuf, w*2,
            pDstBuf, w,
            pDstBuf + (w*h+w*h/4), w/2, // Put V channel first for YV12
            pDstBuf + (w*h), w/2,            
            w, h
          );

那么我如何验证转换前后的格式是否正确呢？可以分别用cv::cvtColor以及cv::imwrite将图像dump到本地查看和对比：

//pSrcBuf的存储格式是UYVY
cv::Mat yuv_img = cv::Mat(height, width, CV_8UC2, pSrcBuf);
cv::Mat bgr_img_src;
cv::cvtColor(yuv_img, bgr_img_src, CV_YUV2BGR_UYVY);
cv::imwrite("UYVY.png", bgr_img_src);

//pDstBuf的存储格式是YV12
cv::Mat yv12_img = cv::Mat(height* 3/2, width, CV_8UC1, pDstBuf);
cv::Mat bgr_img_dst;
cv::cvtColor(picYV12, bgr_img_dst, CV_YUV2BGR_YV12);
cv::imwrite("YV12.png", bgr_img_dst);

2. YUV420

YUV420p: I420、YV12
YUV420sp: NV12、NV21

同样，对于一个6*4的图像，这四种像素格式的存储方式如下：

Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
U U U U U U      V V V V V V      U V U V U V      V U V U V U
V V V V V V      U U U U U U      U V U V U V      V U V U V U
 - I420 -          - YV12 -         - NV12 -         - NV21 -

注：