V4L2 簡介

1.什麼是video4linux
Video4linux（簡稱V4L),是linux中關於視頻設備的內核驅動,現在已有Video4linux2，還未加入linux內核，使用需自己下載補丁。在Linux中，視頻設備是設備文件，可以像訪問普通文件一樣對其進行讀寫，攝像頭在/dev/video0下。

2.Video4linux下視頻編程的流程
（1）打開視頻設備：
（2） 讀取設備信息
（3）更改設備當前設置（沒必要的話可以不做）
（4）進行視頻採集，兩種方法: 
a.內存映射
b.直接從設備讀取
（5）對採集的視頻進行處理
（6）關閉視頻設備。

詳細一點

1. 打開設備文件。 int fd=open(”/dev/video0″,O_RDWR);

2. 取得設備的capability，看看設備具有什麼功能，比如是否具有視頻輸入,或者音頻輸入輸出等。 VIDIOC_QUERYCAP,

struct v4l2_capability

3. 選擇視頻輸入，一個視頻設備可以有多個視頻輸入。VIDIOC_S_INPUT,struct v4l2_input

4. 設置視頻的制式和幀格式，制式包括PAL，NTSC，幀的格式個包括寬度和高度等。

VIDIOC_S_STD,

VIDIOC_S_FMT,

        struct v4l2_std_id,

struct v4l2_format

5. 向驅動申請幀緩衝，一般不超過5個。struct v4l2_requestbuffers

6. 將申請到的幀緩衝映射到用戶空間，這樣就可以直接操作採集到的幀了，而不必去複製。mmap

7. 將申請到的幀緩衝全部入隊列，以便存放採集到的數據.

VIDIOC_QBUF,

struct v4l2_buffer

8. 開始視頻的採集。VIDIOC_STREAMON

9. 出隊列以取得已採集數據的幀緩衝，取得原始採集數據。VIDIOC_DQBUF

10. 將緩衝重新入隊列尾,這樣可以循環採集。VIDIOC_QBUF

11. 停止視頻的採集。VIDIOC_STREAMOFF

12. 關閉視頻設備。close(fd);

爲程序定義的數據結構

 1 typedef struct v4l_struct 
 2 {
 3 int fd;
 4 struct video_capability capability;
 5 struct video_channel channel[4]; 
 6 struct video_picture picture; 
 7 struct video_window window; 
 8 struct video_capture capture; 
 9 struct video_buffer buffer; 
10 struct video_mmap mmap; 
11 struct video_mbuf mbuf; 
12 unsigned char *map;
13 int frame;
14 int framestat[2]; 
15 }vd;

 

3.Video4linux支持的數據結構及其用途(參見/usr/include/linux/videodev2.h)：

（1） video_capability 包含設備的基本信息（設備名稱、支持的最大最小分辨率、信號源信息等）,包含的分量：

      struct v4l2_capability cap;//這個設備的功能，比如是否是視頻輸入設備

?name[32] //設備名稱

?maxwidth ,maxheight,minwidth,minheight

?Channels //信號源個數

?type //是否能capture，彩色還是黑白，是否能裁剪等等。值如VID_TYPE_CAPTURE等

（2）video_picture 設備採集的圖象的各種屬性

?brightness 0~65535

?hue

?colour

?contrast

?whiteness

?depth // 24

?palette //VIDEO_PALETTE_RGB24

 

（3）video_channel 關於各個信號源的屬性

Channel //信號源的編號

name

tuners

Type VIDEO_TYPE_TV | IDEO_TYPE_CAMERA

Norm制式

 

（4）video_window //包含關於capture area的信息

xx windows 中的座標.

y x windows 中的座標.

width The width of the image capture.

height The height of the image capture.

chromakey A host order RGB32 value for the chroma key.

flags Additional capture flags.

clips A list of clipping rectangles. (Set only)

clipcount The number of clipping rectangles. (Set only)

 

（5）video_mbuf //利用mmap進行映射的幀的信息

size //每幀大小

Frames //最多支持的幀數

Offsets //每幀相對基址的偏移

 

（6）video_buffer 最底層對buffer的描述

void *baseBase physical address of the buffer

int heightHeight of the frame buffer

int widthWidth of the frame buffer

int depthDepth of the frame buffer

int bytesperlineNumber of bytes of memory between the start of two adjacent lines

實際顯示的部分一般比它描述的部分小

 

（7）video_mmap //用於mmap

 struct v4l2_requestbuffers reqbufs;//向驅動申請幀緩衝的請求，裏面包含申請的個數

 struct v4l2_input input; //視頻輸入

 struct v4l2_standard std;//視頻的制式，比如PAL，NTSC

 struct v4l2_format fmt;//幀的格式，比如寬度，高度等

 struct v4l2_buffer buf;//代表驅動中的一幀

 v4l2_std_id stdid;//視頻制式，例如：V4L2_STD_PAL_B

 struct v4l2_queryctrl query;//查詢的控制

 struct v4l2_control control;//具體控制的值

4.關鍵步驟介紹
（1）打開視頻：在V4L2中，視頻設備被看做一個文件。使用open函數打開這個設備

// 用非阻塞模式打開攝像頭設備

int cameraFd;

cameraFd = open(“/dev/video0″, O_RDWR | O_NONBLOCK);

// 如果用阻塞模式打開攝像頭設備，上述代碼變爲：

//cameraFd = open(”/dev/video0″, O_RDWR);

關閉視頻設備用close（”/dev/video0”);

關於阻塞模式和非阻塞模式

應用程序能夠使用阻塞模式或非阻塞模式打開視頻設備，如果使用非阻塞模式調用視頻設備，即使尚未捕獲到信息，驅動依舊會把緩存（DQBUFF）裏的東西返回給應用程序。

設定屬性及採集方式

打開視頻設備後，可以設置該視頻設備的屬性，例如裁剪、縮放等。這一步是可選的。在Linux編程中，一般使用ioctl函數來對設備的I/O通道進行管理：

extern int ioctl (int __fd, unsigned long int __request, …) __THROW;

__fd：設備的ID，例如剛纔用open函數打開視頻通道後返回的cameraFd；

__request：具體的命令標誌符。

在進行V4L2開發中，一般會用到以下的命令標誌符：

VIDIOC_REQBUFS：分配內存

VIDIOC_QUERYBUF：把VIDIOC_REQBUFS中分配的數據緩存轉換成物理地址

VIDIOC_QUERYCAP：查詢驅動功能

VIDIOC_ENUM_FMT：獲取當前驅動支持的視頻格式

VIDIOC_S_FMT：設置當前驅動的頻捕獲格式

VIDIOC_G_FMT：讀取當前驅動的頻捕獲格式

VIDIOC_TRY_FMT：驗證當前驅動的顯示格式

VIDIOC_CROPCAP：查詢驅動的修剪能力

VIDIOC_S_CROP：設置視頻信號的邊框

VIDIOC_G_CROP：讀取視頻信號的邊框

VIDIOC_QBUF：把數據從緩存中讀取出來

VIDIOC_DQBUF：把數據放回緩存隊列

VIDIOC_STREAMON：開始視頻顯示函數

VIDIOC_STREAMOFF：結束視頻顯示函數

VIDIOC_QUERYSTD：檢查當前視頻設備支持的標準，例如PAL或NTSC。

這些IO調用，有些是必須的，有些是可選擇的。

 

檢查當前視頻設備支持的標準

在亞洲，一般使用PAL（720X576）制式的攝像頭，而歐洲一般使用NTSC（720X480），使用VIDIOC_QUERYSTD來檢測：

v4l2_std_id std;

do {

ret = ioctl(fd, VIDIOC_QUERYSTD, &std);

    } while (ret == -1 && errno == EAGAIN);

switch (std) {

case V4L2_STD_NTSC:

//……

case V4L2_STD_PAL:

//……

}

 

設置視頻捕獲格式

當檢測完視頻設備支持的標準後，還需要設定視頻捕獲格式：

struct v4l2_format fmt;

memset ( &fmt, 0, sizeof(fmt) );

fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

fmt.fmt.pix.width = 720;

fmt.fmt.pix.height = 576;

fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;

fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;

if (ioctl(fd, VIDIOC_S_FMT, &fmt) == -1) {

return -1;

}

v4l2_format結構體定義如下：

struct v4l2_format

{

enum v4l2_buf_type type; // 數據流類型，必須永遠是//V4L2_BUF_TYPE_VIDEO_CAPTURE

 union

 {

 struct v4l2_pix_format pix;

 struct v4l2_window win;

 struct v4l2_vbi_format vbi;

 __u8 raw_data[200];

 } fmt;

};

struct v4l2_pix_format

{

__u32 width; // 寬，必須是16的倍數

__u32 height; // 高，必須是16的倍數

__u32 pixelformat; // 視頻數據存儲類型，例如是//YUV4：2：2還是RGB

enum v4l2_field field;

__u32 bytesperline;

__u32 sizeimage;

enum v4l2_colorspace colorspace;

__u32 priv;

};

（2）讀video_capability 中信息

ioctl(vd->fd, VIDIOCGCAP, &(vd->capability))

成功後可讀取vd->capability各分量 eg.

（3）讀video_picture中信息

ioctl(vd->fd, VIDIOCGPICT, &(vd->picture))；

（4）改變video_picture中分量的值 （可以不做的）

先爲分量賦新值，再調用VIDIOCSPICT，eg.

1 vd->picture.colour = 65535;
2 if(ioctl(vd->fd, VIDIOCSPICT, &(vd->picture)) < 0) 
3 {
4     perror("VIDIOCSPICT");
5     return -1;

6 }  

（5）初始化channel （可以不做的）

必須先做得到vd->capability中的信息

1 for (i = 0; i < vd->capability.channels; i++) 
2 {
3     vd->channel[i].channel = i;
4     if (ioctl(vd->fd, VIDIOCGCHAN, &(vd->channel[i])) < 0)
5     {
6         perror("v4l_get_channel:");
7         return -1;
8     }

9 }  

重點：截取圖象的兩種方法
1,用mmap（內存映射）方式截取視頻

?mmap( )系統調用使得進程之間通過映射同一個普通文件實現共享內存。普通文件被映射到進程地址空間後，進程可以向訪問普通內存一樣對文件進行訪問，不必再調用read()，write（）等操作。

?兩個不同進程A、B共享內存的意思是，同一塊物理內存被映射到進程A、B各自的進程地址空間。進程A可以即時看到進程B對共享內存中數據的更新，反之亦然

?採用共享內存通信的一個顯而易見的好處是效率高，因爲進程可以直接讀寫內存，而不需要任何數據的拷貝

（1）設置picture的屬性

 

（2） 初始化video_mbuf，以得到所映射的buffer的信息

ioctl(vd->fd, VIDIOCGMBUF, &(vd->mbuf))

 

（3）可以修改video_mmap和幀狀態的當前設置

? Eg. vd->mmap.format = VIDEO_PALETTE_RGB24

? vd->framestat[0] = vd->framestat[1] = 0; vd->frame = 0;

 

（4）將mmap與video_mbuf綁定

?void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )

?len //映射到調用進程地址空間的字節數，它從被映射文件開頭offset個字節開始算起

?Prot //指定共享內存的訪問權限 PROT_READ（可讀）, PROT_WRITE （可寫）, PROT_EXEC （可執行）

?flags // MAP_SHARED MAP_PRIVATE中必選一個 // MAP_ FIXED不推薦使用addr //共內存享的起始地址，一般設0，表示由系統分配

?Mmap( ) 返回值是系統實際分配的起始地址

?if((vd->map = (unsigned char*)mmap(0, vd->mbuf.size, PROT_READ|PROT_WRITE, MAP_SHARED, vd->fd, 0)) < 0)

?{

?perror("v4l_mmap mmap:");

?return -1;

?}

 

（5）Mmap方式下真正做視頻截取的 VIDIOCMCAPTURE

ioctl(vd->fd, VIDIOCMCAPTURE, &(vd->mmap)) ;

?若調用成功，開始一幀的截取，是非阻塞的，

?是否截取完畢留給VIDIOCSYNC來判斷

 

（6）調用VIDIOCSYNC等待一幀截取結束

?if(ioctl(vd->fd, VIDIOCSYNC, &frame) < 0)

?{

?perror("v4l_sync:VIDIOCSYNC");

?return -1;

?}

若成功，表明一幀截取已完成。可以開始做下一次 VIDIOCMCAPTURE

?frame是當前截取的幀的序號。

****關於雙緩衝：

?video_bmuf bmuf.frames = 2;

?一幀被處理時可以採集另一幀

?int frame; //當前採集的是哪一幀

?int framestat[2]; //幀的狀態 沒開始採集|等待採集結束

?幀的地址由vd->map + vd->mbuf.offsets[vd->frame]得到

?採集工作結束後調用munmap取消綁定

?munmap(vd->map, vd->mbuf.size)

 

2,視頻截取的第二種方法：直接讀設備
關於緩衝大小，圖象等的屬性須由使用者事先設置
調用read（）；
int read (要訪問的文件描述符；指向要讀寫的信息的指針；應該讀寫的字符數);
返回值爲實際讀寫的字符數
int len ;
unsigned char *vd->map= (unsigned char *) malloc(vdàcapability.maxwidth*vdàcapability.maxheight );
len = read(vdàfd,vdà vd->map, vdàcapability.maxwidth*vdàcapability.maxheight*3 );