最簡單的基於FFMPEG+SDL的視頻播放器 ver2 (採用SDL2.0)

轉載自: http://blog.csdn.net/leixiaohua1020/article/details/38868499

簡介

之前做過一個FFMPEG+SDL的簡單播放器:《100行代碼實現最簡單的基於FFMPEG+SDL的視頻播放器》。該播放器採用SDL1.2顯示視頻。最近有不少人反映SDL已經升級到2.0版本了,甚至官網的Wiki上都只有SDL2.0的文檔了,因此下載了SDL 2.0 並且進行了簡單的研究。隨後對此前的播放器進行了修改,將SDL1.2換成了SDL2.0。

注:《100行代碼實現最簡單的基於FFMPEG+SDL的視頻播放器》文章中提到的很多知識這裏不再重複記錄。本文重點記錄SDL1.2與SDL2.0的不同。


平臺使用了VC2010,FFmpeg類庫使用了最近的版本,SDL使用2.0版本。


項目主頁

SourceForge:https://sourceforge.net/projects/simplestffmpegplayer/

Github:https://github.com/leixiaohua1020/simplest_ffmpeg_player

開源中國:http://git.oschina.net/leixiaohua1020/simplest_ffmpeg_player


流程圖


FFmpeg解碼一個視頻流程如下圖所示:


SDL2.0顯示YUV的流程圖:


對比SDL1.2的流程圖,發現變化還是很大的。幾乎所有的API都發生了變化。但是函數和變量有一定的對應關係:

SDL_SetVideoMode()————SDL_CreateWindow()

SDL_Surface————SDL_Window

SDL_CreateYUVOverlay()————SDL_CreateTexture()

SDL_Overlay————SDL_Texture

不再一一例舉。

下圖爲SDL1.x顯示YUV的流程圖。


簡單解釋各個變量的作用:

SDL_Window就是使用SDL的時候彈出的那個窗口。在SDL1.x版本中,只可以創建一個一個窗口。在SDL2.0版本中,可以創建多個窗口。
SDL_Texture用於顯示YUV數據。一個SDL_Texture對應一幀YUV數據。
SDL_Renderer用於渲染SDL_Texture至SDL_Window。
SDL_Rect用於確定SDL_Texture顯示的位置。注意:一個SDL_Texture可以指定多個不同的SDL_Rect,這樣就可以在SDL_Window不同位置顯示相同的內容(使用SDL_RenderCopy()函數)。
它們的關係如下圖所示:


下圖舉了個例子,指定了4個SDL_Rect,可以實現4分屏的顯示。




simplest_ffmpeg_player(標準版)代碼

最基礎的版本,學習的開始。

  1. /** 
  2.  * 最簡單的基於FFmpeg的視頻播放器 2 
  3.  * Simplest FFmpeg Player 2 
  4.  * 
  5.  * 雷霄驊 Lei Xiaohua 
  6.  * [email protected] 
  7.  * 中國傳媒大學/數字電視技術 
  8.  * Communication University of China / Digital TV Technology 
  9.  * http://blog.csdn.net/leixiaohua1020 
  10.  * 
  11.  * 第2版使用SDL2.0取代了第一版中的SDL1.2 
  12.  * Version 2 use SDL 2.0 instead of SDL 1.2 in version 1. 
  13.  * 
  14.  * 本程序實現了視頻文件的解碼和顯示(支持HEVC,H.264,MPEG2等)。 
  15.  * 是最簡單的FFmpeg視頻解碼方面的教程。 
  16.  * 通過學習本例子可以瞭解FFmpeg的解碼流程。 
  17.  * This software is a simplest video player based on FFmpeg. 
  18.  * Suitable for beginner of FFmpeg. 
  19.  * 
  20.  * Version:2 
  21.  */  
  22.   
  23.   
  24. #include "stdafx.h"  
  25.   
  26. extern "C"  
  27. {  
  28. #include "libavcodec/avcodec.h"  
  29. #include "libavformat/avformat.h"  
  30. #include "libswscale/swscale.h"  
  31.     //SDL  
  32. #include "sdl/SDL.h"  
  33. #include "sdl/SDL_thread.h"  
  34.   
  35. };  
  36.   
  37. //Output YUV420P data as a file   
  38. #define OUTPUT_YUV420P 0  
  39.   
  40. int _tmain(int argc, _TCHAR* argv[])  
  41. {  
  42.   
  43.     AVFormatContext *pFormatCtx;  
  44.     int             i, videoindex;  
  45.     AVCodecContext  *pCodecCtx;  
  46.     AVCodec         *pCodec;  
  47.     char filepath[]="src01_480x272_22.h265";  
  48.     av_register_all();  
  49.     avformat_network_init();  
  50.     pFormatCtx = avformat_alloc_context();  
  51.       
  52.     if(avformat_open_input(&pFormatCtx,filepath,NULL,NULL)!=0){  
  53.         printf("Couldn't open input stream.(無法打開輸入流)\n");  
  54.         return -1;  
  55.     }  
  56.     if(av_find_stream_info(pFormatCtx)<0)  
  57.     {  
  58.         printf("Couldn't find stream information.(無法獲取流信息)\n");  
  59.         return -1;  
  60.     }  
  61.     videoindex=-1;  
  62.     for(i=0; i<pFormatCtx->nb_streams; i++)   
  63.         if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO)  
  64.         {  
  65.             videoindex=i;  
  66.             break;  
  67.         }  
  68.     if(videoindex==-1)  
  69.     {  
  70.         printf("Didn't find a video stream.(沒有找到視頻流)\n");  
  71.         return -1;  
  72.     }  
  73.     pCodecCtx=pFormatCtx->streams[videoindex]->codec;  
  74.     pCodec=avcodec_find_decoder(pCodecCtx->codec_id);  
  75.     if(pCodec==NULL)  
  76.     {  
  77.         printf("Codec not found.(沒有找到解碼器)\n");  
  78.         return -1;  
  79.     }  
  80.     if(avcodec_open2(pCodecCtx, pCodec,NULL)<0)  
  81.     {  
  82.         printf("Could not open codec.(無法打開解碼器)\n");  
  83.         return -1;  
  84.     }  
  85.     AVFrame *pFrame,*pFrameYUV;  
  86.     pFrame=avcodec_alloc_frame();  
  87.     pFrameYUV=avcodec_alloc_frame();  
  88.     uint8_t *out_buffer=(uint8_t *)av_malloc(avpicture_get_size(PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));  
  89.     avpicture_fill((AVPicture *)pFrameYUV, out_buffer, PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);  
  90.     //SDL---------------------------  
  91.     if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {    
  92.         printf( "Could not initialize SDL - %s\n", SDL_GetError());   
  93.         return -1;  
  94.     }   
  95.   
  96.     int screen_w=0,screen_h=0;  
  97.     //SDL 2.0 Support for multiple windows  
  98.     SDL_Window *screen;   
  99.     screen_w = pCodecCtx->width;  
  100.     screen_h = pCodecCtx->height;  
  101.     screen = SDL_CreateWindow("Simplest ffmpeg player's Window", SDL_WINDOWPOS_UNDEFINED, SDL_WINDOWPOS_UNDEFINED,  
  102.         screen_w, screen_h,  
  103.         SDL_WINDOW_OPENGL);  
  104.   
  105.   
  106.     if(!screen) {    
  107.         printf("SDL: could not create window - exiting:%s\n",SDL_GetError());    
  108.         return -1;  
  109.     }  
  110.   
  111.     SDL_Renderer* sdlRenderer = SDL_CreateRenderer(screen, -1, 0);    
  112.     //IYUV: Y + U + V  (3 planes)  
  113.     //YV12: Y + V + U  (3 planes)  
  114.     SDL_Texture* sdlTexture = SDL_CreateTexture(sdlRenderer, SDL_PIXELFORMAT_IYUV, SDL_TEXTUREACCESS_STREAMING,pCodecCtx->width,pCodecCtx->height);    
  115.       
  116.     SDL_Rect sdlRect;    
  117.     sdlRect.x = 0;    
  118.     sdlRect.y = 0;    
  119.     sdlRect.w = screen_w;    
  120.     sdlRect.h = screen_h;    
  121.     //SDL End----------------------  
  122.     int ret, got_picture;  
  123.     AVPacket *packet=(AVPacket *)av_malloc(sizeof(AVPacket));  
  124.     //Output Info-----------------------------  
  125.     printf("File Information(文件信息)---------------------\n");  
  126.     av_dump_format(pFormatCtx,0,filepath,0);  
  127.     printf("-------------------------------------------------\n");  
  128.   
  129. #if OUTPUT_YUV420P   
  130.     FILE *fp_yuv=fopen("output.yuv","wb+");    
  131. #endif    
  132.   
  133.     struct SwsContext *img_convert_ctx;  
  134.     img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);   
  135.     //------------------------------  
  136.     while(av_read_frame(pFormatCtx, packet)>=0)  
  137.     {  
  138.         if(packet->stream_index==videoindex)  
  139.         {  
  140.             ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);  
  141.             if(ret < 0)  
  142.             {  
  143.                 printf("Decode Error.(解碼錯誤)\n");  
  144.                 return -1;  
  145.             }  
  146.             if(got_picture)  
  147.             {  
  148.                 sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);  
  149.                   
  150. #if OUTPUT_YUV420P  
  151.                 int y_size=pCodecCtx->width*pCodecCtx->height;    
  152.                 fwrite(pFrameYUV->data[0],1,y_size,fp_yuv); //Y   
  153.                 fwrite(pFrameYUV->data[1],1,y_size/4,fp_yuv);  //U  
  154.                 fwrite(pFrameYUV->data[2],1,y_size/4,fp_yuv);  //V  
  155. #endif  
  156.                 //SDL---------------------------  
  157.                 SDL_UpdateTexture( sdlTexture, &sdlRect, pFrameYUV->data[0], pFrameYUV->linesize[0] );    
  158.                 SDL_RenderClear( sdlRenderer );    
  159.                 SDL_RenderCopy( sdlRenderer, sdlTexture, &sdlRect, &sdlRect );    
  160.                 SDL_RenderPresent( sdlRenderer );    
  161.                 //SDL End-----------------------  
  162.                 //Delay 40ms  
  163.                 SDL_Delay(40);  
  164.             }  
  165.         }  
  166.         av_free_packet(packet);  
  167.     }  
  168.     sws_freeContext(img_convert_ctx);  
  169.   
  170. #if OUTPUT_YUV420P   
  171.     fclose(fp_yuv);  
  172. #endif   
  173.   
  174.     SDL_Quit();  
  175.   
  176.     av_free(out_buffer);  
  177.     av_free(pFrameYUV);  
  178.     avcodec_close(pCodecCtx);  
  179.     avformat_close_input(&pFormatCtx);  
  180.   
  181.     return 0;  
  182. }  



simplest_ffmpeg_player_su(SU版)代碼

標準版的基礎之上引入了SDL的Event。

效果如下:

(1)SDL彈出的窗口可以移動了
(2)畫面顯示是嚴格的40ms一幀

  1. /** 
  2.  * 最簡單的基於FFmpeg的視頻播放器2(SDL升級版) 
  3.  * Simplest FFmpeg Player 2(SDL Update) 
  4.  * 
  5.  * 雷霄驊 Lei Xiaohua 
  6.  * [email protected] 
  7.  * 中國傳媒大學/數字電視技術 
  8.  * Communication University of China / Digital TV Technology 
  9.  * http://blog.csdn.net/leixiaohua1020 
  10.  * 
  11.  * 第2版使用SDL2.0取代了第一版中的SDL1.2 
  12.  * Version 2 use SDL 2.0 instead of SDL 1.2 in version 1. 
  13.  * 
  14.  * 本程序實現了視頻文件的解碼和顯示(支持HEVC,H.264,MPEG2等)。 
  15.  * 是最簡單的FFmpeg視頻解碼方面的教程。 
  16.  * 通過學習本例子可以瞭解FFmpeg的解碼流程。 
  17.  * 本版本中使用SDL消息機制刷新視頻畫面。 
  18.  * This software is a simplest video player based on FFmpeg. 
  19.  * Suitable for beginner of FFmpeg. 
  20.  *  
  21.  * Version: 2 
  22.  */  
  23.   
  24.   
  25. #include "stdafx.h"  
  26.   
  27. extern "C"  
  28. {  
  29. #include "libavcodec/avcodec.h"  
  30. #include "libavformat/avformat.h"  
  31. #include "libswscale/swscale.h"  
  32.     //SDL  
  33. #include "sdl/SDL.h"  
  34. #include "sdl/SDL_thread.h"  
  35.   
  36. };  
  37.   
  38.   
  39. //Refresh Event  
  40. #define SFM_REFRESH_EVENT  (SDL_USEREVENT + 1)  
  41.   
  42. int thread_exit=0;  
  43.   
  44. int sfp_refresh_thread(void *opaque)  
  45. {  
  46.     while (thread_exit==0) {  
  47.         SDL_Event event;  
  48.         event.type = SFM_REFRESH_EVENT;  
  49.         SDL_PushEvent(&event);  
  50.         SDL_Delay(40);  
  51.     }  
  52.     return 0;  
  53. }  
  54.   
  55.   
  56. int _tmain(int argc, _TCHAR* argv[])  
  57. {  
  58.   
  59.     AVFormatContext *pFormatCtx;  
  60.     int             i, videoindex;  
  61.     AVCodecContext  *pCodecCtx;  
  62.     AVCodec         *pCodec;  
  63.     char filepath[]="src01_480x272_22.h265";  
  64.   
  65.     av_register_all();  
  66.     avformat_network_init();  
  67.     pFormatCtx = avformat_alloc_context();  
  68.   
  69.     if(avformat_open_input(&pFormatCtx,filepath,NULL,NULL)!=0){  
  70.         printf("Couldn't open input stream.(無法打開輸入流)\n");  
  71.         return -1;  
  72.     }  
  73.     if(av_find_stream_info(pFormatCtx)<0)  
  74.     {  
  75.         printf("Couldn't find stream information.(無法獲取流信息)\n");  
  76.         return -1;  
  77.     }  
  78.     videoindex=-1;  
  79.     for(i=0; i<pFormatCtx->nb_streams; i++)   
  80.         if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO)  
  81.         {  
  82.             videoindex=i;  
  83.             break;  
  84.         }  
  85.     if(videoindex==-1)  
  86.     {  
  87.         printf("Didn't find a video stream.(沒有找到視頻流)\n");  
  88.         return -1;  
  89.     }  
  90.     pCodecCtx=pFormatCtx->streams[videoindex]->codec;  
  91.     pCodec=avcodec_find_decoder(pCodecCtx->codec_id);  
  92.     if(pCodec==NULL)  
  93.     {  
  94.         printf("Codec not found.(沒有找到解碼器)\n");  
  95.         return -1;  
  96.     }  
  97.     if(avcodec_open2(pCodecCtx, pCodec,NULL)<0)  
  98.     {  
  99.         printf("Could not open codec.(無法打開解碼器)\n");  
  100.         return -1;  
  101.     }  
  102.     AVFrame *pFrame,*pFrameYUV;  
  103.     pFrame=avcodec_alloc_frame();  
  104.     pFrameYUV=avcodec_alloc_frame();  
  105.     uint8_t *out_buffer=(uint8_t *)av_malloc(avpicture_get_size(PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));  
  106.     avpicture_fill((AVPicture *)pFrameYUV, out_buffer, PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height);  
  107. //------------SDL----------------  
  108.     if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {    
  109.         printf( "Could not initialize SDL - %s\n", SDL_GetError());   
  110.         return -1;  
  111.     }   
  112.   
  113.     int screen_w=0,screen_h=0;  
  114.     SDL_Window *screen;   
  115.     //SDL 2.0 Support for multiple windows  
  116.     screen_w = pCodecCtx->width;  
  117.     screen_h = pCodecCtx->height;  
  118.     screen = SDL_CreateWindow("Simplest ffmpeg player's Window", SDL_WINDOWPOS_UNDEFINED, SDL_WINDOWPOS_UNDEFINED,  
  119.         screen_w, screen_h,  
  120.         SDL_WINDOW_OPENGL);  
  121.   
  122.     if(!screen) {    
  123.         printf("SDL: could not create window - exiting:%s\n",SDL_GetError());    
  124.         return -1;  
  125.     }  
  126.   
  127.   
  128.     SDL_Renderer* sdlRenderer = SDL_CreateRenderer(screen, -1, 0);    
  129.     //IYUV: Y + U + V  (3 planes)  
  130.     //YV12: Y + V + U  (3 planes)  
  131.     SDL_Texture* sdlTexture = SDL_CreateTexture(sdlRenderer, SDL_PIXELFORMAT_IYUV, SDL_TEXTUREACCESS_STREAMING,pCodecCtx->width,pCodecCtx->height);    
  132.   
  133.     SDL_Rect sdlRect;    
  134.     sdlRect.x = 0;    
  135.     sdlRect.y = 0;    
  136.     sdlRect.w = screen_w;    
  137.     sdlRect.h = screen_h;    
  138.   
  139.     int ret, got_picture;  
  140.   
  141.     AVPacket *packet=(AVPacket *)av_malloc(sizeof(AVPacket));  
  142.     //Output Info-----------------------------  
  143.     printf("File Information(文件信息)---------------------\n");  
  144.     av_dump_format(pFormatCtx,0,filepath,0);  
  145.     printf("-------------------------------------------------\n");  
  146.       
  147.     struct SwsContext *img_convert_ctx;  
  148.     img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);   
  149.     //--------------  
  150.     SDL_Thread *video_tid = SDL_CreateThread(sfp_refresh_thread,NULL,NULL);  
  151.     //  
  152.     //Event Loop  
  153.     SDL_Event event;  
  154.     for (;;) {  
  155.         //Wait  
  156.         SDL_WaitEvent(&event);  
  157.         if(event.type==SFM_REFRESH_EVENT){  
  158.             //------------------------------  
  159.             if(av_read_frame(pFormatCtx, packet)>=0){  
  160.                 if(packet->stream_index==videoindex){  
  161.                     ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);  
  162.                     if(ret < 0){  
  163.                         printf("Decode Error.(解碼錯誤)\n");  
  164.                         return -1;  
  165.                     }  
  166.                     if(got_picture){  
  167.                         sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);  
  168.                         //SDL---------------------------  
  169.                         SDL_UpdateTexture( sdlTexture, &sdlRect, pFrameYUV->data[0], pFrameYUV->linesize[0] );    
  170.                         SDL_RenderClear( sdlRenderer );    
  171.                         SDL_RenderCopy( sdlRenderer, sdlTexture, &sdlRect, &sdlRect );    
  172.                         SDL_RenderPresent( sdlRenderer );    
  173.                         //SDL End-----------------------  
  174.                     }  
  175.                 }  
  176.                 av_free_packet(packet);  
  177.             }else{  
  178.                 //Exit Thread  
  179.                 thread_exit=1;  
  180.                 break;  
  181.             }  
  182.         }  
  183.   
  184.     }  
  185.   
  186.     sws_freeContext(img_convert_ctx);  
  187.   
  188.     SDL_Quit();  
  189.     //--------------  
  190.     av_free(out_buffer);  
  191.     av_free(pFrameYUV);  
  192.     avcodec_close(pCodecCtx);  
  193.     avformat_close_input(&pFormatCtx);  
  194.   
  195.     return 0;  
  196. }  



運行結果




下載

CSDN完整工程下載地址:

http://download.csdn.net/detail/leixiaohua1020/7826277

更新(2014.10.5)==============================

版本升級至2.2。

1.新版本在原版本的基礎上增加了“flush_decoder”功能。當av_read_frame()循環退出的時候,實際上解碼器中可能還包含剩餘的幾幀數據。因此需要通過“flush_decoder”將這幾幀數據輸出。“flush_decoder”功能簡而言之即直接調用avcodec_decode_video2()獲得AVFrame,而不再向解碼器傳遞AVPacket。參考代碼如下:

  1. //FIX: Flush Frames remained in Codec  
  2. while (1) {  
  3.     ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);  
  4.     if (ret < 0)  
  5.         break;  
  6.     if (!got_picture)  
  7.         break;  
  8.     sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);  
  9.     //處理...  
  10. }  

2.爲了更好地適應Linux等其他操作系統,做到可以跨平臺,去除掉了VC特有的一些函數。比如“#include "stdafx.h"”,“_tmain()”等等。

具體信息參見文章:avcodec_decode_video2()解碼視頻後丟幀的問題解決

2.2版下載地址:http://download.csdn.net/detail/leixiaohua1020/8002337

更新(2015.1.3)==============================

版本升級至2.3。

新增一個工程:最簡單的基於FFmpeg的解碼器-純淨版(不包含libavformat)

2.3版下載地址:http://download.csdn.net/detail/leixiaohua1020/8322307



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章