FFmpeg開發指南

FFmpeg是一個集錄制、轉換、音/視頻編碼解碼功能爲一體的完整的開源解決方案。FFmpeg的開發是基於Linux操作系統,但是可以在大多數操作系統中編譯和使用。FFmpeg支持MPEG、DivX、MPEG4、AC3、DV、FLV等40多種編碼,AVI、MPEG、OGG、Matroska、ASF等90多種解碼.TCPMP, VLC, MPlayer等開源播放器都用到了FFmpeg。     一、ffmpeg介紹

ffmpeg軟件包經編譯過後將生成三個可執行文件,ffmpeg,ffserver,ffplay。其中ffmpeg用於對媒體文件進行處理,ffserver是一個http的流媒體服務器,ffplay是一個基於SDL的簡單播放器。 ffmpeg中有五個庫文件,libavcodec,libavformat,libavutil,libswscale,libpostproc,其中庫libavcodec,libavformat用於對媒體文件進行處理,如格式的轉換;libavutil是一個通用的小型函數庫,該庫中實現了CRC校驗碼的產生,128位整數數學,最大公約數,整數開方,整數取對數,內存分配,大端小端格式的轉換等功能;libswscale,libpostproc暫時不知道何用。     ffmpeg下載 subversion: http://subversion.tigris.org/downloads/subversion-1.3.2.tar.gz tar zvxf subversion-1.3.2.tar.gz cd subversion-1.3.2 ./configure --with-apr=/usr/local/apr-httpd--with-apr-util=/usr/local/apr-util-httpd/ make  make install 如果安裝了FC6,它已經帶了svn,不用裝了。 ffmpeg的下載:我們就可以通過svn命令獲取最新的ffmpeg,命令如下: svn checkout svn://svn.mplayerhq.hu/ffmpeg/trunk ffmpeg

windows下編譯ffmpeg源代碼

http://blog.csdn.net/jszj/article/details/4028716

  二、ffmpeg編碼解碼

先給出幾個概念,以在後面的分析中方便理解 Container:在音視頻中的容器,一般指的是一種特定的文件格式,裏面指明瞭所包含的 音視頻,字幕等相關信息 Stream:這個詞有些微妙,很多地方都用到,比如TCP,SVR4系統等,其實在音視頻,你 可以理解爲單純的音頻數據或者視頻數據等 Frames:這個概念不是很好明確的表示,指的是Stream中的一個數據單元,要真正對這 個概念有所理解,可能需要看一些音視頻編碼解碼的理論知識 Packet:是Stream的raw數據 Codec:Coded + Decoded 其實這些概念在在FFmpeg中都有很好的體現,我們在後續分析中會慢慢看到。

基本上來說,處理視頻和音頻流是很容易的:

 

10 從video.avi文件中打開視頻流video_stream

20 從視頻流中讀取包到幀中

30 如果這個幀還不完整,跳到20

40 對這個幀進行一些操作

50 跳回到20

在這個程序中使用ffmpeg來處理多種媒體是相當容易的,雖然很多程序可能在對幀進行操作的時候非常的複雜。因此在這篇指導中,我們將打開一個文件,讀取裏面的視頻流,而且我們對幀的操作將是把這個幀寫到一個PPM文件中。




#include <inttypes.h>
#include <stdint.h>


#ifdef __cplusplus
extern "C" 
{
	#include "libavutil/avutil.h"
	#include "libavcodec/avcodec.h"
	#include "libavformat/avformat.h"
	#include "libavdevice/avdevice.h"
	#include "libswscale/swscale.h"
}
#endif


#pragma comment(lib,"avutil.lib")
#pragma comment(lib,"avcodec.lib")
#pragma comment(lib,"avformat.lib")
#pragma comment(lib,"swscale.lib")


void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame);
int img_convert2(AVPicture *dst, int dst_pix_fmt,AVPicture *src, int src_pix_fmt,int src_width, int src_height);


int main(int argc, char* argv[])
{
	av_register_all();


	AVFormatContext *pFormatCtx;
	
	// Open video file
	
	if(av_open_input_file(&pFormatCtx, argv[1], NULL, 0, NULL)!=0)
		return -1; // Couldn't open file


	if(av_find_stream_info(pFormatCtx)<0)	
		return -1; // Couldn't find stream information


	int i = 0;	
	int videoStream=-1;
	AVCodecContext *pCodecCtx = NULL;
	for(i=0; i < pFormatCtx->nb_streams; i++)
	{
		if(pFormatCtx->streams[i]->codec->codec_type==CODEC_TYPE_VIDEO)
		{
			videoStream = i;
			break;
		}
	}


	if(videoStream==-1)		
		return -1; // Didn't find a video stream
	
	// Get a pointer to the codec context for the video stream
	pCodecCtx=pFormatCtx->streams[videoStream]->codec;


	AVCodec *pCodec = NULL;
	
	// Find the decoder for the video stream
	pCodec=avcodec_find_decoder(pCodecCtx->codec_id);
	
	if(pCodec==NULL)
	{	
		fprintf(stderr, "Unsupported codec!\n");	
		return -1; // Codec not found	
	}
	
	// Open codec	
	if(avcodec_open(pCodecCtx, pCodec)<0)	
		return -1; // Could not open codec




	AVFrame *pFrame,*pFrameRGB;	
	// Allocate video frame
	pFrame=avcodec_alloc_frame();
	pFrameRGB=avcodec_alloc_frame();	
	if(pFrameRGB==NULL)	
		return -1;


	uint8_t *buffer;	
	int numBytes;	
	// Determine required buffer size and allocate buffer
	numBytes=avpicture_get_size(PIX_FMT_RGB24, pCodecCtx->width,pCodecCtx->height);
	buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));
	avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24,pCodecCtx->width, pCodecCtx->height);


	int frameFinished;
	
	AVPacket packet;
	
	i=0;


	while(av_read_frame(pFormatCtx, &packet)>=0)
	{	
		// Is this a packet from the video stream?		
		if(packet.stream_index==videoStream)
		{	
			// Decode video frame	
			avcodec_decode_video(pCodecCtx, pFrame, &frameFinished,packet.data, packet.size);
			// Did we get a video frame?	
			if(frameFinished)
			{	
				// Convert the image from its native format to RGB	
				img_convert2((AVPicture *)pFrameRGB,PIX_FMT_RGB24,(AVPicture*)pFrame, pCodecCtx->pix_fmt,	
					pCodecCtx->width, pCodecCtx->height);
				
				// Save the frame to disk		
				if(++i<=100)	
					SaveFrame(pFrameRGB, pCodecCtx->width,pCodecCtx->height, i);
				
			}
			
		}
		
		// Free the packet that was allocated by av_read_frame
		av_free_packet(&packet);	
	}




	// Free the RGB image	
	av_free(buffer);
	
	av_free(pFrameRGB);
	
	// Free the YUV frame	
	av_free(pFrame);
	
	// Close the codec	
	avcodec_close(pCodecCtx);


	av_close_input_file(pFormatCtx);




	return 0;
}




void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame)
{
	
	FILE *pFile;
	
	char szFilename[32];
	
	int y;
	
	// Open file
	
	sprintf(szFilename, "frame%d.ppm", iFrame);
	
	pFile=fopen(szFilename, "wb");
	
	if(pFile==NULL)
		
		return;
	
	// Write header
	
	fprintf(pFile, "P6\n%d %d\n255\n", width, height);
	
	// Write pixel data
	
	for(y=0; y<height; y++)
		
		fwrite(pFrame->data[0]+y*pFrame->linesize[0], 1, width*3, pFile);
	
	// Close file
	
	fclose(pFile);
	
}


int img_convert2(AVPicture *dst, int dst_pix_fmt,				
                AVPicture *src, int src_pix_fmt,				
                int src_width, int src_height)				
{
	
    int w;	
    int h;
    SwsContext *pSwsCtx;
	w = src_width;	
    h = src_height;	
    pSwsCtx = sws_getContext(w, h, src_pix_fmt, w, h, dst_pix_fmt,SWS_BICUBIC, NULL, NULL, NULL);
	
    sws_scale(pSwsCtx,src->data, src->linesize,0, h, dst->data, dst->linesize);
	
	//這裏釋放掉pSwsCtx的內存
	sws_freeContext(pSwsCtx);


    return 0;	
}


三、ffmpeg框架代碼

轉載http://blog.csdn.net/wstarx/article/details/1572393

FFmpeg主目錄下主要有libavcodec、libavformat和libavutil等子目錄。其中libavcodec用於存放各個encode/decode模塊,libavformat用於存放muxer/demuxer模塊,libavutil用於存放內存操作等常用模塊。

以flash movie的flv文件格式爲例, muxer/demuxer的flvenc.c和flvdec.c文件在libavformat目錄下,encode/decode的mpegvideo.c和h263de.c在libavcodec目錄下。

muxer/demuxer與encoder/decoder定義與初始化

muxer/demuxer和encoder/decoder在FFmpeg中的實現代碼裏,有許多相同的地方,而二者最大的差別是muxer和demuxer分別是不同的結構AVOutputFormat與AVInputFormat,而encoder和decoder都是用的AVCodec結構。

muxer/demuxer和encoder/decoder在FFmpeg中相同的地方有:

二者都是在main()開始的av_register_all()函數內初始化的。

二者都是以鏈表的形式保存在全局變量中的。

muxer/demuxer是分別保存在全局變量AVOutputFormat *first_oformat與AVInputFormat *first_iformat中的。

encoder/decoder都是保存在全局變量AVCodec *first_avcodec中的。

二者都用函數指針的方式作爲開放的公共接口。

demuxer開放的接口有:

int (*read_probe)(AVProbeData *);

int(*read_header)(struct AVFormatContext *,AVFormatParameters *ap);

int (*read_packet)(struct AVFormatContext*, AVPacket *pkt);

int (*read_close)(struct AVFormatContext*);

int (*read_seek)(struct AVFormatContext *,int stream_index, int64_t timestamp, int flags);

muxer開放的接口有:

int (*write_header)(struct AVFormatContext *);

int (*write_packet)(struct AVFormatContext *, AVPacket*pkt);

int (*write_trailer)(struct AVFormatContext *);

encoder/decoder的接口都是一樣的,只不過二者分別只實現encoder和decoder函數:

int (*init)(AVCodecContext *);

int (*encode)(AVCodecContext *, uint8_t *buf, intbuf_size, void *data);

int (*close)(AVCodecContext *);

int (*decode)(AVCodecContext *, void *outdata, int*outdata_size, uint8_t *buf, int buf_size);

仍以flv文件爲例來說明muxer/demuxer的初始化。

在libavformat/allformats.c文件的av_register_all(void)函數中,通過執行

REGISTER_MUXDEMUX(FLV, flv);

將支持flv 格式的flv_muxerflv_demuxer變量分別註冊到全局變量first_oformatfirst_iformat鏈表的最後位置。

其中flv_muxer在libavformat/flvenc.c中定義如下:

AVOutputFormat flv_muxer = {

"flv",

"flv format",

"video/x-flv",

"flv",

sizeof(FLVContext),

#ifdef CONFIG_LIBMP3LAME

CODEC_ID_MP3,

#else // CONFIG_LIBMP3LAME

CODEC_ID_NONE,

CODEC_ID_FLV1,

flv_write_header,

flv_write_packet,

flv_write_trailer,

.codec_tag= (const AVCodecTag*[]){flv_video_codec_ids,flv_audio_codec_ids, 0},

}

AVOutputFormat結構的定義如下:

typedef struct AVOutputFormat {

const char *name;

const char *long_name;

const char *mime_type;

const char *extensions; /**< comma separated filenameextensions */

/** size of private data so that it can be allocated inthe wrapper */

int priv_data_size;

/* output support */

enum CodecID audio_codec; /**< default audio codec */

enum CodecID video_codec; /**<default video codec */

int (*write_header)(struct AVFormatContext *);

int (*write_packet)(struct AVFormatContext *, AVPacket*pkt);

int (*write_trailer)(struct AVFormatContext *);

/** can use flags: AVFMT_NOFILE, AVFMT_NEEDNUMBER,AVFMT_GLOBALHEADER */

int flags;

/** currently only used to set pixel format if notYUV420P */

int (*set_parameters)(struct AVFormatContext *,AVFormatParameters *);

int (*interleave_packet)(struct AVFormatContext *,AVPacket *out, AVPacket *in, int flush);

/**

* list of supported codec_id-codec_tag pairs, ordered by"better choice first"

* the arrays are all CODEC_ID_NONE terminated

*/

const struct AVCodecTag **codec_tag;

/* private fields */

struct AVOutputFormat *next;

} AVOutputFormat;

AVOutputFormat結構的定義可知,flv_muxer變量初始化的第一、第二個成員分別爲該muxer的名稱與長名稱,第三、第四個成員爲所對應MIMIEType和後綴名,第五個成員是所對應的私有結構的大小,第六、第七個成員爲所對應的音頻編碼和視頻編碼類型ID,接下來就是三個重要的接口函數,該muxer的功能也就是通過調用這三個接口實現的。

flv_demuxer在libavformat/flvdec.c中定義如下, 與flv_muxer類似,在這兒主要也是設置了5個接口函數,其中flv_probe接口用途是測試傳入的數據段是否是符合當前文件格式,這個接口在匹配當前demuxer的時候會用到。

AVInputFormat flv_demuxer = {

"flv",

"flv format",

0,

flv_probe,

flv_read_header,

flv_read_packet,

flv_read_close,

flv_read_seek,

.extensions = "flv",

.value = CODEC_ID_FLV1,

};

在上述av_register_all(void)函數中通過執行libavcodec/allcodecs.c文件裏的avcodec_register_all(void)函數來初始化全部的encoder/decoder。

因爲不是每種編碼方式都支持encode和decode,所以有以下三種註冊方式:

#define REGISTER_ENCODER(X,x) /

if(ENABLE_##X##_ENCODER)register_avcodec(&x##_encoder)

#define REGISTER_DECODER(X,x) /

if(ENABLE_##X##_DECODER)register_avcodec(&x##_decoder)

#define REGISTER_ENCDEC(X,x)

REGISTER_ENCODER(X,x);REGISTER_DECODER(X,x)

如支持flv的flv_encoderflv_decoder變量就分別是在libavcodec/mpegvideo.c和libavcodec/h263de.c中創建的。

當前muxer/demuxer的匹配

在FFmpeg的文件轉換過程中,首先要做的就是根據傳入文件和傳出文件的後綴名匹配合適的demuxer和muxer。

匹配上的demuxer和muxer都保存在如下所示,定義在ffmpeg.c裏的全局變量file_iformatfile_oformat中:

static AVInputFormat *file_iformat;

static AVOutputFormat *file_oformat;

1. demuxer匹配

在libavformat/utils.c中的static AVInputFormat *av_probe_input_format2(AVProbeData*pd, int is_opened, int *score_max)函數用途是根據傳入的probe data數據,依次調用每個demuxer的read_probe接口,來進行該demuxer是否和傳入的文件內容匹配的判斷。其調用順序如下:

void parse_options(int argc, char **argv,const OptionDef *options)

static void opt_input_file(const char *filename)

static void opt_input_file(const char*filename)

int av_open_input_file(…… )

AVInputFormat *av_probe_input_format(AVProbeData *pd, intis_opened)

static AVInputFormat*av_probe_input_format2(……)

opt_input_file函數是在保存在const OptionDef options[]數組中,用於void parse_options(int argc, char **argv,const OptionDef *options)中解析argv裏的“-i” 參數,也就是輸入文件名時調用的。

2. muxer匹配

與demuxer的匹配不同,muxer的匹配是調用guess_format函數,根據main( ) 函數的argv裏的輸出文件後綴名來進行的。

void parse_options(int argc, char **argv,const OptionDef *options)

void parse_arg_file(const char *filename)

static void opt_output_file(const char*filename)

AVOutputFormat *guess_format(const char*short_name, const char *filename,

const char *mime_type)

當前encoder/decoder的匹配

main( )函數中除了解析傳入參數並初始化demuxer與muxer的parse_options( )函數以外,其他的功能都是在av_encode( )函數裏完成的。

在libavcodec/utils.c中有如下二個函數。

AVCodec *avcodec_find_encoder(enum CodecID id)

AVCodec *avcodec_find_decoder(enum CodecID id)

他們的功能就是根據傳入的CodecID,找到匹配的encoder和decoder。

av_encode( )函數的開頭,首先初始化各個AVInputStreamAVOutputStream,然後分別調用上述二個函數,並將匹配上的encoder與decoder分別保存在AVInputStream->AVStream*st->AVCodecContext *codec->struct AVCodec *codecAVOutputStream->AVStream*st->AVCodecContext *codec->struct AVCodec *codec變量中。

其他主要數據結構

1. AVFormatContext

AVFormatContext是FFMpeg格式轉換過程中實現輸入和輸出功能、保存相關數據的主要結構。每一個輸入和輸出文件,都在如下定義的指針數組全局變量中有對應的實體。

static AVFormatContext *output_files[MAX_FILES];

static AVFormatContext *input_files[MAX_FILES];

對於輸入和輸出,因爲共用的是同一個結構體,所以需要分別對該結構中如下定義的iformatoformat成員賦值。

struct AVInputFormat *iformat;

struct AVOutputFormat *oformat;

對一個AVFormatContext來說,二個成員不能同時有值,即一個AVFormatContext不能同時含有demuxer和muxer。

main( )函數開頭的parse_options( )函數中找到了匹配的muxer和demuxer之後,根據傳入的argv參數,初始化每個輸入和輸出的AVFormatContext結構,並保存在相應的output_filesinput_files指針數組中。

av_encode( )函數中,output_filesinput_files是作爲函數參數傳入後,在其他地方就沒有用到了。

2. AVCodecContext

保存AVCodec指針和與codec相關的數據,如video的width、height,audio的sample rate等。AVCodecContext中的codec_type,codec_id二個變量對於encoder/decoder的匹配來說,最爲重要。

enum CodecType codec_type; /* see CODEC_TYPE_xxx */

enum CodecID codec_id; /* see CODEC_ID_xxx */

如上所示,codec_type保存的是CODEC_TYPE_VIDEOCODEC_TYPE_AUDIO等媒體類型,

codec_id保存的是CODEC_ID_FLV1CODEC_ID_VP6F等編碼方式。

以支持flv格式爲例,在前述的av_open_input_file(…… ) 函數中,匹配到正確的AVInputFormatdemuxer後,通過av_open_input_stream( )函數中調用AVInputFormatread_header接口來執行flvdec.c中的flv_read_header( )函數。在flv_read_header( )函數內,根據文件頭中的數據,創建相應的視頻或音頻AVStream,並設置AVStreamAVCodecContext的正確的codec_type值。codec_id值是在解碼過程中flv_read_packet( )函數執行時根據每一個packet頭中的數據來設置的。

3. AVStream

AVStream結構保存與數據流相關的編解碼器,數據段等信息。比較重要的有如下二個成員:

AVCodecContext *codec; /**< codec context */

void *priv_data;

其中codec指針保存的就是上節所述的encoder或decoder結構。priv_data指針保存的是和具體編解碼流相關的數據,如下代碼所示,在ASF的解碼過程中,priv_data保存的就是ASFStream結構的數據。

AVStream *st;

ASFStream *asf_st;

… …

st->priv_data = asf_st;

4. AVInputStream/ AVOutputStream

根據輸入和輸出流的不同,前述的AVStream結構都是封裝在AVInputStream和 AVOutputStream結構中,在av_encode( )函數中使用。

AVInputStream中還保存的有與時間有關的信息。

AVOutputStream中還保存有與音視頻同步等相關的信息。

5. AVPacket

AVPacket結構定義如下,其是用於保存讀取的packet數據。

typedef struct AVPacket {

int64_t pts; ///< presentation time stamp in time_baseunits

int64_t dts; ///< decompression time stamp intime_base units

uint8_t *data;

int size;

int stream_index;

int flags;

int duration; ///< presentation duration in time_baseunits (0 if not available)

void (*destruct)(struct AVPacket *);

void *priv;

int64_t pos; ///< byte position in stream, -1 ifunknown

} AVPacket;

av_encode( )函數中,調用AVInputFormat(*read_packet)(struct AVFormatContext *,AVPacket *pkt);接口,讀取輸入文件的一幀數據保存在當前輸入AVFormatContextAVPacket成員中。

av_encode函數主要流程

av_encode( )函數是FFMpeg中最重要的函數,編解碼和輸出等大部分功能都在此函數內完成,因此有必要詳細描述一下這個函數的主要流程。

1. input streams initializing

2. output streams initializing

3. encoders and decoders initializing

4. set meta data information from input file if required.

5. write output files header

6. loop of handling each frame

a. read frame from input file:

b. decode frame data

c. encode new frame data

d. write new frame to output file

7. write output files trailer

8. close each encoder and decoder

 

 

 

參考資料:

http://ffmpeg.org/

www.ffmpeg.com.cn

http://www.libsdl.org/

 

FFmpeg tutorial

英文原文地址:http://www.dranger.com/ffmpeg/ 轉載翻譯博客地址:http://blog.sina.com.cn/s/blog_46dc65a90100a91b.html 文中涉及的源碼打包地址:http://www.dranger.com/ffmpeg/ffmpegsource.tar.gz

FFmpeg介紹及參數詳細說明

http://blog.csdn.net/liangkaiming/article/details/5798898

ffmpeg編譯及使用

http://lvzun.iteye.com/blog/706121

windows下編譯ffmpeg源代碼

http://blog.csdn.net/jszj/article/details/4028716

FFMPEG+SDL最新庫文件和源文件

http://download.csdn.net/detail/sonicx24/3740122

使用ffmpeg+ffserver+ffplay實現視頻點播

http://blog.csdn.net/qiuchangyong/article/details/6623901

讓ffmpeg支持RMVB解碼

http://hi.baidu.com/jingxshi/blog/item/7aedb3d94e4818e539012fe3.html

使用ffmpeg進行攝像頭捕獲 http://blog.simophin.net/?p=825&cpage=1

轉載自http://blog.csdn.net/byxdaz/article/details/7316304
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章