AVCodecContext
這是一個描述編解碼器上下文的數據結構,包含了衆多編解碼器需要的參數信息
如果是單純使用libavcodec,這部分信息需要調用者進行初始化;如果是使用整個FFMPEG庫,這部分信息在調用 av_open_input_file和av_find_stream_info的過程中根據文件的頭信息及媒體流內的頭部信息完成初始化。其中幾個主要 域的釋義如下:
- extradata/extradata_size: 這個buffer中存放了解碼器可能會用到的額外信息,在av_read_frame中填充。一般來說,首先,某種具體格式的demuxer在讀取格式頭 信息的時候會填充extradata,其次,如果demuxer沒有做這個事情,比如可能在頭部壓根兒就沒有相關的編解碼信息,則相應的parser會繼 續從已經解複用出來的媒體流中繼續尋找。在沒有找到任何額外信息的情況下,這個buffer指針爲空。
- time_base:
- width/height:視頻的寬和高。
- sample_rate/channels:音頻的採樣率和信道數目。
- sample_fmt: 音頻的原始採樣格式。
- codec_name/codec_type/codec_id/codec_tag:編解碼器的信息。
AVStream
該結構體描述一個媒體流
主要域的釋義如下,其中大部分域的值可以由av_open_input_file根據文件頭的信息確定,缺少的信息需要通過調用av_find_stream_info讀幀及軟解碼進一步獲取:
- index/id:index對應流的索引,這個數字是自動生成的,根據index可以從AVFormatContext::streams表中索引到該流;而id則是流的標識,依賴於具體的容器格式。比如對於MPEG TS格式,id就是pid。
- time_base:流的時間基準,是一個實數,該流中媒體數據的pts和dts都將以這個時間基準爲粒度。通常,使用av_rescale/av_rescale_q可以實現不同時間基準的轉換。
- start_time:流的起始時間,以流的時間基準爲單位,通常是該流中第一個幀的pts。
- duration:流的總時間,以流的時間基準爲單位。
- need_parsing:對該流parsing過程的控制域。
- nb_frames:流內的幀數目。
- r_frame_rate/framerate/avg_frame_rate:幀率相關。
- codec:指向該流對應的AVCodecContext結構,調用av_open_input_file時生成。
- parser:指向該流對應的AVCodecParserContext結構,調用av_find_stream_info時生成。
AVFormatContext
這個結構體描述了一個媒體文件或媒體流的構成和基本信息
這是FFMpeg中最爲基本的一個結構,是其他所有結構的根,是一個多媒體文件或流的根本抽象。其中:nb_streams和streams所表示的AVStream結構指針數組包含了所有內嵌媒體流的描述;iformat和oformat指向對應的demuxer和muxer指針;pb則指向一個控制底層數據讀寫的ByteIOContext結構。
- start_time和duration是從streams數組的各個AVStream中推斷出的多媒體文件的起始時間和長度,以微妙爲單位。
通常,這個結構由av_open_input_file在內部創建並以缺省值初始化部分成員。但是,如果調用者希望自己創建該結構,則需要顯式爲該結構的一些成員置缺省值——如果沒有缺省值的話,會導致之後的動作產生異常。以下成員需要被關注:
- probesize
- mux_rate
- packet_size
- flags
- max_analyze_duration
- key
- max_index_size
- max_picture_buffer
- max_delay
AVPacket
AVPacket定義在avcodec.h中
FFMPEG使用AVPacket來暫存解複用之後、解碼之前的媒體數據(一個音/視頻幀、一個字幕包等)及附加信息(解碼時間戳、顯示時間戳、時長等)。其中:
- dts 表示解碼時間戳,pts表示顯示時間戳,它們的單位是所屬媒體流的時間基準。
- stream_index 給出所屬媒體流的索引;
- data 爲數據緩衝區指針,size爲長度;
- duration 爲數據的時長,也是以所屬媒體流的時間基準爲單位;
- pos 表示該數據在媒體流中的字節偏移量;
- destruct 爲用於釋放數據緩衝區的函數指針;
- flags 爲標誌域,其中,最低爲置1表示該數據是一個關鍵幀。
AVPacket 結構本身只是個容器,它使用data成員指向實際的數據緩衝區,這個緩衝區可以通過av_new_packet創建,可以通過 av_dup_packet 拷貝,也可以由FFMPEG的API產生(如av_read_frame),使用之後需要通過調用av_free_packet釋放。
av_free_packet調用的是結構體本身的destruct函數,它的值有兩種情況:(1)av_destruct_packet_nofree或 0;(2)av_destruct_packet,其中,前者僅僅是將data和size的值清0而已,後者纔會真正地釋放緩衝區。FFMPEG內部使用 AVPacket結構建立緩衝區裝載數據,同時提供destruct函數,如果FFMPEG打算自己維護緩衝區,則將destruct設爲 av_destruct_packet_nofree,用戶調用av_free_packet清理緩衝區時並不能夠將其釋放;如果FFMPEG不會再使用 該緩衝區,則將destruct設爲av_destruct_packet,表示它能夠被釋放。對於緩衝區不能夠被釋放的AVPackt,用戶在使用之前 最好調用av_dup_packet進行緩衝區的克隆,將其轉化爲緩衝區能夠被釋放的AVPacket,以免對緩衝區的不當佔用造成異常錯誤。而 av_dup_packet會爲destruct指針爲av_destruct_packet_nofree的AVPacket新建一個緩衝區,然後將原 緩衝區的數據拷貝至新緩衝區,置data的值爲新緩衝區的地址,同時設destruct指針爲av_destruct_packet。
時間信息
時間信息用於實現多媒體同步。
同步的目的在於展示多媒體信息時,能夠保持媒體對象之間固有的時間關係。同步有兩類,一類是流內同步,其主要任務是保證單個媒體流內的時間關係,以滿足感知 要求,如按照規定的幀率播放一段視頻;另一類是流間同步,主要任務是保證不同媒體流之間的時間關係,如音頻和視頻之間的關係(lipsync)。
對於固定速率的媒體,如固定幀率的視頻或固定比特率的音頻,可以將時間信息(幀率或比特率)置於文件首部(header),如AVI的hdrl List、MP4的moov box,還有一種相對複雜的方案是將時間信息嵌入媒體流的內部,如MPEG TS和Real video,這種方案可以處理變速率的媒體,亦可有效避免同步過程中的時間漂移。
FFMPEG會爲每一個數據包打上時間標 籤,以更有效地支持上層應用的同步機制。時間標籤有兩種,一種是DTS,稱爲解碼時間標籤,另一種是PTS,稱爲顯示時間標籤。對於聲音來說 ,這兩個時間標籤是相同的,但對於某些視頻編碼格式,由於採用了雙向預測技術,會造成DTS和PTS的不一致。
時間信息的獲取:
通過調用av_find_stream_info,多媒體應用可以從AVFormatContext對象中拿到媒體文件的時間信息:主要是總時間長度和開始時間,此外還有與時間信息相關的比特率和文件大小。其中時間信息的單位是AV_TIME_BASE:微秒。