音視頻相關知識

      DEMUXDemultiplexer的縮寫,中文意思是解複用器。主要作用是將多路信號分解恢復成多個原來信號的設備,即分離一個文件中的視頻部分或音頻部分。軟件中的DEMUX是該設備的驅動參數設置接口。

MUXMultiplex的縮寫,意爲多路傳輸,其實就是混流封裝的意思,是指把視頻素材和音頻素材封裝到一個單獨的文件中。

注意:

muxingdemuxing的整個過程,都不對原來的視頻、音頻或字幕重新編碼。混流(封裝、打包)後的文件,可以通過分離(分解、解包)操作,獲得與原始素材一摸一樣的獨立的視頻、音頻和字幕文件。

 

編碼(encoding) :指的是通過一定協議或規則把一段聲音或圖像轉化成計算機數字文件的過程。用來執行編碼工作的軟件叫編碼器CoderEncoder);

解碼(decoding):把編碼過的媒體文件重新轉化成聲音或圖像。用來執行解碼工作的軟件叫解碼器

聲音與圖像是兩種不同的媒體,它們分別對應人的兩種不同感官。作爲不同的媒體,我們只能用專門針對聲音的軟件或是專門針對視頻的軟件去分別分析處理音頻流(Audio Stream)與視頻流(Video Stream)。

 

     所謂合成,只是把音頻流和視頻流用一個容器文件(Container)封裝起來,其實裏面還是各自獨立的。我們在播放視頻文件的時候總是先調用分離器(Splitter),將封裝合成的視頻分離成獨立的音頻和視頻碼流,然後才調用解碼器對這些獨立的音頻流和視頻流進行解碼輸出。

 

以媒體播放器裏面播放mp4文件爲例:

1.播放器打開視頻源文件

2.播放器調用分離器將視頻文件分解爲單獨的音頻流和視頻流

3.播放器調用音頻解碼器對音頻流進行解碼,同時調用視頻解碼器對視頻流進行解碼

4.播放器依據同樣的時間線將解碼後的音頻流和視頻流輸出到播放窗口並使之保持同步

 

Filter(濾鏡)

一、分離器:

1MPEG2 TS分離器:

月光(全稱Moonlight-Elecard MPEG2 Demultiplexer),兼容性非常好,是首選的MPEG2分離器。

Gabest(就是MpegSplitter),MPC的作者Gabest編寫的分離器。

NVIDIA Transport DemuxnVidia自家的分離器),是PureVideo家族成員之一,只能配合自家族的視頻音頻解碼器,配合N卡比較好。

2H264的分離器:

常見的有Gabest MP4分離器,就是MP4splitter,也是Gabest編寫的,Halli的分離器和NDigital分離器等。

3HD-WMV的分離器:

 

二、視頻解碼器

1MPEG2視頻解碼器:

     winDVD的視頻解碼器:InterVideo Video Decoder

     PowerDVDMPEG2視頻解碼器:CyberLink DTV Video/SPFilter  CyberLink Video/SPCyberLink Video/SP Filter

     月光視頻解碼器:Moonlight-Elecard MPEG2 Video Decoder3.X版本和4.0X版本,名爲Elecard MPEG-2 Video Decoder

     低端電腦推薦使用Sonic Cinemastervideo,畫質一般,強項是能打開硬件加速

     PureVideo家族中的MPEG2視頻解碼器NVIDIA Video Decoder,只能用於N67系列的顯卡上

 

2H264的視頻解碼器

     CoreAVCH264視頻解碼器:CoreAVC DirectShow Video Decoder

    月光的H264解碼器,全稱爲Moonlight H264 Video Decoder

     ffdshow的解碼器,全稱爲ffdshow MPEG-4 Video Decoder

 

3HD-WMV

只能用上微軟自家的解碼器,N67系以上能打開加速

HDTV視頻解碼cpu佔用很高

 

4、音頻解碼器

ffdsshow,月光音頻解碼器、WinDVD的音頻解碼器、PowerDVD的音頻解碼器、Ac3Filter音頻解碼器

 

音視頻處理的一般流程

1.數據採集:

攝像機及拾音器蒐集視頻及音頻數據(原始數據)

攝像機:CCDCMOS

拾音器:聲電轉換裝置(咪頭)、音頻放大電路

 

2.數據編碼:

使用相關硬件或軟件對音視頻原始數據進行編碼處理(數字化)及加工(如音視頻混合、打包、封裝燈),得到可用的音視頻數據

編碼方式:CBRVBR

編碼格式

視頻:H.265H.264MPEG-4等,封裝容器有TSMKVAVIMP4

音頻:G.711uAACOpus等,封裝有MP3OGGAAC

 

3、數據傳輸

將編碼完成後的音頻數據進行傳輸

傳輸協議:RTPRTCPRTSPRTMPHTTPHLSHTTP Live Streaming

控制信令:SIPSDPSNMP

 

 

4、解碼數據

 

5、播放顯示

 


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章