DEMUX是Demultiplexer的縮寫,中文意思是解複用器。主要作用是將多路信號分解恢復成多個原來信號的設備,即分離一個文件中的視頻部分或音頻部分。軟件中的DEMUX是該設備的驅動參數設置接口。
MUX是Multiplex的縮寫,意爲“多路傳輸”,其實就是“混流”、“封裝”的意思,是指把視頻素材和音頻素材封裝到一個單獨的文件中。
注意:
muxing與demuxing的整個過程,都不對原來的視頻、音頻或字幕重新編碼。混流(封裝、打包)後的文件,可以通過分離(分解、解包)操作,獲得與原始素材一摸一樣的獨立的視頻、音頻和字幕文件。
編碼(encoding) :指的是通過一定協議或規則把一段聲音或圖像轉化成計算機數字文件的過程。用來執行編碼工作的軟件叫“編碼器”(Coder或Encoder);
解碼(decoding):把編碼過的媒體文件重新轉化成聲音或圖像。用來執行解碼工作的軟件叫“解碼器”。
聲音與圖像是兩種不同的媒體,它們分別對應人的兩種不同感官。作爲不同的媒體,我們只能用專門針對聲音的軟件或是專門針對視頻的軟件去分別分析處理音頻流(Audio Stream)與視頻流(Video Stream)。
所謂“合成”,只是把音頻流和視頻流用一個容器文件(Container)封裝起來,其實裏面還是各自獨立的。我們在播放視頻文件的時候總是先調用分離器(Splitter),將封裝合成的視頻“分離”成獨立的音頻和視頻碼流,然後才調用解碼器對這些獨立的音頻流和視頻流進行解碼輸出。
以媒體播放器裏面播放mp4文件爲例:
1.播放器打開視頻源文件
2.播放器調用分離器將視頻文件分解爲單獨的音頻流和視頻流
3.播放器調用音頻解碼器對音頻流進行解碼,同時調用視頻解碼器對視頻流進行解碼
4.播放器依據同樣的時間線將解碼後的音頻流和視頻流輸出到播放窗口並使之保持同步
Filter(濾鏡)
一、分離器:
1、MPEG2 TS分離器:
月光(全稱Moonlight-Elecard MPEG2 Demultiplexer),兼容性非常好,是首選的MPEG2分離器。
Gabest(就是MpegSplitter),MPC的作者Gabest編寫的分離器。
NVIDIA Transport Demux(nVidia自家的分離器),是PureVideo家族成員之一,只能配合自家族的視頻音頻解碼器,配合N卡比較好。
2、H264的分離器:
常見的有Gabest MP4分離器,就是MP4splitter,也是Gabest編寫的,Halli的分離器和NDigital分離器等。
3、HD-WMV的分離器:
二、視頻解碼器
1、MPEG2視頻解碼器:
winDVD的視頻解碼器:InterVideo Video Decoder
PowerDVD的MPEG2視頻解碼器:CyberLink DTV Video/SPFilter 和 CyberLink Video/SP和CyberLink Video/SP Filter
月光視頻解碼器:Moonlight-Elecard MPEG2 Video Decoder爲3.X版本和4.0X版本,名爲Elecard MPEG-2 Video Decoder
低端電腦推薦使用Sonic Cinemastervideo,畫質一般,強項是能打開硬件加速
PureVideo家族中的MPEG2視頻解碼器NVIDIA Video Decoder,只能用於N卡6、7系列的顯卡上
2、H264的視頻解碼器
CoreAVC的H264視頻解碼器:CoreAVC DirectShow Video Decoder
月光的H264解碼器,全稱爲Moonlight H264 Video Decoder
ffdshow的解碼器,全稱爲ffdshow MPEG-4 Video Decoder
3、HD-WMV
只能用上微軟自家的解碼器,N卡6、7系以上能打開加速
HDTV視頻解碼cpu佔用很高
4、音頻解碼器
ffdsshow,月光音頻解碼器、WinDVD的音頻解碼器、PowerDVD的音頻解碼器、Ac3Filter音頻解碼器
音視頻處理的一般流程
1.數據採集:
攝像機及拾音器蒐集視頻及音頻數據(原始數據)
攝像機:CCD、CMOS
拾音器:聲電轉換裝置(咪頭)、音頻放大電路
2.數據編碼:
使用相關硬件或軟件對音視頻原始數據進行編碼處理(數字化)及加工(如音視頻混合、打包、封裝燈),得到可用的音視頻數據
編碼方式:CBR、VBR
編碼格式
視頻:H.265、H.264、MPEG-4等,封裝容器有TS、MKV、AVI、MP4等
音頻:G.711u、AAC、Opus等,封裝有MP3、OGG、AAC等
3、數據傳輸
將編碼完成後的音頻數據進行傳輸
傳輸協議:RTP與RTCP、RTSP、RTMP、HTTP、HLS(HTTP Live Streaming)
控制信令:SIP和SDP、SNMP
4、解碼數據
5、播放顯示