視頻壓縮名字解釋：
1、有損和無損壓縮：在視頻壓縮中有損（Lossy ）和無損（Lossless）的概念與靜態圖像中基本類似。無損壓縮也即壓縮前和解壓縮後的數據完全一致。有損壓縮意味着解壓縮後的數據與壓縮前的數據不一致。在壓縮的過程中要丟失一些人眼和人耳所不敏感的圖像或音頻信息，而且丟失的信息不可恢復。丟失的數據率與壓縮比有關，壓縮比越小，丟失的數據越多，解壓縮後的效果一般越差。此外，某些有損壓縮算法採用多次重複壓縮的方式，這樣還會引起額外的數據丟失。
2 、幀內和幀間壓縮：幀內（Intraframe）壓縮也稱爲空間壓縮（Spatial compression）。當壓縮一幀圖像時，僅考慮本幀的數據而不考慮相鄰幀之間的冗餘信息，這實際上與靜態圖像壓縮類似。幀內壓縮一般達不到很高的壓縮。採用幀間（Interframe）壓縮是基於許多視頻或動畫的連續前後兩幀具有很大的相關性，或者說前後兩幀信息變化很小的特點。也即連續的視頻其相鄰幀之間具有冗餘信息，根據這一特性，壓縮相鄰幀之間的冗餘量就可以進一步提高壓縮量，減小壓縮比。幀間壓縮也稱爲時間壓縮（Temporal
compression），它通過比較時間軸上不同幀之間的數據進行壓縮。幀間壓縮一般是無損的。
3 對稱和不對稱編碼：對稱性（symmetric）是壓縮編碼的一個關鍵特徵。對稱意味着壓縮和解壓縮佔用相同的計算處理能力和時間，對稱算法適合於實時壓縮和傳送視頻，如視頻會議應用就以採用對稱的壓縮編碼算法爲好。不對稱或非對稱意味着壓縮時需要花費大量的處理能力和時間，而解壓縮時則能較好地實時回放，也即以不同的速度進行壓縮和解壓縮。一般地說，壓縮一段視頻的時間比回放（解壓縮）該視頻的時間要多得多。
4、 影響數字視頻質量的因素：
在多媒體數字視頻中有五個重要的技術參數將最終影響視頻圖像的質量，它們分別爲幀速、分辨率、顏色數、壓縮比和關鍵幀。
（1）幀速：常用的有25幀/秒（PAL）、30幀/秒（NTSC）。幀速越高，數據量越大，質量越好。
（2）分辨率：視頻分辨率越大，數據量越大，質量越好。這裏要注意區分視頻分辨率和視頻顯示分辨率（顯示的像素點數）。
（3）顏色數：指視頻中最多能使用的顏色數。顏色位數越多，色彩越逼真，數據量也越大。
（4）壓縮比：壓縮比較小時對圖像質量不會有太大影響，而超過一定倍數後，將會明顯看出圖像質量下降，而且壓縮比越大在回放時花費在解壓的時間越長。
（5）關鍵幀：視頻數據具有很強的幀間相關性，動態視頻壓縮正是利用幀間相關性的特點，通過前後兩個關鍵幀動態合成中間的視頻幀。因此對於含有頻繁運動的視頻圖像序列，關鍵幀數少就會出現圖像不穩定的現象。
MPEG視頻壓縮編碼後包括三種元素：I幀（I-frames）、P幀（P-frames）和B幀（B-frames）。在MPEG編碼的過程中，部分視頻幀序列壓縮成爲I幀；部分壓縮成P幀；還有部分壓縮成B幀。I幀法是幀內壓縮法，也稱爲“關鍵幀”壓縮法。I幀法是基於離散餘弦變換DCT（ Discrete Cosine Transform ）的壓縮技術，這種算法與JPEG壓縮算法類似。採用I幀壓縮可達到1/6的壓縮比而無明顯的壓縮痕跡。
在保證圖像質量的前提下實現高壓縮的壓縮算法，僅靠幀內壓縮是不能實現的，MPEG採用了幀間和幀內相結合的壓縮算法。 P幀法是一種前向預測算法，它考慮相鄰幀之間的相同信息或數據，也即考慮運動的特性進行幀間壓縮。P幀法是根據本幀與相鄰的前一幀（I幀或P幀）的不同點來壓縮本幀數據。採取P幀和I幀聯合壓縮的方法可達到更高的壓縮且無明顯的壓縮痕跡。
然而，只有採用B幀壓縮才能達到200:1的高壓縮。B幀法是雙向預測的幀間壓縮算法。當把一幀壓縮成B幀時，它根據相鄰的前一幀、本幀以及後一幀數據的不同點來壓縮本幀，也即僅記錄本幀與前後幀的差值。B幀數據只有I幀數據的百分之十五、P幀數據的百分之五十以下。
MPEG標準採用類似4:2:2的採用格式，壓縮後亮度信號的分辨率爲352×240，兩個色度信號分辨率均爲176×120，這兩種不同分辨率信息的幀率都是每秒30幀。其編碼的基本方法是在單位時間內，首先採集並壓縮第一幀的圖像爲I幀。然後對於其後的各幀，在對單幀圖像進行有效壓縮的基礎上，只存儲其相對於前後幀發生變化的部分。幀間壓縮的過程中也常間隔採用幀內壓縮法，由於幀內（關鍵幀）的壓縮不基於前一幀，一般每隔15幀設一關鍵幀，這樣可以減少相關前一幀壓縮的誤差積累。MPEG編碼器首先要決定壓縮當前幀爲I幀或P幀或B幀，然後採用相應的算法對其進行壓縮。一個視頻序列經MPEG全編碼壓縮後可能的格式爲：IBBPBBPBBPBBPBBIBBPBBPBBPBBPBBI......
壓縮成B幀或P幀要比壓縮成I幀需要多得多的計算處理時間。有的編碼器不具備B幀甚至P幀的壓縮功能，顯然其壓縮效果不會很好。
.視頻壓縮技術
一、視頻編碼的基本原理：
視頻圖像數據有極強的相關性，也就是說有大量的冗餘信息。其中冗餘信息可分爲空域冗餘信息和時域冗餘信息。壓縮技術就是將數據中的冗餘信息去掉（去除數據之間的相關性），壓縮技術包含幀內圖像數據壓縮技術、幀間圖像數據壓縮技術和熵編碼壓縮技術。
去時域冗餘信息
使用幀間編碼技術可去除時域冗餘信息，它包括以下三部分：
－ 運動補償
運動補償是通過先前的局部圖像來預測、補償當前的局部圖像，它是減少幀序列冗餘信息的有效方法。
－ 運動表示
不同區域的圖像需要使用不同的運動矢量來描述運動信息。運動矢量通過熵編碼進行壓縮。
－ 運動估計
運動估計是從視頻序列中抽取運動信息的一整套技術。
注：通用的壓縮標準都使用基於塊的運動估計和運動補償。
去空域冗餘信息
主要使用幀間編碼技術和熵編碼技術：
－ 變換編碼
幀內圖像和預測差分信號都有很高的空域冗餘信息。變換編碼將空域信號變換到另一正交矢量空間，使其相關性下降，數據冗餘度減小。
－ 量化編碼
經過變換編碼後，產生一批變換系數，對這些係數進行量化，使編碼器的輸出達到一定的位率。這一過程導致精度的降低。
－ 熵編碼
熵編碼是無損編碼。它對變換、量化後得到的係數和運動信息，進行進一步的壓縮。
視頻編碼的基本框架（圖）
國際音視頻壓縮標準發展歷程
H.261
H.261標準是爲ISDN設計，主要針對實時編碼和解碼設計，壓縮和解壓縮的信號延時不超過150ms，碼率px64kbps(p=1~30)。
H.261標準主要採用運動補償的幀間預測、DCT變換、自適應量化、熵編碼等壓縮技術。 只有I幀和P幀，沒有B幀，運動估計精度只精確到像素級。支持兩種圖像掃描格式：QCIF和CIF。
H.263
H.263標準是甚低碼率的圖像編碼國際標準，它一方面以H.261爲基礎，以混合編碼爲核心，其基本原理框圖和H.261十分相似，原始數據和碼流組織也相似；另一方面，H.263也吸收了MPEG等其它一些國際標準中有效、合理的部分，如：半像素精度的運動估計、PB幀預測等，使它性能優於H.261。
H.263使用的位率可小於64Kb/s,且傳輸比特率可不固定（變碼率）。H.263支持多種分辨率： SQCIF(128x96)、 QCIF、CIF、4CIF、16CIF。
與H.261和H.263相關的國際標準
與H.261有關的國際標準
H.320：窄帶可視電話系統和終端設備；
H.221：視聽電信業務中64~1 920Kb/s信道的幀結構；
H.230：視聽系統的幀同步控制和指示信號；
H.242：使用直到2Mb/s數字信道的視聽終端的系統。
與H.263有關的國際標準
H.324：甚低碼率多媒體通信終端設備；
H.223：甚低碼率多媒體通信複合協議；
H.245：多媒體通信控制協議；
G.723.1.1：傳輸速率爲5.3Kb/s和6.3Kb/s的語音編碼器。
JPEG
國際標準化組織於1986年成立了JPEG(Joint Photographic Expert Group)聯合圖片專家小組，主要致力於制定連續色調、多級灰度、靜態圖像的數字圖像壓縮編碼標準。常用的基於離散餘弦變換(DCT)的編碼方法，是JPEG算法的核心內容。
MPEG-1/2
MPEG-1標準用於數字存儲體上活動圖像及其伴音的編碼，其數碼率爲1.5Mb/s。 MPEG-1的視頻原理框圖和H.261的相似。
MPEG-1視頻壓縮技術的特點：1. 隨機存取；2. 快速正向/逆向搜索；3 .逆向重播；4. 視聽同步；5. 容錯性；6. 編/解碼延遲。MPEG-1視頻壓縮策略：爲了提高壓縮比，幀內/幀間圖像數據壓縮技術必須同時使用。幀內壓縮算法與JPEG壓縮算法大致相同，採用基於DCT的變換編碼技術，用以減少空域冗餘信息。幀間壓縮算法，採用預測法和插補法。預測誤差可在通過DCT變換編碼處理，進一步壓縮。幀間編碼技術可減少時間軸方向的冗餘信息。
MPEG-2被稱爲“21世紀的電視標準”，它在MPEG-1的基礎上作了許多重要的擴展和改進，但基本算法和MPEG-1相同。
MPEG-4
MPEG-4標準並非是MPEG-2的替代品，它着眼於不同的應用領域。MPEG-4的制定初衷主要針對視頻會議、可視電話超低比特率壓縮（小於64Kb/s）的需求。在制定過程中，MPEG組織深深感受到人們對媒體信息，特別是對視頻信息的需求由播放型轉向基於內容的訪問、檢索和操作。
MPEG-4與前面提到的JPEG、MPEG-1/2有很大的不同，它爲多媒體數據壓縮編碼提供了更爲廣闊的平臺，它定義的是一種格式、一種框架，而不是具體算法，它希望建立一種更自由的通信與開發環境。於是MPEG-4新的目標就是定義爲：支持多種多媒體的應用，特別是多媒體信息基於內容的檢索和訪問，可根據不同的應用需求，現場配置解碼器。編碼系統也是開放的，可隨時加入新的有效的算法模塊。應用範圍包括實時視聽通信、多媒體通信、遠地監測/監視、VOD、家庭購物/娛樂等。
JVT：新一代的視頻壓縮標準
JVT是由ISO/IEC MPEG和ITU-T VCEG成立的聯合視頻工作組（Joint Video Team），致力於新一代數字視頻壓縮標準的制定。
JVT標準在ISO/IEC中的正式名稱爲：MPEG-4 AVC(part10)標準；在ITU-T中的名稱:H.264（早期被稱爲H.26L）
H264/AVC
H264集中了以往標準的優點，並吸收了以往標準制定中積累的經驗, 採用簡潔設計,使它比MPEG4更容易推廣。H.264創造性了多參考幀、多塊類型、整數變換、幀內預測等新的壓縮技術，使用了更精細的分象素運動矢量（1/4、1/8)和新一代的環路濾波器，使得壓縮性能大大提高，系統更加完善。
H.264主要有以下幾大優點：
－ 高效壓縮：與H.263+和MPEG4 SP相比，減小50%比特率
－ 延時約束方面有很好的柔韌性
－ 容錯能力
－ 編/解碼的複雜性可伸縮性
－ 解碼全部細節：沒有不匹配
－ 高質量應用
－ 網絡友善
二、監控中的視頻編碼技術：
目前監控中主要採用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC等幾種視頻編碼技術。對於最終用戶來言他最爲關心的主要有：清晰度、存儲量（帶寬）、穩定性還有價格。採用不同的壓縮技術，將很大程度影響以上幾大要素。
MJPEG
MJPEG（Motion JPEG）壓縮技術，主要是基於靜態視頻壓縮發展起來的技術，它的主要特點是基本不考慮視頻流中不同幀之間的變化，只單獨對某一幀進行壓縮。
MJPEG壓縮技術可以獲取清晰度很高的視頻圖像，可以動態調整幀率、分辨率。但由於沒有考慮到幀間變化，造成大量冗餘信息被重複存儲，因此單幀視頻的佔用空間較大，目前流行的MJPEG技術最好的也只能做到3K字節/幀，通常要8~20K！
MPEG-1/2
MPEG-1標準主要針對SIF標準分辨率(NTSC製爲352X240；PAL製爲352X288)的圖像進行壓縮. 壓縮位率主要目標爲1.5Mb/s.較MJPEG技術，MPEG1在實時壓縮、每幀數據量、處理速度上有顯著的提高。但MPEG1也有較多不利地方:存儲容量還是過大、清晰度不夠高和網絡傳輸困難。
MPEG-2 在MPEG-1基礎上進行了擴充和提升，和MPEG-1向下兼容，主要針對存儲媒體、數字電視、高清晰等應用領域，分辨率爲：低(352x288)，中(720x480)，次高(1440x1080)，高(1920x1080)。MPEG-2視頻相對MPEG-1提升了分辨率，滿足了用戶高清晰的要求，但由於壓縮性能沒有多少提高，使得存儲容量還是太大，也不適和網絡傳輸。
MPEG-4
MPEG-4視頻壓縮算法相對於MPEG-1/2在低比特率壓縮上有着顯著提高，在CIF（352*288）或者更高清晰度（768*576）情況下的視頻壓縮，無論從清晰度還是從存儲量上都比MPEG1具有更大的優勢，也更適合網絡傳輸。另外MPEG-4可以方便地動態調整幀率、比特率，以降低存儲量。
MPEG-4由於系統設計過於複雜，使得MPEG-4難以完全實現並且兼容，很難在視頻會議、可視電話等領域實現，這一點有點偏離原來地初衷。另外對於中國企業來說還要面臨高昂的專利費問題，目前規定：
－ 每臺解碼設備需要交給MPEG-LA 0.25美元
－ 編碼/解碼設備還需要按時間交費（4美分/天=1.2美元/月 =14.4美元/年）
H.264/AVC
H.264集中了以往標準的優點，在許多領域都得到突破性進展，使得它獲得比以往標準好得多整體性能：
－ 和H.263+和MPEG-4 SP相比最多可節省50％的碼率，使存儲容量大大降低；
－ H.264在不同分辨率、不同碼率下都能提供較高的視頻質量；
－ 採用“網絡友善”的結構和語法，使其更有利於網絡傳輸。
H.264採用簡潔設計,使它比MPEG4更容易推廣，更容易在視頻會議、視頻電話中實現，更容易實現互連互通，可以簡便地和G.729等低比特率語音壓縮組成一個完整的系統。
MPEG LA吸收MPEG-4的高昂專利費而使它難以推廣的教訓，MPEG LA制定了以下低廉的H.264收費標準：H.264廣播時基本不收費；產品中嵌入H.264編/解碼器時，年產量10萬臺以下不收取費，超過10萬臺每臺收取0.2美元，超過500萬臺每臺收取0.1美元。低廉的專利費使得中國H.264監控產品更容易走向世界。
監控中視頻編碼分辨率的選擇
目前監控行業中主要使用以下分辨率：SQCIF、QCIF、CIF、4CIF。
SQCIF和QCIF的優點是存儲量低，可以在窄帶中使用，使用這種分辨率的產品價格低廉；缺點是圖像質量往往很差、不被用戶所接受。
CIF是目前監控行業的主流分辨率，它的優點是存儲量較低，能在普通寬帶網絡中傳輸，價格也相對低廉，它的圖像質量較好，被大部分用戶所接受。缺點是圖像質量不能滿足高清晰的要求。
4CIF是標清分辨率，它的優點是圖像清晰。缺點是存儲量高，網絡傳輸帶寬要求很高，價格也較高。
分辨率新的選擇－528x384
2CIF（704x288）已被部分產品採用，用來解決CIF清晰度不夠高和4CIF存儲量高、價格高昂的缺點。但由於704x288只是水平分辨率的提升，圖像質量提高不是特別明顯。
經過測試，我們發現另外一種2CIF分辨率528x384，比704x288能更好解決CIF、4CIF的問題。特別是在512Kbps－1Mbps碼率之間，能獲得穩定的高質量圖像，滿足用戶較高圖像質量的要求。目前這一分辨率已被許多網絡多媒體廣播所採用，被廣大用戶所接受。比如杭州網通網上影院是採用512x384分辨率,在768k下能穩定地獲得近似DVD的圖像質量。
監控中實現視頻編碼的最佳方式
目前視頻編碼正處於一個技術日新月異的時期，視頻編碼的壓縮性能在不斷得到提升。
在監控中主要使用ASCI和DSP兩種方案。由於ASIC芯片的設計、生產週期過長，使它已跟不上視頻編碼的發展速度。而DSP芯片，由於它的通用設計，使它能實現各種視頻編碼算法，並且可以及時更新視頻編碼器，緊跟視頻編碼的發展速度。另外使用DSP芯片可以比ASIC更靈活的配置編碼器，使編碼器達到最佳性能。
海康威視產品目前達到的技術水準
海康威視產品採用最先進的H.264視頻壓縮算法和高性能的DSP處理器。
強大的H.264視頻壓縮引擎使產品獲得極高的壓縮比、高質量的圖像質量和良好的網絡傳輸性能。高性能的DSP處理器能靈活的配置視頻編/解碼器：動態設置分辨率、幀率、碼率、圖像質量等；可以雙碼流輸出，達到本地存儲和網絡傳輸分別處理的功能。
使用TM130X DSP的產品，單個芯片能實時壓縮一路以下分辨率的視頻：SQCIF、QCIF、CIF、2CIF(PAL:704x288或528x384)。
使用DM642 DSP的產品，單個芯片能實時壓縮4路以下分辨率的視頻：SQCIF、QCIF、CIF、2CIF(PAL:704x288或528x384)。單個芯片能實時壓縮2路4CIF視頻。
電視節目製作數字網絡化已成爲大家關心的熱點，其中重要的技術之一是數字視頻壓縮。運動圖像專家組(MPEG)是ISO/IEC的一個工作組，負責開發運動圖像、聲頻及其混合信息的壓縮、解壓縮、處理和編碼表示方面的國際標準。MPEG已經制定了MPEG-1、MPEG-2和MPEG-4標準。MPEG-1和MPEG-2已廣泛應用在多媒體工業，例如數字電視、CD、視頻點播、歸檔、因特網上的音樂等等。MPEG-4主要用於64 kb/s以下的低速率音視頻編碼，以使用於窄帶多媒體通信等領域。MPEG目前正在制定MPEG-7和MPEG-21。但M-JPEG、MPEG-2和DV三大壓縮技術已佔據着當今視頻壓縮技術的主要地位，呈現互不替代，激烈競爭，共同發展的狀態。
M-JPEG和DV均採用幀內壓縮方式，壓縮效率要比MPEG-2低。在低碼率的時候，MPEG-2可以提供比M-JPEG高的壓縮比而保持較好的圖像質量；在要求高圖像質量的時候(比如節目編輯和後期製作)，MPEG-2與M-JPEG、DV的輸出碼率差別要小得多。電視臺業務的多樣性要求壓縮標準能提供多種碼率。可變碼率(VBR)特性對電視臺有效利用資源非常重要。MPEG-2可以通過改變GOP結構和DCT及霍夫曼編碼的參數來調整輸出碼率；M-JPEG可以通過改變DCT及霍夫曼編碼參數調節壓縮比；DV格式因其應用特點，沒有提供VBR。M-JPEG發展較早，在非線性視頻編輯方面應用多年，軟、硬件技術成熟，成本低廉，以目前硬件平臺而言，平均比MPEG-2平臺便宜5000美元左右。目前，M-JPEG、DV和MPEG-2三個標準各有長處，設備都獲得了廣泛使用。日本和北美大多用DV格式進行後期製作；EBU在1999年的D84、D85技術聲明中推薦電視臺在演播室使用50 Mb/s的純I幀4:2:2P MPEG-2；而中國在廣泛使用M-JPEG的同時熱烈討論MPEG-2 IBP格式的編輯。
下面針對現今在電視臺數字化網絡中主要應用的兩種視頻壓縮技術，即M-JPEG和MPEG-2做一下對比。最後對MPEG-7作簡單概述。
M-JPEG是針對活動圖像而優化的JPEG壓縮而稱。而JPEG是針對一幀圖像DCT變換來對圖像數據進行壓縮，通過對電視數字信號（4:2:2數據）的每一幀進行JPEG壓縮。由於電視編輯、特技製作均需要以幀爲基本單位，所以對以幀爲單元進行壓縮（幀內壓縮）的M-JPEG格式被成功地用於數字視頻系統，特別是數字非線性節目編輯系統。目前我國非線性編輯系統大都採用4:1 M-JPEG壓縮，被認爲是可以接受的廣播級水平。當PAL制4:2:2數字信號採用4:1壓縮時，其數據率是5 MB/s(40M b/s), 每小時視頻節目佔用18 GB存儲空間。由於M-JPEG是幀內壓縮方式，可以提供精確到幀的隨機存取訪問，不附帶任何的訪問延遲，能夠實現精確到幀的節目編輯。 所謂MPEG-2壓縮是根據運動圖像相鄰幀之間有一定的相似性原則，通過運動預測，參考前一幀圖像與這一幀圖像的相似情況，去掉與前一幀相似的冗餘數據，而只記錄這一幀與上一幀不同的數據，從而大大提高了視頻數據的壓縮效率，這種壓縮方法也稱爲幀相關壓縮。因爲採用運動預測幀相關的壓縮方式，針對視頻壓縮有很好的效果，在獲得廣播級數字視頻質量的前提下，可以實現20:1的壓縮效率，數據率可降至1 MB/s(8M b/s)，一小時視頻節目佔用3.6 GB空間。數據存儲空間利用率高，網絡傳輸效率是M-JPEG系統的5倍以上。這給基於MPEG-2壓縮視頻的存儲、傳輸、編輯、播出帶來極大的好處，在存儲方面可以大大節約存儲體成本，並能引入各種類型的存儲介質，如硬盤、光盤、數據磁帶以及存儲器芯片等。
但由於MPEG-2格式只有一個完整的幀，即I幀，所以在電視需要幀精確地進行剪接時會帶來一定的困難，需要硬件板卡或軟件系統的支持。MPEG-2在壓縮方面有幀內壓縮和幀間壓縮兩種方式，使用三種類型的圖像，即I幀、P幀和B幀。I幀使用幀內壓縮，不使用運動補償，提供中等壓縮比。由於I幀不依賴其它幀，所以是隨機存取的入點，同時是解碼的基準幀。P幀根據前面的I幀或P幀進行預測，使用運動補償算法進行壓縮，壓縮比要比I幀高。P幀是對B幀和後繼P幀進行解碼的基準幀。它本身有誤差，會造成誤差傳播。B幀是基於內插重建的幀，它基於前後兩個IP幀或PP幀，不傳播誤差。它使用雙向預測進行壓縮，提供更高的壓縮比。目前各硬件板卡廠商正在抓緊開發，以解決基於MPEG-2的IBP幀編輯，目前國內很多公司如奧維迅、索貝、大洋已經用軟件解決了IBP幀精確編輯的問題，使MPEG-2格式應用到電視節目的製作、傳輸、存儲、播出，構架全電視臺的數字化網絡系統成爲可能。
1996年10月，運動圖像專家組開始着手一項新的研究課題來解決多媒體內容描述的問題，即多媒體內容描述接口（簡稱MPEG-7）。MPEG-7將擴大現今在識別內容方面存在的能力限制，將包括更多的數據類型。MPEG-7的目標是支持多種音頻和視覺的描述，包括自由文本、N維時空結構、統計信息、客觀屬性、主觀屬性、生產屬性和組合信息。對於視覺信息，描述將包括顏色、視覺對象、紋理、草圖、形狀、體積、空間關係、運動及變形等。
MPEG-7的目標是根據信息的抽象層次，提供一種描述多媒體材料的方法以便表示不同層次上的用戶對信息的需求。以視覺內容爲例，較低抽象層將包括形狀、尺寸、紋理、顏色、運動（軌道）和位置的描述。對於音頻的較低抽象層包括音調、調式、音速、音速變化、音響空間位置。MPEG-7的目標是支持數據管理的靈活性、數據資源的全球化和互操作性。
對於未來的多媒體服務，必須將內容的表示和描述共同來考慮，也就是說，許多涉及內容表示的服務必須要首先處理內容描述。利用MPEG-7 描述可用的音視信息，大家就能快速找到我們想要的信息，可以更加自由的與多媒體內容交互及重新使用音視信息的內容，或以新的方式將這些內容的某些成分結合起來使用。
編解碼技術在過去十年中不斷改進。最新的編解碼技術(H.264/AVC與VC-1)代表着第三代視頻壓縮技術。爲具體應用選擇正確的編解碼器並優化其實時實施仍然是一項巨大的挑戰，最佳的設計必須權衡壓縮效率及可用的計算能力。 ……
視頻壓縮是所有令人振奮的、新型視頻產品的重要動力。爲具體應用選擇正確的編解碼器並優化其實時處理仍然是一項巨大的挑戰。最佳的設計必須權衡壓縮效率及可用的計算能力。此外，如何在計算能力有限的情況下獲得最佳壓縮效率也是一門大學問。
數字視頻的主要挑戰在於原始或未壓縮的視頻需要存儲或傳輸大量數據。例如，標準清晰度的 NTSC 視頻的數字化一般是每秒 30 幀速率，採用 4:2:2 YCrCb 及 720×480，其要求超過 165Mbps 的數據速率。保存 90 分鐘的視頻需要 110GB 空間，或者說超過標準 DVD-R 存儲容量的 25 倍。即使是視頻流應用中常用的低分辨率視頻（如CIF：352×288 4:2:0、30 幀/秒）也需要超過 36.5Mbps 的數據速率，這是 ADSL 或 3G 無線等寬帶網絡速度的許多倍。目前的寬帶網可提供 1～10Mbps 的持續傳輸能力，顯然數字視頻的存儲或傳輸需要採用壓縮技術。
視頻壓縮的目的是對數字視頻進行編碼——在保持視頻質量的同時佔用儘可能少的空間。編解碼技術理論依據爲信息理論的數學原理。不過，開發實用的編解碼技術需要藝術性的精心考慮。
壓縮權衡
在選擇數字視頻系統的編解碼技術時需要考慮諸多因素。主要因素包括應用的視頻質量要求、傳輸通道或存儲介質所處的環境（速度、時延、錯誤特徵）以及源內容的格式。同樣重要的還有預期分辨率、目標比特率、色彩深度、每秒幀數以及內容和顯示是逐行掃描還是隔行掃描。壓縮通常需要在應用的視頻質量要求與其他需求之間做出取捨。首先，用途是存儲還是單播、多播、雙向通信或廣播？對於存儲應用，到底有多少可用的存儲容量以及存儲時間需要多久？對於存儲之外的應用，最高比特率是多少？對於雙向視頻通信，時延容差或容許的端到端系統延遲是多少？如果不是雙向通信，內容需要在脫機狀態提前完成編碼還是需要實時編碼？網絡或存儲介質的容錯能力如何？根據基本目標應用，不同壓縮標準以不同方式處理這些問題的權衡。
另一方面是需要權衡編解碼實時處理的成本。如 H.264/AVC 或 WMV9/VC-1等能夠實現較高壓縮比的新算法需要更高的處理能力，這會影響編解碼器件的成本、系統功耗以及系統內存。
……
標準對編解碼技術的普及至關重要。出於規模經濟原因，用戶根據可承受的標準尋找相應產品。由於能夠保障廠商之間的互操作性，業界樂意在標準方面進行投資。而由於自己的內容可以獲得較長的生命週期及廣泛的需求，內容提供商也對標準青睞有加。儘管幾乎所有視頻標準都是針對少數特定應用的，但是在能夠適用的情況下，它們在其他應用中也能發揮優勢。
爲了實現更好的壓縮及獲得新的市場機遇，ITU與 MPEG 一直在不斷髮展壓縮技術和開發新標準。中國最近開發了一種稱爲 AVS 的國家視頻編碼標準，我們在後面也會做一介紹。目前正在開發的標準包括 ITU/MPEG 聯合可擴展視頻編碼 (Joint Scalable Video Coding)（對 H264/ AVC 的修訂）和MPEG 多視角視頻編碼 (Multi-view Video Coding)。另外，爲了滿足新的應用需求，現有標準也在不斷髮展。例如，H.264 最近定義了一種稱爲高精度拓展 (Fidelity Range Extensions) 的新模式，以滿足新的市場需求，如專業數字編輯、HD-DVD 與無損編碼等。
…………視頻壓縮正在市場中催生數量日益增長的數字視頻產品。採用數字視頻壓縮技術的終端設備範圍廣泛，從電池驅動的便攜設備到高性能基礎設備。
數字視頻的最佳處理器解決方案取決於具體的目標應用。TI 擁有可支持多種標準並滿足主要設計及系統約束需求的各種 DSP。TI的解決方案範圍廣泛，其中包括低功耗 C5000 DSP與移動OMAP 應用處理器、高性能C6000 DSP 與視頻優化的高性能 DM64x 和 DM644x 數字媒體處理器。
德州儀器 (TI) 的DM 列處理器專門針對高端視頻系統的需求而設計。該系列的最新處理器是功能強大的 DM6446[15]，其採用了TI的達芬奇 (DaVinci)技術[16]。DM6446的雙內核架構兼具DSP和RISC技術優勢，集成了時鐘頻率達594MHz 的c64x+ DSP內核與ARM926EJ-S內核。新一代c64x+ DSP 是 TMS320C6000(tm) DSP 平臺中性能最高的定 DSP，並建立在TI開發的第二代高性能高級VLIW架構的增強版之上。c64x+與前代C6000 DSP平臺代碼兼容。DM644x等可編程數字媒體處理器可以支持所有的現有業界標準以及採用單個可編程數字媒體處理器的專有視頻格式。DM6446 還具有片上內存，包括一個2級高速緩存和衆多具有視頻專用功能的外設。DM6446 還包含一種視頻／影像協處理器 (VICP)，用於減輕相關算法（如：JPEG、H.264、MPEG4 與 VC-1）的 DSP 內核繁重的視頻與影像處理負擔，從而使更多的 DSP MIPS能夠用於視頻後處理或者其他並行運行等功能。
壓縮標準規定需要的語法與可用的工具，不過許多算法結果取決於具體實施情況。主要變量包括：比特率控制算法、單通道與多通道編碼、I/B/P 幀比率、運動搜索範圍、運動搜索算法、以及選用的個別工具與模式。這種靈活性允許我們在計算負載和改進質量之間做出不同取捨。顯然所有編碼器都可以採用或高或低的頻率實現不同的視頻質量水平。
越來越多的視頻壓縮標準可以針對具體最終應用提供越來越高的壓縮效率和越來越豐富的工具。另外，向網絡化連接發展的趨勢意味着許多產品越來越需要支持多種標準。多種標準和專有算法的流行也使我們難以選擇單個標準，尤其是在硬件決策經常超前於產品部署的情況下。不僅如此，每個視頻編碼算法都提供豐富的工具與功能選擇，以平衡壓縮效率的複雜性。工具和功能的選擇是與特定應用和用例息息相關的重複過程。由於必須支持的編解碼器數量的增多以及針對具體解決方案和應用而對編解碼器進行優化的選擇範圍更爲廣泛，因此在數字視頻系統中採用靈活的媒體處理器是大勢所趨。DM6446等數字媒體處理器可充分滿足性能處理需求同時架構靈活，從而能夠快速把新標準實施推向市場，其中包括：H.264、AVS 與 WMV9。我們可以在標準定義階段實施算法並且保持軟件算法與工具的更新，從而緊隨標準大大小小的修改並且滿足應用不斷變化的質量需求。
.視頻壓縮標準
一、 視頻壓縮標準介紹：
視頻編碼標準主要由ITU-T和ISO/IEC開發。前者已經發布了視頻會議標準H.261、 H.262、H.263，並且準備進行遠期編碼標準H.263L的開發，以期望獲得更大的編碼效率。ISO/IEC的標準系列是大家熟悉的MPEG家族。包括：
(1)MPEG-1(1988～1992)，可以提供最高達1.5Mbps的數字視頻，只支持逐行掃描；
(2)MPEG-2(1990～1994)，支持的帶寬範圍從2Mbps到超過20Mbps，MPEG-2後向兼容MPEG-1，但增加了對隔行掃描的支持，並有更大的伸縮性和靈活性；
(3)MPEG-4(1994～1998)，支持逐行掃描和隔行掃描，是基於視頻對象的編碼標準，通過對象識別提供了空間的可伸縮性；
(4)MPEG-7(1996～2000)，是多媒體內容描述接口，與前述標準集中在音頻/視頻內容的編碼和表示不同，它集中在對多媒體內容的描述。
除了上述通用標準外，還存在很多專用格式，比較流行的有：C-Cube的M-JPEG、Intel的IVI(tm)(Indeo Video Interactive)、Apple的QuickTime(tm)、Microsoft的 Media Player(tm)和RealNetworks的RealPlayer(tm)。
二 數字視頻傳輸 ：
根據承載網絡的變化和視頻服務的區別，可以將數字視頻的傳輸分爲四類：數字電視、寬帶視頻通信、Internet視頻流通信、蜂窩移動視頻通信。
雖然這四種通信體系下對視頻通信的協議和服務有不同的要求，但對於實時應用下述幾點是必須滿足的：(1)傳輸必須限制在一定時限內完成；(2)必須對端到端的抖動建議限制；(3)必須有相應的同步機制；(4)在分組網絡中應當有較高的優先級。
1 數字電視廣播
歐洲走在了全球DVB開發最前面，將其採納爲數字電視DTV的標準；在美國，ATSC採用了HDTV；在亞太地區，日本採用了基於DVB和ATSC的ISDB-T，澳大利亞採用了DVB，韓國則採用了ATSC標準，我國也在制定數字電視的標準，並進行了現場試驗。下面我們以歐洲的DTV標準爲主分別介紹DTV系統規範和傳輸技術。
a.DTV系統規範
根據傳輸系統的不同，DTV系統分爲三類：陸基系統 DTV-T、衛星系統 DTV-S、有線系統 DTV-C。這三類DTV系統雖然各有不同，但也有公共的特性，MPEG-2視頻和音頻編碼系統是所有DTV系統的基礎。系統採用MPEG-2將數據壓縮並組裝成分組，稱爲淨荷。對淨荷採用Reed-Solomon前向糾錯編碼，降低信號傳輸中引入的誤碼。
衛星系統採用單載波信號，採用外部編碼的同時，內部加入了打孔卷積編碼，從而又增加了一層誤碼糾錯能力，根據帶寬的變化和採用的特定設備，編碼數據是可調整的，信號採用QPSK方式調製。
陸基系統聯合使用碼正交頻分複用 COFDM或者QPSK或QAM進行射頻調製，採用了和衛星系統相似的打孔卷積編碼。
有線系統採用了QAM調製方案，不需要附加的內部編碼來降低誤碼，系統優化採用64-QAM。
b. DTV系統傳輸結構
DTV系統廣播和接收的基本結構由三個子系統構成：
(1)信源編碼和壓縮子系統，通過ADC接受模擬視頻和音頻信號並將其轉換成數字比特流，然後通過MPEG-2進行壓縮，並加入控制和輔助數據；
(2)服務複用和傳遞子系統，複用將視頻和音頻及輔助數據流聯合構成長188字節的分組，並加上標記，分組構成單個數據流，採用MPEG-2傳遞系統語法控制這些複用任務；
(3)傳輸子系統，包括對複用數據流的信道編碼和調製。
2 寬帶視頻通信
這裏討論的寬帶視頻通信主要是指基於寬帶核心網絡和寬帶接入技術的MPEG-2視頻通信。爲了滿足實時視頻通信對帶寬的需求，核心網絡通常採用寬帶光纖網絡，可以是ATM或者基於MPLS的寬帶IP與ATM的結合，最後一公里的寬帶接入的方法有光纖到戶、光纖到樓雙絞線到戶及ADSL，最近也提出了寬帶無線接入技術。通常，來自多個鏈路的數據業務在數字用戶線路接入複用器(DSLAM)彙總。DSLAM將ATM業務路由到家中的ADSL接收器單元，同時，濾掉低頻段的舊電話業務POTS 。在MPEG-2視頻的情形下，ATM邊界設備減輕信元的時延抖動的能力至關重要。ATM必須應付數據傳輸的需要並提供管理每個視頻流的功能，特別要滿足按序提取視頻分組的要求。爲了補償網絡傳輸延時，ATM網絡邊界設備必須精心設計以處理MPEG交換和抖動管理。本地MPEG-2視頻流通過數字視頻廣播異步串行接口傳輸。ATM邊界設備將MPEG-2多節目傳輸流(MPTS)或單節目傳輸流(SPTS)拆解到節目層並最終到分組標記(PID)層。在PID層，不同的節目流可以重新排序並複用進另外的MPTS。在ATM邊界接收端，另外的邊界設備管理ATM信元流，並重構SPTS或MPTS。本地的服務分佈網絡負責在本地的UTP網絡分發視頻內容。功能強大的MPEG-2壓縮算法結合智能的ATM邊界設備允許最後接入利用DSL技術作爲視頻分發的接入機制。（未完待續）
3、相關信息：
1.前言
數字視頻產品需求近些年出現猛增。主流應用包括視頻通信、安全監控與工業自動化，而最熱門的要算娛樂應用，如 DVD、HDTV、衛星電視、高清 (HD) 機頂盒、因特網視頻流、數碼相機與 HD 攝像機、視頻光盤庫 (video jukebox)、高端顯示器（LCD、等離子顯示器、DLP）以及個人攝像機等。衆多精彩的新應用目前也處於設計或前期部署中，例如針對家庭與手持設備及地面／衛星標準（DVB-T、DVB-H、DMB）的高清 DVD（藍光／HD-DVD）和數字視頻廣播、高清視頻電話、數碼相機以及 IP
機頂盒。由於手持終端計算能力的提高以及電池技術與高速無線連接的發展，最終產品的移動性與集成性也在不斷提高。
視頻壓縮是所有令人振奮的、新型視頻產品的重要動力。壓縮－解壓（編解碼）算法可以實現數字視頻的存儲與傳輸。典型的編解碼器要麼採用行業標準，如 MPEG2、MPEG4、H.264/AVC 與 AVS，要麼採用專有算法，如 On2、Real Video、Nancy與Windows Media Video (WMV) 等。WMV 是個例外——它最初是微軟公司的專有算法，而現在則以 VC-1 的新名稱在業界實現了標準化。編解碼技術在過去十年中不斷改進。最新的編解碼技術（H.264/AVC 與 VC-1）代表着第三代視頻壓縮技術。這兩種編解碼技術利用如可編程
DSP 與ASIC 等低成本 IC 的處理能力，都能夠達到極高的壓縮比。不過，爲具體應用選擇正確的編解碼器並優化其實時處理仍然是一項巨大的挑戰。最佳的設計必須權衡壓縮效率及可用的計算能力。此外，如何在計算能力有限的情況下獲得最佳壓縮效率也是一門大學問。
在本文中，我們首先概述視頻編碼的主要概念，同時介紹傳統壓縮標準。然後我們重點介紹其中包括 H.264/AVC、WMV9/VC-1與AVS 等在內的最新編解碼技術的功能，此外，還將深入探討壓縮能力與複雜性之間的權衡。最後，討論市場中可能會影響主流視頻編解碼器未來的實時處理與主要趨勢。
數字視頻的主要挑戰在於原始或未壓縮的視頻需要存儲或傳輸大量數據。例如，標準清晰度的 NTSC 視頻的數字化一般是每秒 30 幀速率，採用 4:2:2 YcrCb 及 720(480，其要求超過 165Mbps 的數據速率。保存 90 分鐘的視頻需要 110GB 空間，或者說超過標準 DVD-R 存儲容量的 25 倍。即使是視頻流應用中常用的低分辨率視頻（如：CIF：352x288 4:2:0、30 幀/秒）也需要超過 36.5Mbps 的數據速率，這是 ADSL 或 3G 無線等寬帶網絡速度的許多倍。目前的寬帶網可提供
1～10Mbps 的持續傳輸能力。顯然數字視頻的存儲或傳輸需要採用壓縮技術。
視頻壓縮的目的是對數字視頻進行編碼——在保持視頻質量的同時佔用儘可能少的空間。編解碼技術理論依據爲信息理論的數學原理。不過，開發實用的編解碼技術需要藝術性的精心考慮。
4. 壓縮權衡
在選擇數字視頻系統的編解碼技術時需要考慮諸多因素。主要因素包括應用的視頻質量要求、傳輸通道或存儲介質所處的環境（速度、時延、錯誤特徵）以及源內容的格式。同樣重要的還有預期分辨率、目標比特率、色彩深度、每秒幀數以及內容和顯示是逐行掃描還是隔行掃描。壓縮通常需要在應用的視頻質量要求與其他需求之間做出取捨。首先，用途是存儲還是單播、多播、雙向通信或廣播？對於存儲應用，到底有多少可用的存儲容量以及存儲時間需要多久？對於存儲之外的應用，最高比特率是多少？對於雙向視頻通信，時延容差或容許的端到端系統延遲是多少？如果不是雙向通信，內容需要在脫機狀態提前完成編碼還是需要實時編碼？網絡或存儲介質的容錯能力如何？根據基本目標應用，不同壓縮標準以不同方式處理這些問題的權衡。
另一方面是需要權衡編解碼實時處理的成本。如 H.264/AVC 或 WMV9/VC-1等能夠實現較高壓縮比的新算法需要更高的處理能力，這會影響編解碼器件的成本、系統功耗以及系統內存。
5. 標準化機構
在視頻編解碼技術定義方面有兩大標準機構。國際電信聯盟 (ITU) 致力於電信應用，已經開發了用於低比特率視頻電話的 H.26x 標準，其中包括 H.261、H.262、H.263 與 H.264；國際標準化組織 (ISO) 主要針對消費類應用，已經針對運動圖像壓縮定義了 MPEG 標準。MPEG 標準包括 MPEG1、MPEG2 與 MPEG4。圖 1 說明了視頻編解碼標準的發展歷程。
MPEG 與 ISO 根據基本目標應用往往做出稍有不同的取捨。有時它們也會開展合作，如：聯合視頻小組 (JVT)，該小組定義了 H.264 編解碼技術，這種技術在 MPEG 系列中又被稱爲 MPEG4-Part 10 或 MPEG4 高級視頻編解碼 (AVC)。我們在本文中將這種聯合標準稱爲 H.264/AVC。同樣，H.262 對應 MPEG2，而 H.263 基本規範類 (Baseline Profile) 技術在原理方面與 MPEG4 簡單類 (Simple Profile) 編解碼技術存在較多重複。
標準對編解碼技術的普及至關重要。出於規模經濟原因，用戶根據可承受的標準尋找相應產品。由於能夠保障廠商之間的互操作性，業界樂意在標準方面進行投資。而由於自己的內容可以獲得較長的生命週期及廣泛的需求，內容提供商也對標準青睞有加。儘管幾乎所有視頻標準都是針對少數特定應用的，但是在能夠適用的情況下，它們在其他應用中也能發揮優勢。
圖1：ITU 與 MPEG 標準的發展歷程 [10]
爲了實現更好的壓縮及獲得新的市場機遇，ITU 與 MPEG 一直在不斷髮展壓縮技術和開發新標準。中國最近開發了一種稱爲 AVS 的國家視頻編碼標準，我們在後面也會做一介紹。目前正在開發的標準包括 ITU/MPEG 聯合可擴展視頻編碼 (Joint Scalable Video Coding)（對 H264/ AVC 的修訂）和MPEG 多視角視頻編碼 (Multi-view Video Coding)。另外，爲了滿足新的應用需求，現有標準也在不斷髮展。例如，H.264 最近定義了一種稱爲高精度拓展 (Fidelity
Range Extensions) 的新模式，以滿足新的市場需求，如專業數字編輯、HD-DVD 與無損編碼等。
除了 ITU 與 ISO 開發的行業標準以外，還出現了幾種專用於因特網流媒體應用、廣受歡迎的專有解決方案，其中包括 Real Networks Real Video (RV10)、Microsoft Windows Media Video 9 (WMV9) 系列、ON2 VP6 以及 Nancy。由於這些格式在內容中得到了廣泛應用，因此專有編解碼技術可以成爲業界標準。2003 年 9 月，微軟公司向電影與電視工程師學會 (SMPTE) 提議在該機構的支持下實現 WMV9 位流與語法的標準化。該提議得到了採納，現在
WMV9 已經被 SMPTE 作爲 VC-1 實現標準化。
6. 視頻編碼原理
我們感興趣的所有視頻標準都採用基於模塊的處理方式。每個宏模塊一般包含 4 個 8(8 的光度塊和 2 個 8(8 的色度塊（4:2:0 色度格式）。視頻編碼基於運動補償預測（MC），變換與量化及熵編碼。圖 2 說明的是一種典型的、基於運動補償的視頻編解碼技術。在運動補償中，通過預測與最新編碼的（"參考"）視頻幀處於同一區域的視頻幀中各宏模塊的像素來實現壓縮。例如，背景區域通常在各幀之間保持不變，因此不需要在每個幀中重新傳輸。運動估計 (ME) 是確定當前幀——即與它最相似的參考幀的 16(16 區域中每個
MB 的過程。ME 通常是視頻壓縮中最消耗性能的功能。有關當前幀中各模塊最相似區域相對位置的信息（"運動矢量"）被髮送至解碼器。
MC 之後的殘差部分分爲 8(8 的模塊，各模塊綜合利用變換編碼、量化編碼與可變長度編碼技術進行編碼。變換編碼（如：離散餘弦變換或 DCT）利用殘差信號中的空間冗餘。量化編碼可以消除感知冗餘 (perceptual redundancy) 並且降低編碼殘差信號所需要的數據量。可變長度編碼利用殘差係數的統計性質。通過 MC 進行的冗餘消除過程在解碼器中以相反過程進行，來自參考幀的預測數據與編碼後的殘差數據結合在一起產生對原始視頻幀的再現。
圖 2：標準運動補償視頻編碼
在視頻編解碼器中，單個幀可以採用三個模式中的一個進行編碼 —— 即 I、P 或 B 幀模式（見圖 3）。幾個稱爲 Intra (I) 的幀單獨編碼，無需參考任何其他幀（無運動補償）。某些幀可以利用 MC 編碼，以前一個幀爲參考（前向預測）。這些幀稱爲預測幀 (P)。
B 幀或雙向預測幀通過之前的幀以及當前幀的後續幀進行預測。B 幀的優勢是能夠匹配堵塞在採用前向預測的上一幀中的背景區域。雙向預測通過平衡前向及後向預測可以降低噪聲。在編碼器中採用這種功能會要求更多處理量，因爲必須同時針對前向及後向預測執行 ME，而這會明顯使運動估計計算需求加倍。爲了保存兩個參考幀，編碼器與解碼器都需要更多內存。B 幀工具需要更復雜的數據流，因爲相對採集及顯示順序而言，幀不按順序解碼。這個特點會增加時延，因此不適合實時性較高的應用。B 幀不用於預測，因此可以針對某些應用進行取捨。例如，在低幀速應用中可以跳過它們而不會影響隨後
I 與 P 幀的解碼。
圖3：I、P 與 B 幀間預測圖示
7. 傳統視頻編碼標準
H.261
ITU 編制的 H.261[2] 標準是第一個主流視頻壓縮標準。它主要針對雙工視頻會議應用，是爲支持 40kpbs～2Mbps 的 ISDN 網絡而設計的。H.261 支持 352(288 (CIF) 及 176(144 (QCIF) 分辨率，色度分辨率二次採樣爲 4:2:0。由於可視電話需要同步實時編解碼，因此複雜性設計得較低。由於主要用於對延遲敏感的雙向視頻，因此 H.261 僅允許採用 I 與 P 幀，而不允許 B 幀。
H.261 採用基於塊的 DCT 進行殘差信號的變換編碼。DCT 把像素的每個 8(8 塊映射到頻域，產生 64 個頻率成分（第一個係數稱爲 DC，其他的稱爲 AC）。爲了量化 DCT 係數，H.261 在所有 AC 係數中採用固定的線性量化。量化後的係數進行行程編碼，其可以按非零係數描述量化的頻率，後面跟隨一串零係數，在最後一個非零值之後以塊代碼結束。最後，可變長度編碼 (Huffman) 將運行級別對 (run-level pair) 轉換成可變長度編碼 (VLC)，其比特長度已針對典型概率分佈進行過優化。
基於標準塊的編碼最終產生模塊化視頻。H.261 標準利用環路濾波避免這種現象。在模塊邊緣採用的簡單 2D FIR 濾波器用於平滑參考幀中的量化效應。必須同時在編碼器及解碼器中精確地對每個比特應用上述濾波。
MPEG-1
MPEG-1[3] 是 ISO 開發的第一個視頻壓縮算法。主要應用是數字媒體上動態圖像與音頻的存儲與檢索，如速率爲 1.15Mbps、採用 SIF 分辨率（352(240 - 29.97fps 或者 352(288 - 25 fps)的VCD。MPEG-1 與 H.261 相似，不過編碼器一般需要更高的性能，以便支持電影內容的較高運動性而不是典型的可視電話功能。
與 H.261 相比，MPEG1 允許採用 B 幀。另外它還採用自適應感知量化，也就是說，對每個頻段採用單獨的量化比例因子（或等步長），以便優化人們的視覺感受。MPEG-1 僅支持逐行視頻，因此新標準——MPEG2 已經開始做出努力，同時支持分辨率及比特率更高的逐行與隔行視頻。
MPEG-2/H.262
MPEG-2[4] 專門針對數字電視而開發，很快成爲了迄今最成功的視頻壓縮標準。MPEG-2 既能夠滿足標準逐行視頻的需求（其中視頻序列由一系列按一定時間間隔採集的幀構成），又能夠滿足電視領域常用的隔行視頻的需求。隔行視頻交替採集及顯示圖像中兩組交替的像素（每組稱爲一個場）。這種方式尤其適合電視顯示器的物理特性。MPEG2 支持標準的電視分辨率，其中包括：針對美國和日本採用的 NTSC 制式隔行 720(480 分辨率，每秒 60 場，以及歐洲和其他國家採用的PAL 制式的 720(576 分辨率，每秒
50 場。
MPEG-2 建立在 MPEG-1 基礎之上，並具備擴展功能，能支持隔行視頻及更寬的運動補償範圍。由於高分辨率視頻是非常重要的應用，因此 MPEG-2 支持的搜索範圍遠遠大於 MPEG-1。與之前的標準相比，它顯著提高了運動估計的性能要求，並充分利用更寬搜索範圍與更高分辨率優勢的編碼器需要比 H.261 和 MPEG-1 高得多的處理能力。MPEG2 中的隔行編碼工具包含優化運動補償的能力，同時支持基於場和基於幀的預測，而且同時支持基於場和基於幀的 DCT/IDCT。MPEG-2 在 30:1 左右的壓縮比時運行良好。MPEG-2
在 4-8Mbps 時達到的質量適合消費類視頻應用，因此它很快在許多應用中得到普及，如：數字衛星電視、數字有線電視、DVD 以及後來的高清電視等。
另外，MPEG-2 增加了分級視頻編碼工具，以支持多層視頻編碼，即：時域分級、空域分級、SNR 分級以及數據分割。儘管 MPEG-2 中針對分級視頻應用定義了相關類別 (profile)，不過支持單層編碼的主類 (Main Profile) 是當今大衆市場中得到廣泛應用的唯一 MPEG-2 類。MPEG-2 通常稱爲 MPEG-2 主類。
MPEG-2 解碼最初對於通用處理器及 DSP 具有很高的處理要求。優化的固定功能 MPEG-2 解碼器開發已問世，由於使用量較高，成本已逐漸降低。MPEG2 證明低成本芯片解決方案的供應是視頻編解碼標準成功和普及的關鍵。
H.263
H.263[5] 在 H.261 之後得到開發，主要是爲了以更低的比特率實現更高的質量。其主要目標之一是基於普通 28.8Kbps 電話調制解調器的視頻。目標分辨率是 SQCIF (128(96)～CIF (352(288)。其基本原理與 H.261 大同小異。
H.263 的運動矢量在兩個方向上允許是 1/2 的倍數（“半像素”），參考圖像以數字方式內插到更高的分辨率。這種方法可以提高 MC 精度及壓縮比。MV 可採用更大的範圍。爲不同方案提供許多新的選項，包括：
* 4 個運動矢量——每個塊採用一個運動矢量，而非整個 MB 採用單個運動矢量。
* 3D VLC：Huffman 編碼——將塊結束 (EOB) 指示符與每個運行級別對結合在一起。這種功能主要用於低比特率，這時大多時候只有一、兩個編碼係數。
儘管存在這些功能，但是仍然很難在普通電話線上實現理想的視頻質量，而且目前基於標準調制解調器的可視電話仍然是一個難題。不過，由於 H.263 一般情況下可提供優於 H.261 的效率，它成爲了電視會議首選的算法，但是，爲了兼容舊系統，仍然需要支持 H.261。H.263 逐漸發展成爲了 H.263+，其增加了可選的附件，爲提高壓縮並實現分組網的魯棒性提供支持。H.263 及其附件構成了 MPEG-4 中許多編碼工具的核心。
MPEG-4
MPEG-4[6] 由 ISO 提出，以延續 MPEG-2 的成功。一些早期的目標包括：提高容錯能力以支持無線網、對低比特率應用進行更好的支持、實現各種新工具以支持圖形對象及視頻之間的融合。大部分圖形功能並未在產品中受到重視，相關實施主要集中在改善低比特率壓縮及提高容錯性上。.
MPEG-4 簡化類 (SP) 以H.263爲基礎，爲改善壓縮增加了新的工具，包括：
* 無限制的運動矢量：支持對象部分超出幀邊界時的預測。
* 可變塊大小運動補償：可以在 16(16 或 8(8 粒度下進行運動補償。
* 上下文自適應幀內 DCT DC/AC 預測：可以通過當前塊的左右相鄰塊預測 DC/AC DCT 係數。
* 擴展量化 AC 係數的動態範圍，支持高清視頻：從 H.263 的 [-127:127] 到 [-2047, 2047]。
增加了容錯功能，以支持丟包情況下的恢復，包括：
* 片斷重同步 (Slice Resynchronization)：在圖像內建立片斷 (slice)，以便在出現錯誤後更快速的進行重新同步。與 MPEG-2 數據包大小不同，MPEG4 數據包大小與用於描述 MB 的比特數量脫離了聯繫。因此，不管每個 MB 的信息量多少，都可以在位流中按相同間隔進行重新同步。
* 數據分割：這種模式允許利用唯一的運動邊界標記將視頻數據包中的數據分割成運動部分和 DCT 數據部分。這樣就可以實現對運動矢量數據更嚴格的檢查。如果出現錯誤，我們可以更清楚地瞭解錯誤之處，從而避免在發現錯誤情況下拋棄所有運動數據。
* 可逆 VLC：VLC 編碼表允許後向及前向解碼。在遇到錯誤時，可以在下一個slice進行同步，或者開始編碼並且返回到出現錯誤之處。
* 新預測 (NEWPRED)：主要用於在實時應用中實現快速錯誤恢復，這些應用中的解碼器在出現丟包情況下采用逆向通道向解碼器請求補充信息。
MPEG-4 高級簡化類 (ASP) 以簡化類爲基礎，增加了與 MPEG-2 類似的 B 幀及隔行工具（用於Level 4 及以上級別）。另外它還增加了四分之一像素運動補償及用於全局運動補償的選項。MPEG-4 高級簡化類比簡化類的處理性能要求更高，而且複雜性與編碼效率都高於 MPEG-2。
MPEG-4 最初用於因特網數據流，例如，已經被 Apple 的 QuickTime 播放器採用。MPEG-4 簡化類目前在移動數據流中得到廣泛應用。MPEG-4 ASP 是已經流行的專有 DivX 編解碼器的基石。
工具與壓縮增益
當我們查看 H.261、MPEG1、MPEG2 與 H.263 視頻編解碼技術中引入的功能時，明顯可以發現幾種基本技巧提供了大部分壓縮增益。圖 4 說明這些技巧及其相關效果。與 4 個運動矢量以及四分之一像素運動補償等工具相比，運動補償（整數像素與半像素）的效果顯然更爲突出。
圖 4：基本技巧的效果：1) 無 MC；2) 增加 Skip 模式構成 CR 編碼器；3) 僅允許零 MV；4) 允許整數像素 MC；5) 允許半像素 MC；6) 允許 4-MV；7) 允許四分之一像素MC。如欲瞭解有關詳細說明，敬請參見 [7]。
7. H.264/ MPEG4-AVC
視頻編碼技術在過去幾年最重要的發展之一是由 ITU 和 ISO/IEC 的聯合視頻小組 (JVT) 開發了 H.264/MPEG-4 AVC[8] 標準。在發展過程中，業界爲這種新標準取了許多不同的名稱。ITU 在 1997 年開始利用重要的新編碼工具處理 H.26L（長期），結果令人鼓舞，於是 ISO 決定聯手 ITU 組建 JVT 並採用一個通用的標準。因此，大家有時會聽到有人將這項標準稱爲 JVT，儘管它並非正式名稱。ITU 在 2003 年 5 月批准了新的 H.264 標準。ISO 在 2003
年 10 月以 MPEG-4 Part 10、高級視頻編碼或 AVC 的名稱批准了該標準。
H.264/AVC 在壓縮效率方面取得了巨大突破，一般情況下達到 MPEG-2 及 MPEG-4 簡化類壓縮效率的大約 2 倍。在 JVT 進行的正式測試中 [9]，H.264 在 85 個測試案例中有 78％ 的案例實現 1.5 倍以上的編碼效率提高，77％ 的案例中達到 2 倍以上，部分案例甚至高達 4 倍。H.264 實現的改進創造了新的市場機遇，如：
* 600Kbps 的 VHS 品質視頻。可以通過 ADSL 線路實現視頻點播。
* 高清晰電影無需新的激光頭即可適應普通 DVD。
H.264 標準化時支持三個類別：基本類、主類及擴展類。後來一項稱爲高保真範圍擴展 (FRExt) 的修訂引入了稱爲高級類的 4 個附加類。在初期主要是基本類和主類引起了大家的興趣。基本類降低了計算及系統內存需求，而且針對低時延進行了優化。由於 B 幀的內在時延以及 CABAC 的計算複雜性，因此它不包括這兩者。基本類非常適合可視電話應用以及其他需要低成本實時編碼的應用。
主類提供的壓縮效率最高，但其要求的處理能力也比基本類高許多，因此使其難以用於低成本實時編碼和低時延應用。廣播與內容存儲應用對主類最感興趣，它們是爲了儘可能以最低的比特率獲得最高的視頻質量。
儘管 H.264 採用與舊標準相同的主要編碼功能，不過它還具有許多與舊標準不同的新功能，它們一起實現了編碼效率的提高。圖 5 的編碼器框圖總結了其主要差別，概述如下：
幀內預測與編碼：H.264 採用空域幀內預測技術來預測相鄰塊鄰近像素的 Intra-MB 中的像素。它對預測殘差信號和預測模式進行編碼，而不是編碼塊中的實際像素。這樣可以顯著提高幀內編碼效率。
幀間預測與編碼：H.264 中的幀間編碼採用了舊標準的主要功能，同時也增加了靈活性及可操作性，包括適用於多種功能的幾種塊大小選項，如：運動補償、四分之一像素運動補償、多參考幀、通用 (generalized) 雙向預測和自適應環路去塊。
可變矢量塊大小：允許採用不同塊大小執行運動補償。可以爲小至 4(4 的塊傳輸單個運動矢量，因此在雙向預測情況下可以爲單個 MB 傳輸多達 32 個運動矢量。另外還支持 16(8、8(16、8(8、8(4 和 4(8 的塊大小。降低塊大小可以提高運動細節的處理能力，因而提高主觀質量感受，包括消除較大的塊化失真。
四分之一像素運動估計：通過允許半像素和四分之一像素運動矢量分辨率可以改善運動補償。
多參考幀預測：16 個不同的參考幀可以用於幀間編碼，從而可以改善視頻質量的主觀感受並提高編碼效率。提供多個參考幀還有助於提高 H.264 位流的容錯能力。值得注意的是，這種特性會增加編碼器與解碼器的內存需求，因爲必須在內存中保存多個參考幀。
幾種視頻壓縮標準簡介
MJPEG
MJPEG 是指 Motion JPEG，即動態JPEG，按照25幀/秒速度使用JPEG 算法壓縮視頻信號，完成動態視頻的壓縮。是由JPEG專家組制訂的，其圖像格式是對每一幀進行壓縮，通常可達到6：1的壓縮率，但這個比率相對來說仍然不足。就像每一幀都是獨立的圖像一樣。MJPEG圖象流的單元就是一幀一幀的JPEG畫片。因爲每幀都可任意存取，所以MJPEG常被用於視頻編輯系統。動態JPEG能產生高質量、全屏、全運動的視頻，但是，它需要依賴附加的硬件。而且，由於MJPEG不是一個標準化的格式，各廠家都有自己版本的MJPEG，雙方的文件無法互相識別。
MJPEG的優點是畫質還比較清晰，缺點是壓縮率低，佔用帶寬很大。一般單路佔用帶寬2M左右。
H.263
H.263 視頻編碼標準是專爲中高質量運動圖像壓縮所設計的低碼率圖像壓縮標準。H.263 採用運動視頻編碼中常見的編碼方法，將編碼過程分爲幀內編碼和幀間編碼兩個部分。埃幀內用改進的DCT 變換並量化，在幀間採用1/2 象素運動矢量預測補償技術，使運動補償更加精確，量化後適用改進的變長編碼表（VLC）地量化數據進行熵編碼，得到最終的編碼係數。
H.263標準壓縮率較高，CIF格式全實時模式下單路佔用帶寬一般在幾百左右，具體佔用帶寬視畫面運動量多少而不同。缺點是畫質相對差一些，佔用帶寬隨畫面運動的複雜度而大幅變化。
MPEG-1
VCD標準。
制定於1992年，爲工業級標準而設計，可適用於不同帶寬的設備，如CD-ROM,Video-CD、CD-i。它用於傳輸1.5Mbps數據傳輸率的數字存儲媒體運動圖像及其伴音的編碼，經過MPEG-1標準壓縮後，視頻數據壓縮率爲1/100～1/200，影視圖像的分辯率爲360×240×30（NTSC制）或360×288×25（PAL制），它的質量要比家用錄像系統（VHS-Video Home System）的質量略高。音頻壓縮率爲1/6.5，聲音接近於CD-DA的質量。MPEG-1允許超過70分鐘的高質量的視頻和音頻存儲在一張CD-ROM盤上。VCD採用的就是MPEG-1的標準，該標準是一個面向家庭電視質量級的視頻、音頻壓縮標準。MPEG-1的編碼速率最高可達4-5Mbits/sec，但隨着速率的提高，其解碼後的圖象質量有所降低。MPEG-1也被用於數字電話網絡上的視頻傳輸，如非對稱數字用戶線路(ADSL)，視頻點播(VOD)，以及教育網絡等。同時，MPEG-1也可被用做記錄媒體或是在INTERNET上傳輸音頻。MPEG1標準佔用的網絡帶寬在1.5M左右。
MPEG-2
DVD標準。
制定於1994年，設計目標是高級工業標準的圖象質量以及更高的傳輸率，主要針對高清晰度電視（HDTV）的需要，傳輸速率在3-10Mbits/sec間，與MPEG-1兼容，適用於1.5～60Mbps甚至更高的編碼範圍。分辯率爲720×480×30（NTSC制）或720×576×25（PAL制）。影視圖像的質量是廣播級的質量,聲音也是接近於CD-DA的質量。MPEG-2是家用視頻制式（VHS）錄像帶分辯率的兩倍。MPEG-2的音頻編碼可提供左右中及兩個環繞聲道,以及一個加重低音聲道，和多達7個伴音聲道(DVD可有8種語言配音的原因)。由於MPEG-2在設計時的巧妙處理，使得大多數MPEG-2解碼器也可播放MPEG-1格式的數據，如VCD。除了做爲DVD的指定標準外，MPEG-2還可用於爲廣播，有線電視網，電纜網絡以及多級多點的直播 (Direct Broadcast Satellite) 提供廣播級的數字視頻。MPEG-2的另一特點是，其可提供一個較廣的範圍改變壓縮比，以適應不同畫面質量，存儲容量，以及帶寬的要求。對於最終用戶來說，由於現存電視機分辨率限制，MPEG-2所帶來的高清晰度畫面質量(如DVD畫面)在電視上效果並不明顯，到是其音頻特性(如加重低音，多伴音聲道等)更引人注目。
MPEG-2的畫質質量最好，但同時佔用帶寬也非常大，在4M~15M之間，不太適於遠程傳輸。
MPEG-4
如果說，MPEG-1“文件小，但質量差”；而MPEG-2則“質量好，但更佔空間”的話，那麼MPEG－4則很好的結合了前兩者的優點。它於1998年10月定案，在1999年1月成爲一個國際性標準，隨後爲擴展用途又進行了第二版的開發，於1999年底結束。MPEG－4是超低碼率運動圖像和語言的壓縮標準，它不僅是針對一定比特率下的視頻、音頻編碼，更加註重多媒體系統的交互性和靈活性。MPEG-4標準主要應用於視像電話(Video Phone)，視像電子郵件(Video Email)和電子新聞(Electronic News)等，其傳輸速率要求較低，在4800-64Kbits/sec之間，分辨率爲176X144。MPEG-4利用很窄的帶寬，通過幀重建技術，壓縮和傳輸數據，以求以最少的數據獲得最佳的圖象質量。與MPEG-1和MPEG-2相比，MPEG-4爲多媒體數據壓縮提供了一個更爲廣闊的平臺。它更多定義的是一種格式、一種架構，而不是具體的算法。它可以將各種各樣的多媒體技術充分用進來，包括壓縮本身的一些工具、算法，也包括圖像合成、語音合成等技術。 MPEG-4的特點是其更適於交互AV服務以及遠程監控。MPEG-4是第一個使你由被動變爲主動(不再只是觀看，允許你加入其中，即有交互性)的動態圖象標準；它的另一個特點是其綜合性；從根源上說，MPEG-4試圖將自然物體與人造物體相溶合(視覺效果意義上的)。MPEG-4的設計目標還有更廣的適應性和可擴展性。
MPEG4標準的佔用帶寬可調，佔用帶寬與圖像的清晰度成正比。以目前的技術，一般佔用帶寬大致在幾百K左右。
