視頻壓縮之冗餘
對於數字視頻信號，數據量很大，不管是存儲還是傳輸的需要，做壓縮處理是必須的，下面我們會做進一步闡述。
以記錄數字視頻的YUV分量格式爲例，YUV分別代表亮度與兩個色差信號。例如對於現有的PAL制電視系統，其亮度信號採樣頻率爲13.5MHz；色度信號的頻帶通常爲亮度信號的一半或更少，爲6.75MHz或3.375MHz。以4：2：2的採樣頻率爲例，Y信號採用13.5MHz，色度信號U和V採用6.75MHz採樣，採樣信號以8bit量化，則可以計算出數字視頻的碼率爲：
13.5*8 + 6.75*8 + 6.75*8=216Mbit/s
在數字視頻標準ITU-R601標準中，PAL/NTSC制式的SDTV採用10bit量化時，亮度信號的碼率爲：
取樣頻率X 量化比特數= 13.5MHz X 10bit = 135Mbps
2個色差信號的碼率爲 2 X 6.75MHz X 10bit =135Mbps
SDTV的總碼率爲13.5*10+ 6.75*10 + 6.75*10= 270Mbps
而對於高清晰度電視（HDTV），在SMPTE274M數字電視標準中，1080P
60Hz的高清數字視頻信號採用10bit量化時，
亮度信號的碼率爲：
取樣頻率X 量化比特數= 74.25MHz X 10bit = 742.5Mbps
2個色差信號的碼率爲2 X 37.125MHz X 10bit = 742.5Mbps
HDTV的總碼率爲：
亮度信號碼率 + 2個色差信號碼率 = 742.5Mbps +742.5Mbps = 1485Mbps
那麼對於現在逐漸普及的4K電視信號，數字化後的碼率就更高了。如此可見，由於數字化後的視頻數據量十分巨大，不便於傳輸和存儲。單純用擴大存儲容量、增加通信信道帶寬的辦法是不現實的。而數據壓縮是個行之有效的方法，通過數據壓縮手段把信息的數據量壓下來，以壓縮編碼的形式存儲和傳輸，即緊縮節約了存儲空間，又提高了通信信道的傳輸效率。
數字化後的視頻信號能進行壓縮主要依據兩個基本條件：
- 數據冗餘。例如空間冗餘、時間冗餘、結構冗餘、信息熵冗餘等，即圖像的各像素之間存在着很強的相關性。消除這些冗餘並不會導致信息損失，屬於無損壓縮。
- 視覺冗餘。人眼的一些特性比如亮度辨別閾值，視覺閾值，對亮度和色度的敏感度不同，使得在編碼的時候引入適量的誤差，也不會被察覺出來。可以利用人眼的視覺特性，以一定的客觀失真換取數據壓縮。這種壓縮屬於有損壓縮。
數字視頻信號的壓縮正是基於上述兩種條件，使得視頻數據量得以極大的壓縮，有利於傳輸和存儲。
視頻數據中存在着大量的冗餘，即圖像的各像素數據之間存在極強的相關性。利用這些相關性，一部分像素的數據可以由另一部分像素的數據推導出來，結果視頻數據量能極大地壓縮，有利於傳輸和存儲。如上面所述，視頻數據主要存在以下形式的冗餘。
1. 空間冗餘
這是靜態圖像存在的最主要的一種數據冗餘。一幅圖像記錄了畫面上可見景物的顏色。同一景物表面上各採樣點的顏色之間往往存在着空間連貫性，也就是說視頻圖像在水平方向相鄰像素之間、垂直方向相鄰像素之間的變化一般都很小，存在着極強的空間相關性。但是基於離散像素採樣之後的數字視頻來表示物體顏色的方式通常沒有利用景物表面顏色的這種空間連貫性，特別是同一景物各點的灰度和顏色之間往往存在着的空間連貫性，從而產生了空間冗餘。規則物體和規則背景的表面物理特性都具有相關性，也就是說某些區域中所有點的光強和色彩以及飽和度都是相同的，因此數據有很大的空間冗餘。常稱爲幀內相關性。
2. 時間冗餘
這是一系列連續圖像表示中經常包含的冗餘。序列圖像（如電視圖像和運動圖像）一般是位於時間軸區間內的一組連續畫面，其中的相鄰幀，或者相鄰場的圖像中，在對應位置的像素之間，亮度和色度信息存在着極強的相關性。當前幀的圖像往往具有與前、後兩幀圖像相同的背景和運動物體，只不過移動物體所在的空間位置略有不同，所以後一幀的數據與前一幀的數據有許多共同的地方，對大多數像素來說，亮度和色度信息是基本相同的。而變化的只是其中某些地方，這就形成了時間冗餘，這稱爲幀間相關性或時間相關性。
3. 符號冗餘
符號冗餘也稱編碼表示冗餘，又稱信息熵冗餘。信息熵指一組數據攜帶的平均信息量。這裏的信息量是指從N個不相等可能事件中選出一個事件所需要的信息度量，即在N個事件中辨識一個特定事件的過程中需要提問的最少次數（=log2N比特）。將信息源所有可能事件的信息量進行平均，得到的信息平均量稱爲信息熵。
上述符號冗餘、空間冗餘和時間冗餘，統稱爲統計冗餘，因爲它們都取決於圖像數據的統計特性。
4. 圖像區域的相似性冗餘
在圖像中的兩個或多個區域所對應的所有像素值相同或相近，從而產生的數據重複性存儲，這就是圖像區域的相似性冗餘。在這種情況下，記錄了一個區域中各像素的顏色值，與其相同或相近的區域就不再記錄各像素的值。矢量量化方法就是針對這種冗餘圖像的壓縮方法。
5. 結構冗餘
在有些圖像的圖案區域，圖像的像素值存在着明顯的分佈模式。數字化圖像中的物體表面紋理等結構往往存在着冗餘，這種冗餘稱爲結構冗餘。例如，當一幅圖有很強的結構特性，紋理和影像色調等與物體表面結構有一定的規則時，其結構冗餘很大。這些圖像的紋理區，像素值存在明顯的分佈模式，已知分佈模式，可以通過某一過程生成圖像。例如，方格狀的地板圖案等。
6. 紋理的統計冗餘
有些圖像紋理儘管不嚴格服從某一分佈規律，但是在統計的意義上服從該規律，利用這種性質也可以減少表示圖像的數據量，稱爲紋理的統計冗餘。
信號統計上的冗餘度來源於被編碼信號概率密度分佈的不均勻預測編碼：不直接傳送圖像信號，而傳送圖象信號之間的差值。這種差值呈拉普拉斯分佈。
在預測編碼系統中，需要編碼傳輸的是預測誤差信號，它是當前待傳像素樣值與它的預測值間的差分信號。預測值是通過在該像素之前已經傳出的它的幾個近鄰像素值預測出來的。由於電視信號相鄰像素間相關性很強，在大部分時間內預測都很準，預測誤差很小。並且，預測誤差高度集中在0附近，形成如上圖所示的拉普拉斯分佈。這種不均勻的概率分佈對採用可變字長編碼壓縮碼率極爲有利。
預測編碼時，對出現概率高的預測誤差信號(0及小誤差) 用短碼，對概率低的大預測誤差用長碼，使總的平均碼長要比用固定碼長編碼短很多。電視圖像信號數據存在的信息冗餘爲視頻壓縮編碼提供了可能。
7. 知識冗餘
有些圖像與某些知識有相當大的相關性。由圖像的記錄方式與人對圖像的知識差異所產生的冗餘稱爲知識冗餘。人對許多圖像的理解與某些基礎知識有很大的相關性。例如，人臉的圖像有固定的結構，比如說嘴的上方有鼻子，鼻子的上方有眼睛等等，這類規律性的結構可由先驗知識和背景知識得到。但計算機存儲圖像時還得把一個個像素信息存入，這就是知識冗餘。根據已有知識，對某些圖像中所包含的物體，可以構造其基本模型，並創建對應各種特徵的圖像庫，進而圖像的存儲只需要保存一些特徵參數，從而可以大大減少數據量。知識冗餘是模型編碼主要利用的特性。
8. 視覺冗餘
事實表明，人類的視覺系統對於圖像的敏感性是非均勻和非線性的，它並不能感知圖像的所有變化，對視覺不敏感的信息可以適當地捨棄。然而，在記錄原始的圖像數據時，通常假定視覺系統是線性的和均勻的，對視覺敏感和不敏感的部分同等對待，從而產生了比理想編碼(即把視覺敏感和不敏感的部分區分開來編碼)更多的數據，當某些變化不能被視覺所感知，則忽略這些變化，我們仍認爲圖像是完好的。人類視覺系統的一般分辨能力估計爲26灰度等級，而一般圖像的量化採用28灰度等級。這些對視覺不敏感的數據，並不能對增加圖象相對於人眼清晰度作出貢獻，而被認爲是多餘的數據，這就是視覺冗餘度。
通過對人類視覺進行大量實驗，發現了以下的視覺非均勻特性：視覺系統對圖像的亮度和色彩度的敏感性相差很大。隨着亮度的增加，視覺系統對量化誤差的敏感度降低。這是由於人眼的辨別能力與物體周圍的背景亮度成反比。由此說明：在高亮度區，灰度值的量化可以更粗糙一些。人眼的視覺系統把圖像的邊緣和非邊緣區域分開來處理，這是將圖像分成非邊緣區域和邊緣區域分別進行編碼的主要依據。人類的視覺系統總是把視網膜上的圖像分解成若干個空間有向的頻率通道後再進一步處理。
同時人眼對低頻信號比對高頻信號敏感；對靜止圖象比對運動圖象敏感；對圖象中水平和垂直線條比對斜線條敏感。
人眼對圖像的細節分辨率、運動分辨率和對比度分辨率都有一定的限度。
人眼對圖像細節、幅度變化和圖像的運動並非同時具有最高的分辨能力。圖像信號在空間、時間以及在幅度方面進行數字化的精細程度只要達到了這個限度即可，超過是無意義的。從視覺心理學和生理學的研究表明，人眼對圖像細節、運動和對比度三方面的分辨能力是互相制約的。觀察景物時，並非對這三者同時都具備最高的分辨能力。
同時，人眼視覺對圖像的空間分解力和時間分解力的要求具有交換性，當對一方要求較高時，對另一方的要求就較低。根據這個特點，可以採用運動檢測自適應技術。根據圖像的每一局部的特點來決定對它的抽樣頻率和量化的精度，儘量地做到人眼的視覺特性相匹配,可做到在不損傷圖像主觀質量的條件下壓縮碼率。對靜止圖像或慢運動圖像降低其時間軸抽樣頻率，例如每兩幀傳送一幀；對快速運動圖像降低其空間抽樣頻率。例如，在預測編碼中，利用受圖像局部活動性影響的視覺掩蓋效應設計的自適應主觀優化量化器;在變換編碼中，對不同空間頻率的變換系數進行量化時採用視覺加權矩陣便是典型例子。
另外，人眼視覺對圖像的空間、時間分解力的要求與對幅度分解力的要求也具有交換性，對圖像的幅度誤差存在一個隨圖像內容而變的可覺察門限，低於門限的幅度誤差不被察覺，在圖像的空間邊緣(輪廓)或時間邊緣(景物突變瞬間)附近，可覺察門限比遠離邊緣處增大3～4倍，這就是視覺掩蓋效應。
根據這個特點，可以採用邊緣檢測自適應技術，對於圖像的平緩區或正交變換後代表圖像低頻成分的係數細量化，對圖像輪廓附近或正交變換後代表圖像高頻成分的係數粗量化；當由於景物的快速運動而使幀間預測編碼碼率高於正常值時進行粗量化，反之則進行細量化。在量化中，儘量使每種情況下所產生的幅度誤差剛好處於可覺察門限之下，這樣能實現較高的數據壓縮率而主觀評價不變。
壓縮視覺冗餘度就是去掉那些相對人眼而言是看不到的或可有可無的圖象數據，利用人眼的視覺特性進行壓縮。
上述各種形式的冗餘，是壓縮圖像與視頻數據的出發點。圖像與視頻壓縮編碼方法就是要儘可能地去除這些冗餘，以減少表示圖像與視頻所需的數據量。根據上述冗餘的分類，圖像壓縮方法在廣義上可以分成兩類：
- 一類是冗餘度壓縮技術，無損傷壓縮技術，無失真，數學上可逆。即它是可還原的；又稱爲可逆編碼(Reversible
Coding)。 - 另一類是信息量壓縮技術，有損傷壓縮技術，有失真，數學上不可逆。即它是不可還原的；又稱不可逆壓縮(Non-Reversible
Coding)。