2017-01-23 新一代視頻壓縮碼標準-H.264_AVC：第一章 緒論、第二章 數字視頻、第三章 視頻壓縮編碼的基本原理
第一章 緒論
1.1 緒論.信息化與視頻通信
1.1.1 緒論.信息化與視頻通信.什麼是信息
信息是客觀世界的描述和分析。
1.1.2 緒論.信息化與視頻通信.什麼是信息化
1.2 緒論.視頻信息和信號的特點
1.2.1 直觀性
1.2.2 準確性
1.2.3 高效性
1.2.4 廣泛性
1.2.5 視頻信號的高帶寬性
1.3 緒論.視頻壓縮編碼的要求和可能性
1.3.1 視頻壓縮編碼的目標
1.3.1.1 必須壓縮在一定的帶寬內，即視頻編碼應具有足夠的壓縮比；
1.3.1.1 視頻信號壓縮後，經解壓重建應保持一定的視頻質量。
1.3.1.3 簡單、易實現、成本低、可靠性高。
1.3.2 視頻壓縮的可能性
1.預測編碼：相鄰的像素的值發生突變的概率極小，相等、相似或緩變的概率極大。利用此原理編碼稱爲幀內預測編碼。相鄰幀與幀之間突變的可能性也很小，具有幀間相關性。
2.變換編碼：大量統計表明，視頻信號中包含着能量上佔大部分的直流和低頻成分（圖中的平坦部分），還有少量的高頻成分（圖像的細節部分）。
1.4 視頻壓縮編碼技術綜述
1.4.1 基本結構
視頻編碼方法與可採用的信源模型有關：
如果採用“一幅圖像由許多像素構成”的信源模型，這種信源模型的參數就是每個像素的亮度和色度的幅度值，對這些參數進行壓縮編碼的技術稱爲基於波形的編碼。
如果採用“一個分量由幾個物體構成”的信源模型，這種信源模型的參數就是各個物體的形狀、紋理和運動，對這些參數進行壓縮的編碼的技術稱爲基於內容的編碼。
1.4.2 基於波形的編碼
利用像素間的空間相關性和幀間的時間相關性，採用預測編碼和變換編碼技術可大大減少視頻信號的相關性，從而顯著降低視頻序列的碼率，實現壓縮編碼的目標。
基於波形的編碼採用了把預測編碼和變換編碼組合起來的基於塊的混合編碼方法。
爲了減少編碼的複雜性，使視頻編碼操作易於執行，採用混合編碼方法時，首先把一副圖像分成固定大小的塊，如8*8（即每塊8行，每行8個像素）等，然後對塊進行壓縮編碼處理。
H264就採用了基於塊的混合編碼法，屬於基於波形的編碼。
1.4.3 基於內容的編碼
對不同物體的形狀、運動和紋理進行編碼。在最簡單的情況下，利用二維輪廓描述物體的形狀，利用運動矢量描述其運動狀態，而紋理則用顏色的波形進行描述。
MPEG-4採用的編碼方法即是基於塊的混合編碼，又採用了基於內容的編碼方法。
1.4.4 立體（三維）視頻編碼
同樣具有基於波形和基於內容兩種方式
第二章 數字視頻
2.1 數字電視的基本概念
1：失真小、噪聲低、視頻質量高
模擬電視信號在傳輸過程中難免會引入失真和噪聲，並隨着處理次數和傳輸距離的增加不斷積累。數字電視信號則沒有上述的噪聲累積效應。只要噪聲電平不超過信號脈衝幅度的一半，就可用脈衝再生技術對其整形，恢復成“0”或“1”兩種電平，不會引入噪聲。
2：易處理、易校正
模擬信號進行壓縮、加密、校正都很麻煩，數字信號則方便的多。
3：容量大、節目多
同樣的貸款容納的數字電視節目比模擬電視節目多得多。
2.1.2 數字電視的PCM原理
PCM 脈衝編碼調製(Pulse Code Modulation,PCM)
2.1.4 A/D與D/A變換
DAC是Digital Analog Converter(數字模擬信號轉換器)的縮寫
Analog.Digital, 模擬/數字\Digital.Analog, 數字/模擬
2.2 數字電視信號
2.2.1 電視信號的時間和空間取樣
1.時間取樣
電視信號的取樣有兩種：空間取樣和時間取樣。運動圖像可由每秒若干幀的靜止圖像構成，如每秒25幀。這種取樣方式就是按時間取樣。但低於15幀/秒的視頻質量不高。
2.空間取樣
在同一電視信號幀中，同一行由若干取樣點構成，這樣取樣點稱爲像素，這樣取樣就屬於空間取樣。
2.2.2 彩色空間
1.RGB、red、green、blue三基色。
總所周知，任何彩色圖像可由不同比例的紅色、綠色、藍色組合而成，即三基色原理。這種表示彩色圖像的方法即RGB彩色空間。
2.YUV
人類視覺系統對亮度比色彩更敏感，因此可把亮度信息從色彩信息中心分離出來。色彩清晰度降低，可顯著壓縮帶寬。
2.2.3 彩色電視取樣格式
2.2.4 數字電視信號的編碼參數
1.量化值：量化值（量化節距）取得太大，視頻圖像顯得粗糙；取得太小，視頻圖像質量好，但帶寬浪費大。
2.取樣頻率
2.3 視頻信號的預處理
各種傳感器在將實際場景轉換爲圖像信號時總會引入各種噪聲和畸變失真，因此需要對圖像傳感器和圖像進行預處理。
2.3.1 色彩插值（Color Interpolation）
2.3.2 色彩校正（Color Correction）
2.3.3 伽馬校正（Gamma Correction）
其中涉及一個術語--強度（Intensity），其表示的是每單位面積傳播的（光）輻射能量。感光設備的光線強度和電壓並不成正比，所以需要矯正。
2.3.4 圖像增強（Image Enhancement）
1.平滑濾波
主要用於消除圖像採樣系統的量化過程所產生的的噪聲。
2.中值濾波
目的是保護圖像的細節的同時，消除噪聲。
3.圖像銳化
圖像的邊緣信息在圖像風險和人的世界中都是非常重要的，物體的邊緣是以圖像局部特性不斷連續的形式出現的。
前面介紹的圖像濾波有益於消除噪聲是有益的，但往往使圖像中的邊界、輪廓變得模糊。圖像銳化技術，就是使圖像的邊緣變得更加鮮明。
2.3.5 白平衡（White Balance）
白平衡作爲圖像處理的一個重要術語，指的是對白色物體顏色的還原。當我們用肉眼觀看大千世界時，在不同光線下，對相同的顏色的感覺基本相同，
主是由於大腦已經對於不同光線下的物體的色彩還原有了適應性。但是，傳感器沒有這種人眼的適應性，在不同的光線下，由於圖像傳感器輸出的不平衡性，
造成其輸出的色彩失真。
2.4 視頻質量
2.4.1 主觀質量的評定
2.4.2 客觀質量的測量
第三章 視頻壓縮編碼的基本原理
3.1 預測編碼
3.1.1 預測編碼.預測編碼的基本概念
預測法是最簡單、實用的視頻壓縮編碼方法，經過壓縮編碼後傳輸的並不是像素本身的取樣值，而是該取樣的預測值和實際值之差。
大量統計表明，同一副圖像的臨近像素之間有着相關性，或者說這些像素值相似。
3.1.2 預測編碼.幀內預測編碼
3.1.3 預測編碼.幀間預測編碼
1.單項預測
2.雙向預測
有時，不只是利用前一幀像素進行預測，還需利用後一幀像素。
這時，用前向參考幀預測當前幀稱爲前向運動補償，利用後向參考幀預測當前幀稱爲後向運動補償，利用前、後向同時預測，就稱爲雙向預測運動補償。
在諸如會議電視、可視電話等實時通信中，一般不應用雙向預測，因爲後向預測在當前幀之後進行，會引入編碼時延。
爲了進一步提高編碼效率，多幀預測（包括單向和雙向預測）被引入，如H.264標準參考幀可達16幀。
3.重疊塊運動補償OBMC
以上基於塊的運動補償從計算量上看是比較簡單，但這種人爲的塊劃分使得每一個塊有一個運動矢量，容易產生方塊效應，
特別在運動矢量估計不準確或物體運動非簡單的平移運動及一個塊中有幾個不同運動物體時更爲嚴重。重疊塊運動補償（Overlapped Block Motion Compensation）方法解決了運動矢量估計不準確的問題。
3.1.4 預測編碼.運動估計
1.基本概念
在幀間預測編碼中，由於活動圖像臨近幀中的景物存在着一定的相關性，因此可將活動圖像分成若干塊或宏塊，並設法搜索出每個塊或宏塊在臨近幀中的位置，並得出兩者之間的空間位置的相對偏移量，得到的偏移量就是通常指的運動矢量，得到的運動矢量的過程被稱爲運動估計。
2.運動估計的方法
H.264編碼標準和以往採用的視頻壓縮標準的最大不用在於，在運動估計過程中採用了多參考幀來提高預測精度。多參考幀預測就是在編解碼端建立一個存儲M個重建幀的緩存，當前的帶編碼塊可以在緩存內的所有重建幀中尋找最優的匹配塊進行運動補償。
3.運動表示法
由於在成像的場景中一般有多個物體做不同的運動，如果直接按照不同類型的運動將圖像分割成複雜的區域是比較困難的。最直接和不受約束的方法是對每個像素都制定運動矢量，這就是基於像素表示法。他需要估計大量的未知量，並且他的解時常在物理上不正確，通常採用基於塊的物體運動表示法。
1）基於塊的運動表示法
一般對於細節比較少、比較平坦的區域選擇得塊的尺寸大一些，對於圖像中細節比較多的區域選擇的塊的尺寸小一些。
2）亞像素位置的內插
由於自然物體運動的連續性，相同兩幀之間的塊的運動矢量不是以整像素爲基本單位的，可能真正的運動位移量是以1/4像素甚至1/8像素等亞像素作爲單位的。
H.264只採用了1/4像素精度的運動矢量模型。
3）運動矢量在時空域的預測方式
如果對每個塊的運動矢量進行編碼，那麼將花費相當數目的比特數，特別是選擇小尺寸的塊的時候。由於一個運動物體會覆蓋多個分塊，所以空間域相鄰塊的運動矢量具有很強的相關性，因此，每個運動矢量可以根據鄰近先前已編碼的塊進行預測。
