視頻編解碼學習之四：視頻處理及編碼標準

http://www.cnblogs.com/xkfz007/archive/2012/07/30/2614467.html

視頻編解碼學習之四：視頻處理及編碼標準

第10章視頻處理

1.視頻處理

在視頻壓縮前後，對視頻圖像質量增強的操作
視頻編解碼系統輸出的圖像主觀質量不僅與壓縮算法的性能有關，還受視頻處理的影響
壓縮之前對視頻的處理稱作預處理（Pre-processing）
壓縮之後對視頻的處理稱作後處理（Post-processing）

2. 預處理

預處理的目的
- 去隔行
- 空間縮放
- 幀率轉換
- 噪聲污染
- 光照差
- 抖動
- 爲了減少原圖像受到的損害，保持原圖像的重要特徵，使原圖像能被高效的壓縮
- 爲了進行視頻格式轉換
去噪聲處理

去隔行（Deinterlace）
- 隔行掃描的視頻圖像在逐行掃描播放設備上播放會有隔行效應，降低了主觀質量

3. 去隔行的方法

在單場內去隔行
- 用奇數（偶數）行插值出偶數（奇數）行

兩場間去隔行
- 用兩場的像素值（包括運動矢量信息）插值出一幀象素值

運動補償方法
- 用前後向參考場的運動矢量信息，產生高質量的逐行幀

4. MPEG去隔行處理

MPEG-2後處理去隔行

5. 空間縮放

上採樣（Up sample）方法
P(x,y)=P(0,0)xy+P(1,0)(1-x)y+P(0,1)x(1-y)+P(1,1)(1-x)(1-y)
- 用鄰近的16個象素值插值當前象素
- 有更平滑的插值效果
- 雙三次插值（Bicubic interpolation）
- 用原圖像上每一個象素點值作爲上採樣圖像上對應四個相鄰象素點的值
- 會產生階梯形狀的效應
- 最近鄰插值（Nearest-neighbor interpolation ）
- 線性，雙線性插值

下采樣（Down sample）方法
- 縮小原始圖像

5. 超分辨率

光流：象素的運動矢量

6. 幀率轉換

3：2下拉
- 24幀/秒電影轉換成60場/秒的電視視頻
- 24/30=4/5

幀率下采樣（跳幀）

幀率上採樣

7. 後處理

後處理的目的是爲了去除解碼圖像的各種效應，最大程度恢復損失的圖像數據，提高解碼圖像的主觀質量
- 跳幀（Frame Skip）
- 數據丟失（Data Loss）
- 塊效應（Block Artifact），振鈴效應（Ringing Artifact）
- 失真（Distortion）
- 量化方法使變換系數信息損失導致解碼圖像產生失真和塊邊界的不連續性
- 視頻碼流傳輸及解碼導致的解碼圖像質量問題

8. 塊效應

塊效應產生原因
- 由於塊被獨立的處理

9. 去除塊效應濾波

去除塊效應濾波
- 濾波器在解碼環路內，濾波後的圖像可以作爲參考幀用於運動估計和補償
- 標準的一部分，編解碼器都需要環路濾波
- AVS，H.264/AVC
- 環路濾波（In loop filter）：
- 濾波器在解碼環路外，對顯示緩衝區的圖像進行濾波
- 非標準部分，只有解碼器需要環外濾波
- MPEG-2，MPEG-4 SP
- 環外濾波（Out loop filter）：

10. 振鈴效應

振鈴效應產生原因
- 由於高頻係數的量化嚴重

11. 數據丟失

數據丟失

12. H.264的環路濾波

濾波邊界

適應性濾波

濾波強度

濾波決策閾值

濾波強度
- 1≤ Bs≤3，基本濾波操作
- Bs=4，強力濾波操作
- QP越高，量化程度越大，會產生更多的塊效應，需要更強的濾波
- QP越低，量化程度越小，會產生更少的塊效應，用弱一些的濾波來防止邊界變得模糊
- 濾波強度和量化參數QP有關
- 根據濾波強度（Bs）的不同有兩種濾波器
- 邊界濾波計算

截斷操作參數C

Bs=4
塊效應更明顯
需要更劇烈的濾波，去除塊效應
當滿足以下條件對邊界進行強濾波
強濾波時修改p₀, p₁, p₂的像素值
弱濾波時只修改p₀的像素值

第11章視頻編碼標準

1.國際標準組織

ITU (International Telecommunications Union)：國際電信聯盟
ISO (International Standardization Organization)：國際標準化組織
IEC (International Electrotechnical Commission)：國際電工委員會

2. ITU

ITU-T (Telecommunication)：電信標準化部門
ITU-R (Radiocommunication)：無線電通信部門
ITU-D (Development)：電信發展部門
VCEG (Video Coding Experts Group)：視頻編碼專家組，屬於ITU-T的Study Group 16/Question 6 (ITU-T SG16/Q.6)

3. VCEG

VCEG制訂標準：
- H.261：第一個視頻編碼標準，用於ISDN（px64Kbps）傳輸的視頻會議，主要採用了基於整象素的運動補償
- H.262 (MPE-2)：與MPEG合作制定的標準
- H.263 (H.263+， H.263++)：用於低碼率的視頻編碼，主要用於PSDN低於54Kbps的視頻會議和視頻電話，採用了1/2象素運動補償，考慮了數據損失和錯誤魯棒性的需要
- H.26L： H.264的前身標準
- H.264 (MPEG-4 AVC)：目前編碼效率最高的標準

4. ISO/IEC

JPEG：ISO/IEC JTC1/SC29/WG1
MPEG：ISO/IEC JTC1/SC29/WG11

5. MPEG

MPEG制訂標準：
- MPEG-1 ： H.261+半象素運動補償+雙向預測+條帶結構編碼，用於VCD，LAN視頻（最大1.5Mbps）
- MPE-2： MPEG-1+隔行視頻編碼+縮放功能，用於HDTV（18Mbps）、SDTV （2-5Mbps）數字信號傳輸和DVD（6-8Mbps）存儲，兼容MPEG-1標準
- MPEG-4 ASP (P-2) ：從H.263標準發展而來，基於視頻對象平面編碼，能在解碼端控制視頻對象，合成場景，並有音視頻交互功能
- MPEG-4 AVC (P-10)（H.264/AVC）：與VECG合作制定的標準

6. 視頻編碼標準

國際標準組織及其制定的編碼標準

7. 標準的應用

8. 其他標準組織

AVS (China Audio and Video Standard)
- AVS1.0 ：面向高清數字電視廣播
- AVS-M：面向移動視頻
- AVS-S：面向監控視頻
SMPTE (The Society of Motion Picture and Television Engineers )
- VC-1

9. 視頻編碼標準發展

10. MPEG-1

標準文檔：ISO/IEC 11172-2
編碼技術：基於H.261
- B幀編碼：B幀不能被其它幀參考
- 16x16 精度運動補償
- 碼率控制：宏塊級的碼率控制，調整宏塊的量化參數控制碼率
- 支持視頻隨機訪問，回放，碼流編輯，音視頻同步
參考軟件：Simulation Model 3（SM3）

11. MPEG-2

標準文檔：ISO/IEC 13818-2
編碼技術：基於MPEG-1
- 空間縮放
- 時間縮放
- SNR縮放
- 幀和場運動補償
- 三種類型的縮放
參考軟件：Test Model 5 （TM5）
Profile：工具集
Level：參數限制
不同的應用使用不同的Profile和Level的組合

12. H.263系列

H.263編碼技術：基於H.261
- D選項—無限制的運動矢量模式
- E選項—基於語法的算術編碼
- F選項—高級預測模式，OBMC
- G選項—PB幀模式
- 半象素精度運動補償
- 可選的數據流層次結構
- 四種高效編碼模式
- 支持更多的視頻圖像分辨率
- 參考軟件TMN2.0（Test Model Near-term 2.0）
H.263+編碼技術：基於H.263
- I選項—高級的幀內預測模式
- J選項—去塊效應濾波
- K選項—條帶結構模式
- L選項—補充增強信息，用於解碼器的顯示相關的信息
- M選項—增強的PB幀模式
- N選項—參考幀選擇
- O選項—分級，時間分級，空間分級，SNR分級
- P選項—參考幀重採樣
- Q選項—減少的分辨率更新
- R選項—獨立的片段解碼
- S選項—可替代的inter-VLC
- T選項—改進的量化
- 允許自定義視頻圖像格式
- 增加了12個選項提高壓縮效率
H.263++編碼技術：基於H.263+
- U選項—增強型參考幀選擇
- V選項—數據分區條帶，變換量化係數和運動矢量數據分離
- W選項—增加的補充增強信息，包括定點IDCT的選項，圖像信息，信息類型，重複的圖像頭，交替場指示，稀疏參考幀識別
- 增加了三個選項，增強抗誤碼能力

13. MPEG-4

標準文檔：ISO/IEC 14496-2
編碼技術：基於H.263
- 形狀分割編碼
- 縮放的靜態紋理小波變換
- 網格動畫編碼
- 人臉動畫編碼
- 內容合成，半合成編碼
- 10比特，12比特深度採樣
- 參考軟件VM7（Verification Model 7
- 增加了基於對象的編碼和操作
基於對象編碼
- 場景被分成多個對象
- 每個對象用形狀，運動和紋理特徵描述

Video Object Plane（VOP）

Sprite編碼
- 在序列開始編碼整個視頻背景和仿射映射，通過仿射映射將部分背景內容放到解碼圖像上顯示
網格（Mesh）動畫編碼
- 對象可由初始的網格和節點的運動矢量描述
Profile

14. H.264/AVC

標準文檔：ISO/IEC 14496-10（ITU-T H.264）
前身爲：H.26L(Long Range)，基於MPEG-2/4
參考軟件JM（Joint Model）

15. H.264編碼結構

16. H.264-Intra編碼

4個亮度16x16的模式
9個亮度4x4的模式
4個色度8x8的模式
編碼複雜度高
不利於錯誤恢復

17. H.264-運動補償

可變塊運動補償
象素精度亮度運動補償
- 像素濾波器（1, -5, 20, 20, -5, 1）
1/8象素精度色度運動補償
- 色度採用雙線性濾波
圖像外運動矢量
多參考幀
- 每個宏塊的四個8x8子塊都可以使用不同的參考幀

18. H.264多參考幀

P幀
- 只參考一個list的參考幀，List0
B幀
- 參考兩個list的參考幀，List0和List1
每個List最大可包含16個參考幀
- List0：以前的參考幀緩衝
- List1：將來的參考幀緩衝

19. H.274-加權預測

20. H.264-切換圖像

SP/SI幀實現
- 碼流切換
- 隨機切入
- 錯誤恢復
- 也可以實現快進，快退
特點
- 對於不同的參考圖像可以得到完全相同的重構圖像
- SP幀的編碼效率低於P幀但高於I幀
- SI幀的編碼效率低於I幀

21. H.264-FMO

靈活宏塊順序（Flexible MB Order，FMO）
- 宏塊有不同的組合構成條帶
- 七種不同的宏塊組合方式
FMO增強了解碼的錯誤恢復能力

22. H.264-數據分區

上層的語法元素的丟失會嚴重影響壓縮碼流的解碼
將碼流按照重要程度分成三部分
- A：頭信息：包括宏塊類型，運動矢量等
- B：Intra係數信息
- C：Inter係數信息
用不同的優先級傳輸不同重要程度的分區來實現錯誤恢復

23. H.264-ASO，RP

任意條帶順序（Arbitrary Slice Order，ASO）
- 條帶之間獨立解碼
- 條帶可以按任意順序傳輸
- 丟失的條帶可以被解碼的條帶恢復出來
冗餘圖像（Redundant Picture）
- 在碼流裏放入冗餘的圖像，如果圖像數據丟失了，可以用冗餘圖像代替

24. H.264-視頻編碼層

網絡獨立的編碼層
VCL層包含：
- 序列參數集：Sequence Parameter Set（SPS），存放序列頭信息
- 圖像參數集：Picture Parameter Set（PPS），存放圖像頭信息
- 條帶以下數據
- 額外的增強信息（Supplemental Enhancement Information，SEI）