解讀下一代視頻壓縮標準HEVC(H.265)
文 / 華爲企業業務BG UC&C產品線智真產品部 李軍華、王浦林
摘要：
在數字視頻應用產業鏈的快速發展中，面對視頻應用不斷向高清晰度、高幀率、高壓縮率方向發展的趨勢，當前主流的視頻壓縮標準協議H.264(AVC)的侷限性不斷凸顯。同時，面向更高清晰度、更高幀率、更高壓縮率視頻應用的HEVC(H.265)協議標準應運而生。本文重點分析了下一代視頻壓縮協議標準HEVC(H.265)的技術亮點，並對其在未來應用中將給整個產業帶來的深刻變化予以展望。
關鍵詞： H.264 H.265 HEVC 編解碼 視頻壓縮
一、概述
H.264(AVC)從2003年5月草稿發佈以來，憑藉其相對於以往的視頻壓縮標準在壓縮效率以及網絡適應性方面的明顯優勢，逐步成爲視頻應用領域的主流標準。根據 MeFeedia的數據，由於iPad 以及其它新興設備大多支持H.264 硬件加速，至2011年底，80%的視頻使用H.264編碼，並且隨着支持H.264解碼的設備不斷增多，這一佔有率還將進一步增長。
但是，隨着數字視頻應用產業鏈的快速發展，視頻應用向以下幾個方向發展的趨勢愈加明顯：
l 高清晰度（Higher Definition）：數字視頻的應用格式從720 P向1080 P全面升級，在一些視頻應用領域甚至出現了4K x 2K、8K x 4K的數字視頻格式；
l 高幀率(Higher frame rate )：數字視頻幀率從30 fps向60fps、120fps甚至240fps的應用場景升級；
l 高壓縮率(Higher Compression rate )：傳輸帶寬和存儲空間一直是視頻應用中最爲關鍵的資源，因此，在有限的空間和管道中獲得最佳的視頻體驗一直是用戶的不懈追求。
由於數字視頻應用在發展中面臨上述趨勢，如果繼續採用H.264編碼就出現的如下一些侷限性：
(1) 宏塊個數的爆發式增長，會導致用於編碼宏塊的預測模式、運動矢量、參考幀索引和量化級等宏塊級參數信息所佔用的碼字過多，用於編碼殘差部分的碼字明顯減少。
(2) 由於分辨率的大大增加，單個宏塊所表示的圖像內容的信息大大減少，這將導致相鄰的4 x 4或8 x 8塊變換後的低頻係數相似程度也大大提高，導致出現大量的冗餘。
(3) 由於分辨率的大大增加，表示同一個運動的運動矢量的幅值將大大增加，H.264中採用一個運動矢量預測值，對運動矢量差編碼使用的是哥倫布指數編碼，該編碼方式的特點是數值越小使用的比特數越少。因此，隨着運動矢量幅值的大幅增加，H.264中用來對運動矢量進行預測以及編碼的方法壓縮率將逐漸降低。
(4) H.264的一些關鍵算法例如採用CAVLC和CABAC兩種基於上下文的熵編碼方法、deblock濾波等都要求串行編碼，並行度比較低。針對GPU/DSP/FPGA/ASIC等並行化程度非常高的CPU，H.264的這種串行化處理越來越成爲制約運算性能的瓶頸。
爲了面對以上發展趨勢，2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)聯合成立JCT-VC(Joint Collaborative Team on Video Coding)了聯合組織，統一制定下一代編碼標準：HEVC(High Efficiency Video Coding)。
HEVC協議標準計劃於2013年2月份正式在業界發佈，目前整個框架結構已基本確定。截至2012年4月份，JCT-VC聯合工作組已經召開了第八次會議，並於2012年2月17日發佈了第一版內部草稿《High efficiency video coding (HEVC) text specification draft 6》，計劃2012年7月發佈第一版公開版草稿，在H.264標準2～4倍的複雜度基礎上，將壓縮效率提升一倍以上。
下表列出了HM4.0(HEVC參考代碼)相對於JM18.0 BD-Rate對比：
表1 HEVC相對於H.264的壓縮效率提升數據列表
由表中數據可見，在Low Delay的情況下，HEVC(HM4.0)相對於H.264比特率平均下降44%。
二、HEVC(H.265)的技術亮點
作爲新一代視頻編碼標準，HEVC(H.265)仍然屬於預測加變換的混合編碼框架。然而，相對於H.264，H.265 在很多方面有了革命性的變化。HEVC(H.265)的技術亮點有：
1. 靈活的編碼結構
在H.265中，將宏塊的大小從H.264的16x16擴展到了64x64，以便於高分辨率視頻的壓縮。同時，採用了更加靈活的編碼結構來提高編碼效率，包括編碼單元(Coding Unit)、預測單元(Predict Unit)和變換單元(Transform Unit)。如圖1所示：
圖1 編碼單元(CU)、預測單元(PU)、變換單元(CU)
其中編碼單元類似於H.264/AVC中的宏塊的概念，用於編碼的過程，預測單元是進行預測的基本單元，變換單元是進行變換和量化的基本單元。這三個單元的分離，使得變換、預測和編碼各個處理環節更加靈活，也有利於各環節的劃分更加符合視頻圖像的紋理特徵，有利於各個單元更優化的完成各自的功能。
2. 靈活的塊結構----RQT(Residual Quad-tree Transform)
RQT是一種自適應的變換技術，這種思想是對H.264/AVC中ABT(Adaptive Block-size Transform)技術的延伸和擴展。對於幀間編碼來說，它允許變換塊的大小根據運動補償塊的大小進行自適應的調整；對於幀內編碼來說，它允許變換塊的大小根據幀內預測殘差的特性進行自適應的調整。大塊的變換相對於小塊的變換，一方面能夠提供更好的能量集中效果，並能在量化後保存更多的圖像細節，但是另一方面在量化後卻會帶來更多的振鈴效應。因此，根據當前塊信號的特性，自適應的選擇變換塊大小，如圖2所示，可以得到能量集中、細節保留程度以及圖像的振鈴效應三者最優的折中。
圖2 靈活的塊結構示意圖
3、採樣點自適應偏移(Sample Adaptive Offset)
SAO在編解碼環路內，位於Deblock之後，通過對重建圖像的分類，對每一類圖像像素值加減一個偏移，達到減少失真的目的，從而提高壓縮率，減少碼流。
採用SAO後，平均可以減少2%~6%的碼流,而編碼器和解碼器的性能消耗僅僅增加了約2%。
4、自適應環路濾波(Adaptive Loop Filter)
ALF在編解碼環路內，位於Deblock和SAO之後，用於恢復重建圖像以達到重建圖像與原始圖像之間的均方差(MSE)最小。ALF的係數是在幀級計算和傳輸的，可以整幀應用ALF，也可以對於基於塊或基於量化樹(quadtree)的部分區域進行ALF，如果是基於部分區域的ALF，還必須傳遞指示區域信息的附加信息。
5、並行化設計
當前芯片架構已經從單核性能逐漸往多核並行方向發展，因此爲了適應並行化程度非常高的芯片實現，HEVC/H265引入了很多並行運算的優化思路， 主要包括以下幾個方面：
(1) Tile
如圖3所示，用垂直和水平的邊界將圖像劃分爲一些行和列，劃分出的矩形區域爲一個Tile，每一個Tile包含整數個LCU(Largest Coding Unit)， Tile之間可以互相獨立，以此實現並行處理：
圖3 Tile劃分示意圖
(2) Entropy slice
Entropy Slice允許在一個slice內部再切分成多個Entropy Slices，每個Entropy Slice可以獨立的編碼和解碼，從而提高了編解碼器的並行處理能力：
圖4 每一個slice可以劃分爲多個Entropy Slice
(3) WPP(Wavefront Parallel Processing)
上一行的第二個LCU處理完畢，即對當前行的第一個LCU的熵編碼(CABAC)概率狀態參數進行初始化，如圖5所示。因此，只需要上一行的第二個LCU編解碼完畢，即可以開始當前行的編解碼，以此提高編解碼器的並行處理能力：
圖5 WPP示意圖
6、H.264中已有特性的改進
相對於H.264，H.265標準的算法複雜性有了大幅提升，以此獲得較好的壓縮性能。H.265在很多特性上都做了較大的改進，如表2所示：
表2 H.264和H.265關鍵特性對比
三、HEVC(H.265)技術應用前景展望
H.265標準是在H.264標準的基礎上發展起來的，結合H.264在視頻應用領域的主流地位可以預見H.265協議在未來廣大的發展前景。
世界的一些主流電視組織以及媒體運營商已經選擇H.264作爲媒體格式標準，一些主要的編解碼設備廠商也一直積極參與到H.265標準的研究當中。華爲是ITU-T視訊標準的主要Reporter（報告人）和Editor（編輯者）。作爲國際電信聯盟（ITU-T）成員單位，華爲牽頭並參與制訂了多項國家標準和行業、企業標準。在H.265協議制定期間，華爲提交了多項相關提案、建議，並提供了非常典型的應用場景測試序列，得到ITU-T的高度認可和接納。華爲提供的ChinaSpeed序列已經被標準組織採納作爲Class F的標準測試序列。
隨着芯片處理能力越來越強，算法複雜性對應用的影響因素越來越小。相反，在算法實時通訊應用以及IPTV應用中，業務的不斷擴展和需求的增加使得有限的帶寬資源逐漸成爲瓶頸，高壓縮率的編碼是解決這一難題的有效技術手段，這也爲H.265在基於IP進行流媒體服務領域的應用奠定了堅實的基礎。目前很多電信運營商使用H.264標準作爲其媒體格式，也有很多廠商推出了基於H.264標準的機頂盒以及基於H.264標準的視頻會議解決方案。
華爲作爲全球領先的電信解決方案供應商，是國內目前最大的視頻會議研發機構，從1993年華爲正式推出ViewPoint系列視頻會議產品以來，已經發布了五代視頻會議產品，在視頻通信領域目前獲得600多項專利受理，其中國際專利100多項。華爲能夠提供全系列的視頻會議產品，包括智真視頻會議系統、高清視頻會議系統、標清視頻會議系統以及基於IPTV的解決方案。根據Frost& Sullivan諮詢報告，2011年華爲視頻會議解決方案市場佔有率全球排名前三，智真的市場佔有率全球排名第二。華爲作爲研究HEVC的第一梯隊企業，密切關注H.265標準的發展，並將率先推出H.265相關的視訊產品。
四、結束語
HEVC(H.265)標準預計2013年2月發佈正式版本，由於其在壓縮效率、並行處理能力以及網絡適應性方面的極大改進，它的發展和應用必將把視頻編解碼理論和應用推向一個新的高度。
五、參考文獻
1. Gary J. Sullivan and Jens-Rainer Ohm, "Recent developments in standardization of high efficiency video coding (HEVC)", SPIE Applications of Digital Image Processing XXXIII, Andrew G. Tescher (editor), Proceedings of SPIE Volume 7798, Paper number 7798-30, August, 2010.
2. http://phenix.int-evry.fr/jct
3. ON RESIDUAL QUAD-TREE CODING IN HEVC， Yih Han Tan, Chuohao Yeo, Hui Li Tan, Zhengguo Li，978-1-4577-1434-4/11 ©2011 IEEE
4. 從H.264向H.265的數字視頻壓縮技術升級， 劉國樑，鐵路通信信號工程技術(RSCE) 2011年6月，第8卷第3期
5. High Efficiency Video Coding (HEVC) text specification draft 6, JCTVC-H1003
6. 陳清．H.265 標準現狀和發展應用趨勢[J]．中國多媒體通信，2008（10):12-15．