1. 引言
HEVC是ITU-T VCEG和ISO/IEC MPEG聯合組成的JCT-VC的最新研究成果，第一版計劃將於2013年1月公佈。下一步的擴展工作將主要集中於對高精度及彩色視頻的支持、可分級視頻編碼3D立體多視點視頻的編碼方面。HEVC公佈後在這兩個組織中的命名分別爲ITU-T Recommendation
H.265和MPEG-H Part 2 (ISO/IEC 23008-2)。
自產生以來，視頻編碼標準的發展基本上由這兩個組織推動。這兩個組織分別設計制定了H.261、H.263和MPEG-1和MPEG-4標準。二者聯合制定的H.262/MPEG-2和H.264/MPEG-4 AVC得到了廣泛應用並對人們的生活產生了重大影響。現在研究者繼續努力，試圖在未來幾年的實際運算設備允許的前提下，進一步提高壓縮效率同時增強其抗數據丟失等特性。
著名的H.264/MPEG-4 AVC是HEVC的直接前身，在高清數字電視、安防、網絡流媒體領域得到廣泛應用。然而對高清、超高清、3D視頻應用日益增長的需求對視頻編碼提出了更高的要求。
HEVC基本上能完成H.264所有的應用，而且專注於兩大方面：高清超高清視頻和並行處理架構。而且HEVC的語法結構兼容性良好，基本可兼容各種應用。同之前的編碼標準類似，HEVC標準僅僅規定了碼流的結構和基本的解碼方法，對編碼的實現提供了極大的自由度。HEVC除了標準文檔之外，還提供了參考軟件、測試數據集合等多種資源。
本文的基本結構：第二節強調了HEVC的多種關鍵特性；第三節解釋了HEVC的高層語法和編碼數據的基本結構；第四節時編碼標準的技術細節；第五節解釋了HEVC的檔、層和級；第六節討論了標準化的進程。
2.
新編碼標準的亮點
HEVC兼顧了多種設計目標，包括編碼效率、傳輸系統易於集成和並行處理結構的實現。一下內容簡述了實現這些目標的關鍵元素以及編碼器生成有效視頻碼流的操作。具體細節參照第三、四節。
2.1 視頻編碼層
HEVC視頻編碼框架的結構同前代標準類似，也採用了幀內幀間預測、2D變換編碼。算法運行過程如下：
每一幀圖像分割爲塊狀區域，分割方法傳遞至解碼器；
視頻序列和隨機接入點後的第一幀圖像只用幀內編碼，對其他大部分數據，主要使用幀間時域預測編碼。幀間編碼中需確定參考幀以及運動矢量。在獲得MV和預測模式的條件下，編解碼器可做到編解碼匹配。
幀內和幀間預測的殘差數據進行線性空間變換，變換系數進行量化、熵編碼並與預測信息一起傳遞。
編碼器中亦包含解碼環路，這樣編解碼器可以對後續數據提供一致的參考數據。也就是說，在編碼器中，量化後的係數進行反量化、反變換、運動補償、環路濾波器，生成與解碼數據一致的解碼數據存至緩存區中作爲預測的參考數據。顯示順序和編碼順序的不一致使得編碼和解碼的順序不一致。
HEVC只支持逐行掃描的視頻數據，但可以選擇是對兩場分別編碼還是將隔行掃描的一幀作爲普通的一幀數據進行編碼。
HEVC的部分特點
（1）樹形編碼單元和樹形編碼塊：
之前的標準都採用宏塊結構，而hevc採樣點是樹形編碼單元Coding Tree Units,CTU。一個CTU包含一個亮度CTB，多個相應的色度CTB以及其他語法元素。亮度CTB的尺寸可能是16×16、32×32或者64×64，並且支持塊的四叉樹分解。
（2）編碼單元和編碼塊：
CTU的四叉樹結構指定了亮度和色度編碼塊Coding Blocks,CBs的大小和位置。對於亮度CBs，其尺寸最大可以達到亮度CTB的尺寸。一個亮度CB和兩個色度CB加上附加的語法元素組成一個編碼單元Coding Unit,CU。每一個CTU可能包含一個或多個CU，每個CU包含預測單元Prediction Units,PUs和變換單元Transform
Units,TUs。
（3）預測單元和預測塊：
編碼單元層確定圖像是按幀內還是幀間進行編碼。PU分割結構從CU開始，依據基本預測模式判定，亮度和色度CB可以進一步分割成亮度和色度PB，大小由64×64到4×4不等。
（4）變換單元和變換塊：
殘差數據用塊的變換進行編碼。變換塊Transform Units,TUs也是從CU開始。整個亮度CB的殘差可能整個是一個TU，也可能繼續分割成多個TUs，色度模塊與此類似。對4×4到32×32的殘差數據，定義了類似DCT的整數變換。對4×4的亮度分量幀內預測，特別指定了一種基於DST的整數變換。
（5）運動矢量信息
採用了先進運動矢量預測（AMVP），包括由基於相鄰PB和參考幀的數據得到更高可能性的候選數據。同時採用了MV合併的編碼模式，允許MV由時空域相鄰PB繼承。相比H.264，改進了跳過和直接模式參考方法。
（6）運動補償：
MV最高爲1/4像素精度，並且採用了比H.264更先進的插值濾波器和多參考幀。可傳送一個或兩個運動矢量分別對應單向預測和雙向預測。
（7）幀內預測：
臨近的解碼像素塊的邊界像素用於空間域的幀內預測的參考數據。HEVC的幀內預測支持33個預測方向和平面模式以及DC模式。
（8）量化控制：
採用均勻重建量化，量化矩陣支持不同尺寸的變換系數矩陣。
（9）熵編碼：
HEVC採用了與H.264類似的CABAC，並在速度、壓縮率以及上下文的存儲需求方面做了優化。
（10）環路濾波器：
環路去塊濾波器與H.264的環路濾波器類似，簡化了判定和濾波處理過程，並更易於並行操作。
（11）採樣自適應偏移：
在幀間預測環路的去塊濾波器後，引入非線性幅值映射，用查詢額外參數描述的表的方法更好地重建原始信號。
2.2 高層語法架構
HEVC的新設計特性增強了在多種應用和網絡環境下操作的靈活性以及對數據損失的魯棒性。H.264大部分高層語法架構得到保留，具體如下：
（1）參數集合：參數集合包含可在解碼視頻的不同區域分享的信息，爲傳遞解碼關鍵數據提供了高魯棒機制。新的視頻參數集（VPS）的概念對序列和圖像參數的概念進行了增強。
（2）NAL基本語法結構：每個語法結構放入網絡提取層單元這一邏輯數據包中。利用2字節的NAL單元頭，容易識別攜帶數據的內容類型。
（3）條帶：條帶是可獨立於當前幀的其他條帶進行解碼的數據結構，其熵編碼、預測和殘差信號重建均獨立。其主要目的之一是在數據丟失情況下進行重新同步。在分組發送中，條帶中的最大負載比特數常常受限，CTU的數量不定，爲了在限制數據包大小的前提下將分組數量最小化。
（4）補充增強信息和視頻可用性信息元數據：提供視頻圖像的定時、顏色空間解釋、3D視頻信息填充等信息。
2.3 並行解碼語法和改進的條帶結構
HEVC引入了三種新技術來增強並行處理能力和條帶結構的封裝性。
（1）Tiles：將圖像分割爲矩形區域的選項。其主要目的增強並行處理性能而非容錯性。Tiles是圖像中共享頭信息編碼但是可以獨立解碼的區域，並可在空間域作爲圖像的隨機接入點。通常，每一個tile中包含的CTU的數目是接近於相等的。Tile提供了一種簡單的並行處理模式，不需要複雜的線程同步。
（2）波前並行處理：該模式中，條帶被分割成CTU的行。第一行按正常處理，第二行在第一行兩個CTU完成後開始處理，第三行在第二行的兩個CTU處理完成後開始處理,以此類推。通常該方法的壓縮性能高於tiles。
（3）依賴性條帶分割：允許依賴於某一特定波前入口點或者tile的數據在一個獨立的NAL單元中攜帶傳輸。只有在其他條帶的部分數據解碼完成後，才能解碼一個依賴性條帶的波前入口點。
3.
高層語法
包含類似H.264中網絡提取層的元素，用於聯繫視頻編碼層和網絡傳輸（如數據包封裝等），支持的新功能描述如下：
3.1
隨機接入和比特流條帶特徵
H.264採用可包含獨立解碼圖像的IDR接入單元實現隨機接入。
HEVC中的新結構：clean random access (CRA)。支持開放GOP操作。基本概念：random access skipped
leading (RASL) pictures，因爲包含幀間信息而不能解碼的圖像；broken link access (BLA) pictures：位於不同比特流連接點的圖像；random access decodable leading (RADL) picture：在隨機接入點後，可以按順序解碼的圖像。隨機接入點的圖像可能是IDR/CRA/BLA的圖像。leading pictures (LPs)：RASL和RADL的總稱。trailing pictures:隨機接入點後按解碼和輸出順序的圖像。
3.2
支持時間域分層
在NAL單元頭中指定時間識別，表示在分層時間預測中的層次。可以在除了NAL頭之外不解析比特流的情況下做到時間可分級。
時間子層接入點temporal sublayer access (TSA)；步進式時間子層接入點stepwise TSA (STSA)——比特流中可以由此開始解碼更高時域層的位置。
3.3
額外參數集
作爲元數據用以描述編碼視頻序列的整體特徵，包括時域子層之間的依賴性。
3.4
參考圖像集合和參考圖像表
圖序計數（picture order count，POC）用以標識解碼完成作爲參考的圖像。這些圖像組成參考圖像集（reference picture set，RPS）。解碼圖像緩存中保存兩個參考圖像表list 0和list 1，，單向預測時，選取二者之一作爲參考，雙向預測時，兩個list中各選擇一個作爲參考。