第2章 數字視頻

1.圖像與視頻

• 圖像：是人對視覺感知的物質再現。
• 三維自然場景的對象包括：深度，紋理和亮度信息
• 二維圖像：紋理和亮度信息

• 視頻：連續的圖像。
• 視頻由多幅圖像構成，包含對象的運動信息，又稱爲運動圖像。

2. 數字視頻

• 數字視頻：自然場景空間和時間的數字採樣表示。
  • 空間採樣
    • 解析度（Resolution）
  • 時間採樣
    • 幀率：幀/秒

3. 空間採樣

• 二維數字視頻圖像空間採樣

4. 數字視頻系統

• 採集
  • 照相機，攝像機
• 處理
  • 編解碼器，傳輸設備
• 顯示
  • 顯示器

5. 人類視覺系統HVS

• HVS
  • 眼睛
  • 神經
  • 大腦

• HVS特點：
  • 對高頻信息不敏感
  • 對高對比度更敏感
  • 對亮度信息比色度信息更敏感
  • 對運動的信息更敏感

6. 數字視頻系統的設計應該考慮HVS的特點：

• 丟棄高頻信息，只編碼低頻信息
• 提高邊緣信息的主觀質量
• 降低色度的解析度
• 對感興趣區域（Region of Interesting，ROI）進行特殊處理

7. RGB色彩空間

• 三原色：紅（R），綠（G），藍（B）。
• 任何顏色都可以通過按一定比例混合三原色產生。
• RGB色度空間
  • 由RGB三原色組成
  • 廣泛用於BMP，TIFF，PPM等
  • 每個色度成分通常用8bit表示[0,255]

8.  YUV色彩空間

• YUV色彩空間：
  • Y：亮度分量
  • UV：兩個色度分量
  • YUV更好的反映HVS特點

9. RGB轉化到YUV空間

亮度分量Y與三原色有如下關係：

經過大量實驗後ITU-R給出了， ，  ，

主流的編解碼標準的壓縮對象都是YUV圖像

10. YUV圖像分量採樣

• YUV圖像可以根據HVS的特點，對色度分量下采樣，可以降低視頻數據量。
• 根據亮度和色度分量的採樣比率，YUV圖像通常有以下幾種格式：

11. 通用 的YUV圖像格式

• 根據YUV圖像的亮度分辨率定義圖像格式

12. 幀和場圖像

• 一幀圖像包括兩場——頂場，底場

13. 逐行與隔行圖像

• 逐行圖像：一幀圖像的兩場在同一時間得到，t_top=t_bot。
• 隔行圖像：一幀圖像的兩場在不同時間得到，t_top≠t_bot。

14. 視頻質量評價

• 有損視頻壓縮使編解碼圖像不同，需要一種手段來評價解碼圖像的質量。
• 質量評價：
  • 客觀質量評價
  • 主觀質量評價
  • 基於視覺的視頻質量客觀評價
• 客觀質量評價：通過數學方法測量圖像質量評價的方式。
• 優點：
  • 可量化
  • 測量結果可重複
  • 測量簡單
• 缺點：
  • 不完全符合人的主觀感知

15. 客觀評價的方法

常用的客觀評價方法：

16.  主觀評價方法

• 主觀質量評價：用人的主觀感知直接測量的方式。
• 優點：
  • 符合人的主觀感知
• 缺點：
  • 不容易量化
  • 受不確定因素影響，測量結果一般不可重複
  • 測量代價高

常用主觀評價方法

17. 基於視覺的視頻質量客觀評價方法

• 基於視覺的視頻質量客觀評價：將人的視覺特性用數學方法描述並用於視頻質量評價的方式。
• 結合了主觀質量評價和客觀質量評價兩方面優點。
• 常用方法：結構相似度（Structural SIMilarity，SSIM）方法。
• 將HVS的特徵用數學模型表達出來。
• 未來重要的研究方向