視頻算法分析介紹PSNR、NIQE、VMAF、MS-SSIM, SSIM and DMOS、JND

需要對人的感知視頻和音頻質量進行分析。有兩種方法可以做到:

1.對有問題/困難的流進行深入分析,判斷感知到的視頻或音頻質量
2.進行長時間測試,在數小時、數天甚至數週的測試運行中搜索質量下降/惡化的原因。

      視頻質量分析是一個主觀的概念。最精確的質量測量方法是收集人類觀察者並要求他們對質量進行判斷。這是一個很有意義的和潛在的不一致的方法,因爲需要對人類觀察者進行判斷,以確保他們的視力是好的,身體狀況良好,沒有色盲等等。最後,爲每項測試計算一個平均得分值(mos)。有關設置主觀測試的詳細信息,請參閱建議ITU-R BT.500-13-電視圖像質量主觀評估方法,根據TU-R BT500.13或TU-T 913建議,已經開發了許多算法,通過與正確生成的主觀數據相關,以精確的方式估計人類感知的視頻質量。

算法分爲三類:
1.全參考算法:比較處理序列和參考序列。
2.無參考算法:僅分析處理過的視頻序列。
3.簡化參考算法:從參考視頻中提取特定信息,並在分析處理後的視頻時使用。

Clear View全參考評分方法:
1.\triangleEITP:提供一個目標評估,以確定給定程序的兩個版本之間是否可以看到兩種顏色之間的差異。
2.VMAF:Video Multime Assessment Fusion是爲流式視頻服務的質量評估量身定製的。
3.MS-SSIM/DMOS:MS-SSIM和DMOS兩種尺度上的多尺度結構相似性圖像質量評估,其中DMOS是參考視頻和處理視
頻的平均意見得分之間的差異。
4.JND:將人類觀察者聚集在一起並直到至少有一個人認爲經過處理的視頻至少與參考視頻一樣好爲止(只是明顯的差異)
5.PSNR:峯值信噪比,信號最大可能功率與影響其表示保真度的畸變噪聲功率之比。
6.aFREQ:相對於每個參考音頻通道,用於查找嚴重錯誤的音頻性能指標。aFreq包括音頻-視頻偏移測量或脣音同步值或程序中選定的通道。

Clear View無參考評分方法:
1.NIQE:自然圖像質量評價,全盲,無失真,無參考,圖像質量評價指標
2..aPEAK:根據ITU-R BS.1770-3,每個通道的真實峯值音頻測量
3.LKFS:根據ITU-R BS.1770-3,每個項目的音頻響度測量
4.Spatial:計算視頻幀的活動強度,數值越大表示幀中的變化越多。
5.Temporal:計算連續視頻幀之間的變化,零表示凍結幀。

視頻算法介紹

PSNR(峯值信噪比)是應用最廣泛的指標之一。它測量輸入和輸出之間的平均誤差,用db表示.PSNR中峯值信號用比率表示,雖然不執行人類感知視頻質量預測,但作爲所有ClearView系統中包含的目標指標之一,它確實發揮了重要作用。PSNR提供兩個信號之間的絕對差異,對於需要通過/失敗指示器的設備性能或網絡路徑測試非常重要。
NIQE自然圖像質量評價是一個完全盲、無失真、無參考、圖像質量評價指標。該質量評估師由德克薩斯大學LIVE實驗室是一個基於自然場景統計(NSS)的建模框架的意見不知道(OU)和失真不知道(DU)沒有參考(NR)圖像質量評估(IQA)。結果是第一種NSS驅動的OU-DU IQA模型,它不需要預先暴露在扭曲的圖像中, 也不需要任何關於人類觀點分數的培訓。新的NR OU-DU IQA質量指數優於峯值信噪比(PSNR)和非多尺度結構相似性(SSIM)指數,與表現最佳的NR OA-DA IQA方法具有同等的性能。
VMAF: 這個完全參考指標是由Netilix設計的,並根據最新發布的VMAF版本在ClearView中以其本機規模實現。VMAF非常
接近人類對視頻質量的感知,無論是自然視頻還是動畫內容,它都在不同的內容類型中保持一致。通過將各種源內容特性
考慮在內,並將重點放在壓縮和圖片縮放僞影上,作爲流式內容交付版本中的主要降級組件,VM進行了特別調整,以評估
視頻流的質量。
MS-SSIM, SSIM and DMOS在多尺度結構相似性圖像度量(MS-SSIM)中,以各種分辨率評估圖像,結果是這些校準步驟的平均值。 即使SSIM正確地校準到環境和數據集,MS-SSIM也能勝過簡單的SSIM.Clearview包括由德克薩斯大學開發的MS-SSIM和SSIM,並在其原生尺度上提供MS-SSIM也映射到線性DMOS(差分平均意見得分)。 可以對亮度執行測量,並且爲顏色通道提供組合分數。
 \triangleEITP根據ITU的建議BT.2124,\triangleEITP有助於評估HDR電視圖像和信號中顏色差異的潛在可視性。該指標返回一個剛剛顯著的差異(JND)評分,該評分提供了對信號處理技術與攝像機原始內容引入的差異的評估。

Sarnoff JND:作爲ClearView的視圖選項,Saroff-JND視覺模型是視頻感知質量的一個非常精確的預測因子。它包括圖像質量比(PQR)算法,並以JND(只是顯著的差異)爲單位進行量化。

 

音頻性能測量
aFREQ 音頻頻率度量-提供處理音頻與參考音頻的比較,以發現嚴重的音頻錯誤,並提供源音頻通道與處理
過的音頻通道的一般性能比較。
音頻/視頻校準(脣音同步)是aFREQ中包含的毫秒精確測量。
aPEAK 音頻峯值度量和響度測量-測量真實峯值振幅,爲每個幀提供一個值,爲每個通道提供一個單獨的
值。在aPEAK測量中,相對於滿標度,LKFS響度有一個選擇。LKFS提供了一種測量方法,可以在給定程序中的
所有音頻通道上用一秒鐘的時間測量峯值響度,並在該時間段內用一個值進行響應。重新計算的值以對數刻度
爲基礎,0是最大值,-60接近靜音。LKFS測量符合ITU-R BS.1770-3建議。

RTM和RTM 4K全參考音頻/視頻質量監視器,實時測量音頻

輸入源“參考”和下游“處理”A/V,通過HDSDI至4K或IP至1080p
在實時源上實時測量音頻和視頻質量通過PSNR或MS-SSIM/DMOS算法
實時測量音頻和視頻延遲(脣音同步)至毫秒
根據ITU-R BS.1770-3測量音頻響度。
測量每一行的數據線完整性,每一行可單獨選擇
持續向文本日誌和RTM管理器報告最小、最大和平均A/V質量和A/V偏移量
如果上述任何一項低於用戶設置的降級閾值,則通過音頻蜂鳴音記錄A/V序列的故障部分和警報。
RTM可以在同一個系統中與ClearView結合使用,以提供兩個測試應用程序。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章