360°視頻的視頻編解碼器性能評估中的常見測試條件和軟件參考配置

這幾天一直閱讀提案,發現狀態不是很好,就把幾篇我覺得很有用的提案摘錄到這裏。帶(*)標識的地方是我還沒懂的地方= =、
首先這篇提案是JVET common test conditions and evaluation procedures for 360° video
1、Introduction
360°視頻通用測試條件是在well-defined(*)的環境中進行實驗,並且簡化實驗結果的比較。
HEVC參考軟件版本HM 16.15應用於使用HM的實驗。 對於360°特定的編碼工具提議,建議使用JEM6.0軟件。
2、Testing procedure
2.1Definitions
這裏和之後的縮寫用於指定表示360°視頻的投影格式,它們在JVET-F1003 中有進一步描述。
ERP – Equi-rectangular projection 等角投影
CISP – Compact Icosahedral projection 緊湊的二面體投影
CMP –Cube Map projection 立方體投影
COHP – Compact Octahedron projection 緊湊八面體投影
SSP – Segmented sphere projection 分段球體投影
EAP – Equal-area projection 等面積投影
ACP – Adjusted cube map projection 調整的立方體地圖投影
RSP – Rotated sphere projection 旋轉球體投影
此外還將使用JVET-F1003定義的特定的球面視頻品質指標PSNR:
1. WS-PSNR
2. CPP-PSNR
3. S-PSNR-I
4. S-PSNR-NN (w/o interpolation)
F1003將在下一篇博文中講
2.2Processing chain
高保真測試材料以YUV 4:2:0格式提供,表示ERP中的360°視頻。 在編碼之前,這些材料將根據下圖規定的測試程序轉換爲上面列出的某一種投影格式。
這裏寫圖片描述

3、Software
對於投影和質量測量的360Lib-3.0軟件包,應使用使用SVN下載,方法:
http://blog.csdn.net/qq_21747841/article/details/73188782
下載地址:https://jvet.hhi.fraunhofer.de/svn/svn_360Lib/tags/360Lib-3.0/
JVET-F1003 “360Lib中的投影格式轉換和視頻質量度量的算法描述”提供了有關軟件包中支持的投影格式轉換過程,打包格式和視頻質量度量計算的附加信息。
4、Test sequences and sizes
4.1 High fidelity input
表1定義了一組測試序列。 他們都是採用YUV 4:2:0格式,代表ERP中的360度視頻。 ERP投影中圖片的高度(H)是表1中報告的寬度(W)的一半。所有幀(由表格中的幀計數定義)都應對所有序列進行處理和編碼。測試序列可從ftp://[email protected]ftp://[email protected]的/testsequences/testset360文件夾中下載,但是登錄信息需要VCEG和MPEG的認可成員聯繫JVET主席獲取登錄信息。我也沒登錄信息,所以Orz
這裏寫圖片描述
4.2 Coding projections
4096*2048=8388608、
2496*3320=8286720
3552*2368=8411136
1184*7104=8411136
2672*3096=8272512
爲什麼要列上面這幾個式子呢,是爲了方便理解下面的內容:
在編碼之前,需要將高保真度測試材料轉換爲上面列出的編碼投影之一。 表3中列出的每個投影的框架尺寸將用於生成錨點(用於對比)。 對於8K ERP源,編碼大小是高保真ERP的半寬和半高,而對於剩餘的編碼投影,尺寸被選擇爲具有與編碼ERP大致相同數量的編碼樣本(即,25 %的高保真8K ERP,這裏就是上面的那幾個式子的含義)。 對於4K ERP源,編碼大小是所有投影的高保真ERP的75%。
對於新的投影格式提案,編碼樣本的數量不應超過ERP編碼格式的編碼樣本的101%。
對於從投影之前到編碼以及解碼轉換之後的所有轉換,應使用6抽頭Lanczos濾波器用於亮度和4Lumzos濾波器用於色度。
這裏寫圖片描述
參考圖1,首先將輸入投影轉換爲表3所示分辨率的編碼投影。轉換過程的輸出是YUV 4:2:0 10位視頻。 因此,編碼的輸入位深度爲10位。 使用10位內部位深進行編碼和解碼。編碼和解碼後,在原始和重建的視頻之間計算WS-PSNR。 在360Lib中,WS-PSNR可用於除TSP之外的所有投影格式。
在重建編碼投影和高保真度ERP CPP-PSNR和S-PSNR之間進行計算。 CPP-PSNR目前可用於除EAP之外的所有預測。 對於CPP-PSNR,根據圖1,以較低分辨率(即重構編碼投影的分辨率)計算度量。
視野內的動態視口(FoV)的客觀指標的計算是根據從360°180°視頻生成的2D直線視口圖片計算的,從重建的編碼投影(重構的視口)渲染的視口將與從高保真度ERP(原始視口)生成的錨點進行比較。對於每個測試序列,將生成2個動態視口,視野大小爲75°*75°。每個測試序列的視口參數列在表4中。每個視口的中心位置以(yaw, pitch)()形式提供。對於動態視口,爲序列的第一張照片和最後一張照片提供一系列(yaw, pitch)偏移位置,並對序列中其他圖像的偏移位置進行線性插值。 360Lib軟件用於生成動態視口。視口生成的輸出是表4中列出的大小的10位4:2:0 YUV視頻。在原始視口和重建的視口之間PSNR將被測量。
這裏寫圖片描述
總共將報告11個不同的指標:解碼輸出和輸入高保真ERP之間的編解碼器和編解碼器輸入和輸出之間的PSNR和CP-PSNR報告的CPP-PSNR,S-PSNR-1和S-PSNR-NN, 原始和重建ERP在最高分辨率下的CPP-PSNR,S-PSNR-1,S-PSNR-NN和WS-PSNR以及用於2個動態視口的PSNR。
另外,對於每種投影格式,應該在原始和重建的視頻之間計算出未壓縮的投影映射過程的端到端WS-PSNR計算,但是跳過圖1中的Enc / Dec步驟。
對於編碼工具支持,ERP的測試結果是強制報告的。 其他投影格式的測試結果是可選的。

4.3 Subjective quality check using “evil viewports”
對於每種投影格式,應進行主觀質量檢查測試以評估不連續邊緣的影響。 應按照以下步驟,爲AHG提供比特流或解碼的視頻。
將爲每個投影格式識別兩個頂點位置,如表5所示。第一個頂點將沿着不連續邊緣的圖片邊界。 第二個頂點將在圖像內,而不是沿圖像邊界,在最大數目不連續邊緣的位置。 對於ERP,第二個“頂點”位於圖像的(0,0)中心,並且不與不連續邊緣對齊,因爲格式中唯一的不連續邊緣已經由第一個頂點表示。
這裏寫圖片描述
當序列在編碼之前旋轉時,如圖2所示,它需要在每個標識的頂點和每個識別的靜態視口的最低速率點進行單獨的編碼。請注意,表5中指出的頂點是旋轉投影格式的目標視口中心,表6中定義的靜態視口中心是旋轉前原始圖片中的源視口中心。解碼後,應提取以表5中定義的頂點爲中心的靜態視口進行主觀質量檢查。對於特定的投影格式,應爲每個序列提供4個解碼的惡意視口(evil viewports),包括(a)以頂點1爲中心的靜態視口1,(b)以頂點2爲中心的靜態視口1,(c)以頂點1爲中心的靜態視口2 ,以及(d)以頂點2爲中心的靜態視口2.要強制所識別的頂點位於識別的視口的中心,使用360lib軟件需要旋轉兩步。具體來說,對於(dst_yaw,dst_pitch)表5中給定的頂點和(src_yaw,src_pitch)表6中的給定源視口中心,首先旋轉輸入的ERP,使源視口中心位於(0, dst_pitch)中心,其次,進一步旋轉使圖像的(0,dst_pitch)中心到所識別的頂點(dst_yaw,dst_pitch)。第一步是純ERP到ERP的旋轉,輸出框架尺寸與輸入相同。第二步與編碼和格式轉換(下采樣)一起完成。(*)
這裏寫圖片描述
這裏寫圖片描述
5Encoder configurations and quantization parameter values
此處是編碼器配置文件及其用途,以及HM和JEM的軟件配置。 對於每個視頻序列,將使用四個量化參數值:22,27,32和37。
與JVET通用測試條件文檔[1]對齊,四個測試反映了只讀,隨機訪問和低延遲設置:
1內,10位
2隨機訪問,10位
3低延遲,10位
4低延遲,僅P片,10位
其中,隨機訪問是強制性的,而剩餘是可選的。 要與JVET和JCT-VC CTC對齊,在隨機訪問測試中,運動搜索範圍設置爲256,對於HM和JEM,GOP大小設置爲16。

6Test results
Templates for reporting test results for HM and JEM coding can be found in https://jvet.hhi.fraunhofer.de/svn/svn_360Lib/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章