原创 基於學習的編碼(六):DRNLF

基於學習的編碼(六):DRNLF 本文算法來自JVET-L0242,dense residual convolutional network based in-loop filter (DRNLF)用於VTM的環路濾波中,用在DBF之後,

原创 SAR、PAR和DAR

PAR(PictureAspect Ratio): 圖像縱橫比; DAR(Display Aspect Ratio):顯示縱橫比; SAR(Sample Aspect Ratio):樣點縱橫比; 注意:有的地方將PAR作爲像素縱橫比,SA

原创 參考圖像詳解

由於幀間預測的需要,編碼當前幀時需要參考其他幀,這些被參考的幀稱爲當前幀的參考幀。在前面一節DPB中我們知道,DPB中包含參考圖像和非參考圖像。 參考圖像集(Reference Picture Set,RPS):RPS中包含DPB內的參考

原创 VPS參數集

HEVC在H.264/AVC的基礎上引入了視頻參數集(Video Parameter Set,VPS)。這樣HEVC共定義了3類參數集:視頻參數集(Video Parameter Set,VPS)、序列參數集(SequenceParame

原创 HM內CU的數據結構

HM是H.265/HEVC的官方參考軟件,H.265是基於塊的混合編碼標準,以CTU爲單位進行四叉樹劃分,H.265中規定最大的CTU爲64x64。在HM中CTU的信息保存在TComDataCU類中,TComDataCU類的定義(定義太長

原创 VVC之SCC(一):IBC

VVC之SCC(一):IBC Intra block copy(IBC)是屏幕內容編碼(Screen Content Coding,SCC)的主要技術之一。IBC是塊級的編碼模式,在編碼端會使用塊匹配(Block Matching,BM)

原创 VVC之SCC(二):RDPCM

VVC之SCC(二):RDPCM VTM5中對SCC支持supports quantized residual differential pulse coded modulation (RDPCM)技術。 當允許使用RDPCM時,如果CU

原创 碼率控制(五):流體流量模型

碼率控制(五):流體流量模型 碼率控制的主要作用就是適應帶寬需求來壓縮碼率,防止網絡頻繁丟包 流體流量模型就是模擬比特數據在網絡和緩存器中的狀態,下面從解碼端的視角來說明。 HRD( hypothetical reference de

原创 基於學習的編碼(五):MCNN

基於學習的編碼(五):MCNN 本文介紹的算法來自JVET-P0489,是對基於學習的編碼(三):ACNNLF的改進。ACNNLF是在線(online)訓練,而MCNN是離線(offline)訓練。 網絡結構 MCNN(Multiple

原创 基於學習的編碼(二):使用CNN對intra frame進行環路濾波

基於學習的編碼(二):使用CNN對intra frame進行環路濾波 本文算法來自JVET-O0157 介紹 爲了取代VVC環路濾波中的去方塊濾波(DBF)提出來一種下采樣的CNN濾波器。該CNN濾波器在降低神經網絡複雜度的同時能保持編碼

原创 使用ffmpeg繪製運動向量MV

使用ffmpeg繪製運動向量MV 本文將使用ffmpeg提取每幀視頻的運動向量MV,並使用opencv將其繪製出來。 運動向量MV 瞭解視頻編碼的人都對運動向量不陌生,它是在進行幀間預測時標記當前塊和參考塊位置關係的一個向量。幀間預測包括

原创 基於學習的編碼(三):ACNNLF

基於學習的編碼(三):ACNNLF 本文算法來自JVET-M0566提案,介紹了一種adaptive convolution neural network loop filter(ACNNLF)網絡進行環路濾波。 介紹 ACNNLF方法會

原创 HVS的真相

HVS的真相 人眼視覺系統( human visual system,HVS)是人類通過感知光線形成視覺的系統,是人類捕獲外界信息最關鍵的系統之一。HVS在視頻編碼的主觀優化中發揮重要作用。關於HVS有以下特性不得不知: HVS對高頻信

原创 基於學習的編碼(一):使用CNN進行環路濾波

基於學習的編碼(一):使用CNN進行環路濾波 本文介紹一種在VVC環路濾波中使用CNN的技術,該算法來自於JVET-O0056 CNNLF 該卷積網絡模型稱爲CNNLF,用於VVC的環路濾波的ALF階段之後,如下圖所示。   CNNLF

原创 基於學習的編碼(四):WSE-CNNLF

基於學習的編碼(四):WSE-CNNLF 本文算法來自JVET-N0133,提出了一個CNN模型WSE-CNNLF(Wide-activated Squeeze-and-Excitation Convolutional Neural Ne