以下都是知乎和csdn上講解比較詳細的文章
1.opticalFlow
光流反映了是每個像素的運動狀況
MV是以塊爲單位的運動情況,
在視頻編碼過程中,動作矢量的空間分辨率得到了大幅度的減少(即16x),而對動作識別非常重要的精細動作永久的丟失
但是光流的計算量比較大 目前有通過 MV/I幀圖像/殘差和CNN卷積神經網絡學習來計算光流的算法 計算量比傳統光流小兩個數量級
有個DMC-Net的系統,包括發生器和分類器,號稱它的精度接近於使用流的精度,在推理時比使用光流快兩個數量級。可參考
2.stitcher(圖像拼接)
一共有4個步驟
a.Feature Extraction 特徵提取
b.Image Registration圖像配準
c.wraping 圖像變形
d.Blending 圖像融合
硬件只實現了 Blending,圖像配準通過各個CAM攝像頭的角度來保證。採用α/β融合的方式。α、β參數可DDR讀取也可根據配置在線計算
3.pyrimid
硬件上只有雙線性和高斯兩種 downscale使用了兩種方法 upscale只用了雙線性