分佈式壓縮視頻感知DCVS

1、 分佈式壓縮感知

    編碼端十分簡單,每個信號分別進行CS測量。而解碼端複雜,將信號集在一起進行聯合重構。如圖1所示:
66e3af7607c3ebc8c3a07&690
圖1
分佈式壓縮感知的基礎是聯合稀疏模型,即JSM模型,目前有三種,其中JSM-1:信號集中的信號之間相關性很強,每個信號都由公共信號部分和獨立信號部分組成,且均稀疏。
 
    由於這種特性,因此在壓縮感知過程中,可以對key frame進行更多次測量,而對non-key frame進行少量測量(編碼端的低複雜性並非能找出信號的獨立部分),從而可以用較少的測量值獲得精確的重構效果。
 
    因此,利用該模型的壓縮感知可以既能消除時間冗餘(幀間相關性),又能消除空間冗餘(幀內相關性)。第一次看到JSM模型時,錯以爲編碼端進行區分公共部分和獨立部分並進行測量,當時讓我百思不得其解。
 
2、 分佈式視頻壓縮感知
    由於視頻是由連續的幀組成,且時間冗餘特別的大,即幀間相關性很強,因此十分適合使用分佈式壓縮感知。
文獻[1]:DISTRIBUTED COMPRESSIVE VIDEO SENSING, Li-Wei Kang and Chun-Shien Lu,ICASSP。作者提出分佈式壓縮視頻感知,編碼端獨立每一幀的測量,根據JSM-1模型,key frame 需要更多的測量,non-key frame可以減少測量數目。解碼端對key frame直接進行GPSR重構,對於non-key frame重構時,需要利用key frame的邊信息(side information)進行輔助重構。不失一般性,設有兩個幀,Xt Xt+1,對Xt進行直接重構得到Xt的估計,由於前一時刻與後一時刻均有公共部分,因此將Xt的估計作爲Xt+1的估計,輔助重構Xt+1。
 
 
文獻[2]:Dynamic measurement rate allocation for distributed compressive video sensing,Hung-Wei Chen, Li-Wei Kang,SPIE。 作者基於上篇文章,提出將CS幀(non-key幀)進行分塊處理,key frame不分塊,這樣好處是key frame重構質量高,繼而提供邊信息進行聯合重構,提高整體恢復質量。對於分塊CS幀,作者設計了自適應確定測量率。
 
    作者提出:由於編碼端無法獲得raw data,對於CS幀,爲了依據前一時刻幀中block的稀疏性估計下一時刻的相應block的稀疏性,則通過解碼端key frame反饋信息的方式。
 
    核心思想是:在解碼端利用重構出的Xt的塊的稀疏性去估計下一個幀Xt+1的相應塊的稀疏性,從而確定編碼端的測量率。由於,解碼端Xt的稀疏表示是固定DWT基,而Xt+1是訓練字典,作者使用訓練字典來對Xt進行稀疏表示,因此能很好的估計Xt+1,之後通過每塊係數的變化率確定每塊的測量率。

 同一時期關於分佈式壓縮視頻感知的論文有三篇:

(1)distributed compressive video sensing,臺灣中央研究院,ICASSP 2009  ,April 19-24
(2)distributed video coding using compressive sampling ,馬毅等,PCS 2009 ,May 6-8
(3)distributed compressed video sensing,Lu Gan 等,ICIP 2009,November 7-10
 
論文(1):
 
    編碼端:分別對key frame和non-key frame進行CS測量,其中non-key frame採用分塊技術。根據JSM-1模型,key frame的測量率應該大於non-key frame。稀疏表示使用DWT基,測量矩陣採用SBHE矩陣。
    解碼端:key frame採用GPSR進行恢復。同樣根據JSM-1模型,利用前一幀的信息來重構當前幀,即key frame提供side information 給non-key frame,採用修正的GPSR進行重構(根據side information計算初始值和終止條件)。what's side information?what's GPSR?
1
分佈式壓縮視頻感知(二)--早期DCVS
論文(2):
 
    編碼端:區分key frame和CS frame,對於key frame採用傳統的H.264編碼,CS frame則分塊測量。對n個像素的塊組成的列向量進行分塊測量,得到n個測量值,之後進行b bts的量化,最後選取m個進行傳輸。量化的作用是?
    解碼端:key frame採用傳統的方式進行解碼。對於CS幀解碼的基是從字典中選取,字典是由當前塊所在幀的前P個幀的相應塊位置(以x爲中心,w*w個像素範圍)選取的塊組成。然後通過解l1範式問題求得重構值。
    作者提出三種機制,分別是skip機制、single機制、L1機制。skip機制中,如果編碼端會計算當前塊和之前解碼key frame相應塊的均方誤差,若小於約定值,則skip,解碼端根據之前的塊copy作爲重構。因此,編碼端需要接收重構的key frame並計算均方誤差,增加了複雜度,另外由於編碼端無法獲得原始數據,可行?single機制中,發送端發送前面m1個測量值,利用該測量值與字典中各個塊的前m1測量值進行MMSE計算,若低於約定值,則選中該塊作爲恢復。否則,使用L1機制,繼續發送剩下m2個測量值。編碼端和解碼端的信息溝通是通過feedback channel。下圖所示。

2

論文(3):
 
    編碼端:K-frame採用傳統方式編解碼。對於cs frame採用基於塊和基於frame的CS測量(連續傳遞測量值)。
    解碼端:基於塊的測量值傳到解碼端,根據JSM模型進行稀疏限制的塊預測,算法能找出時域內相鄰塊(包括key frame)的最小數目的線性表示。如圖所示,基於frame的測量值聯合基於塊的測量值,得到一個完備的測量矩陣,同時,基於塊的預測也能獲得一個測量矩陣,兩者相減可以獲得誤差的測量矩陣,由於該誤差稀疏,因此可以重構。最後將預測後的幀加上預測誤差得到最後的結果。
分佈式壓縮視頻感知(二)--早期DCVS
3
總結:
1. 基於frame的測量稀疏性較基於塊的更好,能夠獲得全局信息。基於塊能獲得局部信息,重構質量較高,但存在塊效應。
2. 基於塊的CS靈活性較高,能夠根據不同塊設計不同基、測量矩陣,適合尺寸較大的圖像流。
3. 在論文(1)中,key frame採用基於frame的測量,原因是其重構質量更高?
4. 論文(1),對於key frame和non-key frame均採用CS測量,編碼端簡單。論文(2)(3)對於key frame採用傳統的方式,恢復質量高,但編碼端較複雜。
5. 論文(2)未具體講述如何進行最優的塊預測??

 

在(二)中文獻(1)的基礎上,作者發表了文獻(4)、文獻(5)

文獻(5):DICTIONARY LEARNING-BASED DISTRIBUTED COMPRESSIVE VIDEO SENSING,臺灣中央研究院liweikang,PCS2010
文獻(6):Dynamic measurement rate allocation for distributed compressive video sensing,臺灣中央研究院liweikang,VCIP2010
 
個人認爲文獻(5)借鑑了文獻(2)中字典的設計,並把K-SVD算法引入,得到此篇文章。
字典學習步驟:
1.當前幀的前一key frame和後一key frame得到It(side information )。
2.對上述三幀進行分塊,對每個塊提取9個training patches(哪9個?)。
3.利用上述patches,根據K-SVD算法訓練得到字典Dt。
 
side information:根據分佈式壓縮視頻感知(一)中分佈式視頻編碼框架,由已解碼的key frame和之前的WZ幀生成side information,它的作用在於作爲當前幀的估計,利用該邊信息和接收到的WZ幀一起得到當前幀的解碼。一般做法是:在相鄰的兩個key frame之間利用運動估計得到插值幀的運動軌道,利用運動補償生成邊信息。
 
個人認爲文獻(6)借鑑了文獻(2)中的反饋機制,設計了基於解碼端已重構幀的相應塊的稀疏性的動態測量率。該節在分佈式壓縮視頻感知(一)提到,此處略。
 
文獻(6)distributed compressive video sensing: a review of the state-of-the-art architectures,M2VIP  2012.11
文獻(7)Adaptive Dictionary Learning for Distributed Compressive Video Sensing  ,期刊JDCTA(EI檢索),2012
作者綜合前幾篇文獻之後提出,編碼端將key frame和CS frame均採用基於塊的CS測量,CS frame量化後的向量進行編碼;解碼端,key frame採用基於字典的重構,區別與以往文獻。作者對文獻(6)cs frame的分塊的動態測量策略進行改進,使用局部稀疏和remote joint sparstity,局部稀疏性通過計算SI代替當前幀(feedback)
個人感覺remote joint sparstity來設計編碼端測量率是有問題的,另外SKIP機制說的也不清楚。上述之外作者的改進:利用modified MOD訓練字典。
原文地址:http://blog.sina.com.cn/u/1726197622

 

發佈了48 篇原創文章 · 獲贊 81 · 訪問量 36萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章