illumination invariant image之恢復到彩色圖像

原文:【Finlayson G D, Drew M S, Lu C. Entropy Minimization for Shadow Removal[J]. International Journal of Computer Vision, 2009, 85(1):35-57.】
【Finlayson G D, Drew M S, Lu C. Intrinsic Images by Entropy Minimization[C]// European Conference on Computer Vision. Springer Berlin Heidelberg, 2004:582-595.】

前面的如何產生一維的invariant image就不再贅述。這篇博客記錄一下該論文中對於重建彩色圖像的方法的學習。

生成一維invariant image是通過將2-d空間中的點投影至矯正角θ對應的直線上去。直線的方向爲e,即e=[cosθ sinxθ]T,則,I=
I = χ1 cos θ + χ2 sinθ。
那麼,如下圖所示
圖像求inv的過程
這個I值實際上等於點(x0,y0)到原點的距離(因爲藍色線爲垂直於所有平行線的直線,所以只要平移其至原點即可)。
這邊爲什麼說得到的顏色分佈直線與光照無關,是因爲對於同一個顏色,由於光照不同得到的點分佈的直線,可以將其投影到垂線上,能得到唯一點,這樣的話,說明這條直線爲光照方向。
得到了1D的invariant image之後,即對於一幅圖像,得到了每個顏色在藍色線上的點到原點的距離。這是一個一維的變量。但是在前面已經求出了角度θ。這樣的話就能夠通過一個反變換得到藍色線上每個點的座標,即得到了2D的invariant image。
這裏寫圖片描述這裏寫圖片描述

3D的invariant image表示:
這裏首先要知道,由於在該算法中,首先將三維空間[R,G,B]中的點,通過比值(和log),取到了2D空間,
這裏寫圖片描述如果按照直接log(R/B),log(G/B)的話,變換爲U=[1 0;0,1;-1,-1];如果按照幾何均值來取的話,u=[2/3 -1/3;-1/3 2/3;-1/3 -1/3]。因此,可以再通過這個U矩陣將上面得到的2D值反變換到3D空間。
這邊我之前看的時候,說存在問題是有比值的存在,導致回到3D空間之後也是比值,沒有唯一解。這個理解是錯誤的。在2D空間內得到的值在log下確實是有個通道間的比值,但是,這個比值在通過log的時候可以轉化爲減,然後再逆變換,是可以解決的,所以再反變換回3D的時候,就不存在比值了,得到的是[logR’,logG’,logB’],這個帶’上標的值即是去萬陰影的值。當然,圖像會因此損失巨大。
不對。重新理一遍。
對於某一個點(R0,G0,B0),首先通過U矩陣,三維空間上的點均投影到平面(log(R/(RGB)1/3),log(G/(RGB)1/3))上,即此時(已把三維空間RGB轉爲logRGB)變換矩陣U=[2/3 -1/3 -1/3; -1/3 2/3 -1/3]T
這裏寫圖片描述
崩潰。這邊的該組內好幾篇文章都寫得比較亂。我自己做實驗,直接有一維的inv恢復到三維的,效果也不好,產生的是視覺效果不好的僞彩色圖像。

關於重建彩色圖像,該組的主要思想是,通過比較原圖(這邊有做過mean-shift的預處理,用於去除噪聲,得到更好更真實的圖像邊緣,通過壓縮噪聲和高頻率出現的紋理)和得到的invariant image(一維的或者三維的,都是無陰影的)的邊緣信息,獲取由陰影造成的邊緣,然後對這些邊緣進行處理,使用雙邊濾波。

大概步驟如下(on the removal of shadows from images文中):

  1. 首先對於原圖取log,在log空間觀察數據。對於每一個通道,都可以求出關於座標x和y的導數,即梯度,也就對應於圖像的邊緣信息;
  2. 有上面得到的一維或三維invariant image,可以得到邊緣的mask,這裏的邊緣已經不包括由於陰影的原因造成的了;
  3. 比較1和2,log導數圖(1)中存在的,而(2)中不存在的邊緣點的梯度置爲0,表示該點的灰度值沒有發生跳變,即不存在邊緣信息,剩下的邊緣均是由於材料物質的變化造成的;
  4. 整合邊緣信息,重構彩色圖像。這裏利用了log圖像的拉普拉斯算子(暫時不懂)。
    對於(3)中得到的結果,即上面去除邊緣的log梯度圖像再求梯度,得到log圖像的拉普拉斯算子[1]。這些操作貌似就等價於對無陰影影響的log圖像進行拉普拉斯操作[2],然後再對其進行逆變換,就可以得到無陰影的圖像了(這邊用傅里葉變換啥的解決的)。兩個拉普拉斯操作貌似不一樣,第一個是跟前面得到的陰影邊緣map有關係。

上述爲主要步驟,但是由於圖像邊緣拉普拉斯算子以及陰影邊緣實際上是有寬度的,因此採用了一些方法對上述步驟進行優化。

發佈了48 篇原創文章 · 獲贊 17 · 訪問量 5萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章