Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image

原文：【Qu L, Tian J, Han Z, et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image[J]. Optics express, 2015, 23(3): 2220-2239.】

Abstract：
本文提出的shadow removal方法，基於陰影不變量的物理基礎，對於每一個像素值矢量，建立一個線性方程組，然後推斷出像素級的正交分解以求解方程，最終得到一個唯一的光照不變矢量。根據該不變量和Lab顏色空間，本文提出了生成無陰影的彩色圖像，並且能夠較好的保留紋理和顏色信息。

Introduction：
本算法主要思路爲：
1.通過前面的工作（後面會描述）中定義的陰影線性模型，可得到三個不同的光照不變的灰度圖。利用該灰度圖，對於每個像素點建立一個由三個線性方程組成的線性方程組；
2.求解線性方程組。線性方程的解空間被分解爲一維零空間和特定解空間（particular solution space）。零空間只和光照條件有關，特定解空間則和光照無關了。
3.由實驗可知，得到的彩色光照不變圖像會存在顏色失真的問題，因此，再結合Lab顏色空間，對其進行處理，就能夠產生一個無陰影的彩色圖像，並且能夠較好保留顏色和紋理信息。

算法詳細介紹：
2.1 像素級正交分解
2.1.1 基於前面的工作^[1]獲取的陰影線性模型
對於一定範圍內的可見光，在給定光照的光譜功率分佈（SPD）E（λ），目標反射率S（λ），和相機傳感器響應Q（λ）的情況下，相機的響應值（即最終得到的像素值）如下：
（1）
太陽發出的光線經過大氣透射的影響，到達地面的入射光就被分爲了直射的太陽光（sunlight）和漫反射的天空光（skylight）。對於陰影區域來說，得到的光線只有天空光，而非陰影區域則還包括太陽光。在比較容易出現陰影的晴朗天氣，日光（太陽光和天空光的結合）和環境光（天空光）有着強烈的規律性，主要是由太陽角度控制的。基於上述準則，對於同一表面來說，在不同光照下相機響應的像素值的每個通道滿足如下規則：
（2）
H代表通道標號。F_H表示的是非陰影區域的RGB像素值，f_H表示的是相同表面在陰影情況下表現出來的像素值。比例係數K_H與表面反射率無關，近似等於下式決定的常數：
（3）
這裏的E_day和E_sky分別表示日光和環境光下的光譜功率分佈。在作者的實驗中，這兩個SPD是通過統計十個晴天日子裏的不同太陽角度下的日光和環境光的SPD，然後計算其均值得到的。上式的步長設置爲5nm，K_H的步長設置爲0。01，K_H的優化問題可解。
由上面的式（2），可以得到下面的等式成立：
（4）

對於圖像中的像素點，上式說明了一個陰影不變性。對於任意像素點，對其RGB三個通道的像素值做運算：，則這裏不管RGB的值是否是處於陰影下，那麼得到的值是相同的，也就是說，和陰影無關了。因此，由此可以得到一個光照無關的灰度圖。如下圖例所示：

2.1.2像素級正交分解
但是，由於顏色和對比度的損失，在許多應用中，上述光照不變的灰度圖存在很多侷限性。因此，希望能夠獲取一個彩色圖像，顏色和紋理儘量和原圖保持一致，但是將陰影去除。因此，基於前面的部分，本文推導出了其正交分解，並且獲取了一個能夠保持基本顏色信息的光照不變圖像。

對於一個RGB像素矢量來說，首先根據下式定義如下的一個不變量I₁：
（5）
同樣，對於另外兩幅光照不變的灰度圖，可以定義不變量I₂和I₃：
（6）
這裏（9）

爲了方便表示，下面用來表示一個RGB像素投影至需要的log空間之後對應的矢量，即這裏。因此，公式（5），（6）就可以用下列線性方程組來表示：
（10）
式（10）的矩陣形式如下：
（11），
這裏，，，。根據β₁，β₂和β₃的定義和計算，可以得到如下關係：
（12）

由上述參數之間的關係，可以得到A矩陣的秩等於2。因此，對於給定圖像，公式10的解有無限個。該解空間可以被分解爲一個特定的解和一個一維零空間解。對於一幅圖像中的一個像素點，我們首先就已經得到了一組滿足上式的解了，即原RGB像素值的log下取值。因此，我們的目標是找到公式10的一個接，能夠滿足光照不變。下面，證明該解存在並且唯一。

根據代數原理，對於公式10的任意一個解u，可以用下面的式子表示：
（13）
這裏u_s爲任意特定解，u₀爲公式10的歸一化的free solution.（這邊我理解的是，u₀和u_s是公式10的解空間的一組基向量，只不過在表示空間內的其他向量時，u_s的方向上不加係數，只是變換u₀的係數。）而u₀作爲公式10的free solution，是滿足Au₀=0的，並且||u₀||=1。
其中一個free solution的值如下：
（14），
歸一化之後可得u₀爲：
（15）
由公式13可以看出，free solution u₀和圖像本身沒有關係，而是由矩陣A決定的，也就是說，是由光照決定的。

對於上面的定義，給定一個特定解u_s和一個歸一化之後的free solution u₀，根據公式13和代數相關理論，就可以定義u_p如下：
（16）
如此，u_p就是方程11的一個解。< , >表示向量內積。可以證明，u_p⊥u₀，是方程11的唯一特定解。

根據上面的推導，給定一幅在不同光照下拍攝所得的圖像，對於每個像素點對應的log-RGB值的矢量u，可以直接計算出其對應的光照不變量u_p，如下：
（17）
再對其去exp，就可以回到三維RGB顏色空間。

對於給定像素，不管由於不同光照帶來的顏色變化有多大，該正交分解過程能夠獲得唯一的u_p。
分解原理課如下理解：

2.2 參數β₁，β₂，β₃的分析獲取以及彩色光照不變圖像的獲取
參數β₁，β₂，β₃直接影響着不變量的獲取，由於β₁，β₂，β₃是和光照有關，因此作者通過統計實驗，獲取不同天氣以及太陽角度下的數據，得到了β₁，β₂，β₃的結果，實驗給定均值可以用於多種情況下。

3.顏色還原
通過對於中性顏色的處理，以及投影至Lab顏色空間，最終得到無陰影的彩色圖像。

[1]Tian J, Tang Y. Linearity of each channel pixel values from a surface in and out of shadows and its applications[C]//Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. IEEE, 2011: 985-992.