Title：A closed Form Solution to Natural Image Matting.
(備註 ： 2006 cvpr, pdf鏈接： https://pan.baidu.com/s/1i6HlQ09 ；提取密碼： f4d7 )
最近由於項目需求，讀了一些關於image matting的paper，覺得其中有些分析、假設非常有趣，故作此總結，方便日後查閱。
爲方便敘述，這裏先假設輸入圖片image是gray的，後面再擴展爲BGR的。
Remark 1. compositing equation
首先，對於一張 input image(包含前景信息、背景信息，關於一個物體在image是是屬於前景還是背景，我的理解是要看它是否在景深Depth of Field範圍之內，如果在景深範圍內，則屬於前景；反之，則屬於背景)，那麼我們完全可以將該圖片看成是前景圖和背景圖的合成圖，於是便有了上述的合成公式。值得注意的是：公式中的alpha_i的取值是介於0-1之間的，當它取值爲0時，表示image中，該pixel完全由背景圖Bi貢獻；如果它取值爲1，則表示該pixel完全由前景圖Fi貢獻；其它情形則表示前後背景圖的線性組合。
其次，如果I是gray的，則對於確定的pixel I_i，（1）包含3個未知數；相應地，如果是BGR，則（1）包含三個方程共7個未知數，顯然這樣的問題是一個欠約束問題，因此，爲了求解該問題，必須加入一些constraint。
Remark 2.F、B local smoothness
這個特性應該是絕大多數圖像都具有的特性，也就是在局部的windows內，pixel的取值幾乎爲同一個常數。需要指出的是，這裏的假設是F和B具有局部光滑性，而不是針對原始的image I 的假設。而且，F和B局部光滑未必意味着I也是局部光滑，這是因爲alpha的取值如果不連續，往往會造成I的不光滑。基於這樣的假設，可以將(1)重寫爲
基於假設，在局部的window內，F和B具有光滑性，因此F_i - B_i在該窗口內爲常數，從而得到(2).
Remark 3. 關於Cost function
對於論文中給出的這個Cost function，熟悉機器學習的同學對於這種形態的loss function應該熟爛於心了吧。它合理嗎？首先來看第二個求和符號內的誤差項，極小化它意味着想要在window_j內要儘可能地照顧到每一個alpha_i，這就要求該窗口參數a_j和b_j學得準確。至於爲什麼是平方損失而不是其他諸如絕對值之類的損失呢，主要是考慮到平方損失方便求解；其次，第二項則想要表達線性參數a_j要具有smooth的特性，不能讓它的值在相鄰窗口變化得太劇烈。綜合來看，這個Cost
function的設置是合理的。
Remark 4. Theorem1
個人覺得定理1是論文中神來之筆的地方。作者對(3)關於a、b進行min操作，得到(4),而(4)是一個關於線性係數alpha的二次型，而且L是正定矩陣，這就意味着基於之前的假設可以得到全局唯一解，而且是全局最優解。
下面簡要論述最優解的求解過程，對於(4)描述的優化問題，顯然是一個沒有最小隻有更小的的問題(不要問爲什麼)，因此需要對alpha加一些約束，例如：
然後利用Lagrange乘子法，到目標函數關於alpha求導置0，可以求得(5)中最優的alpha即爲matting矩陣L最小的特徵值所對應的特徵向量，而L完全由輸入的image決定！
Remark 5.Color
line model
如何理解論文中所謂的color line model呢？首先來看在Remark
2中我們關於F、B局部光滑性的假設，對於gray iamge，我們假設F、B是局部光滑的，意味着在局部的window內，F_j和B_j是一個常數。對於BGR image，Color line model則放鬆了這個假設，在局部的window內，它允許F_j和B_j爲某個顏色的線性組合，意味着在window內，F_j和B_j可以在一定範圍內變化，即：
Remark 6.Constraints
and User Interface
前面已經說指出(1)是一個欠約束問題，實際場景中，我們往往可以很確信地指出那一部分肯定是前景或者背景，利用scribble-based GUI，我們可以得到一個初始化的alpha matte S，從而將優化問題(4)轉化爲如下的形式：
上圖(b)、(d)展示了論文中給出的matting得到的alpha_map，相應的alpha matte爲(a)、（c）。定理3從理論上保證了，如果在每個窗口中F和B都滿足color line model，且alpha matte不存在錯誤的話，便可得到最優解alpha_start.