什麼是alpha matting？

    同學給我一篇文獻，針對視頻對象分割，論文提出了一種精確運動層分割和Matting技術，將運動分割與alpha matting技術結合起來，由於對alpha matting不太懂，所以找資料認真學習了一下，整理收集如下：

什麼是alpha matting？

   Pulling a matte： matte在字典裏的解釋是不平滑的意思，matting在photoshop裏面是指消除圖像的背景邊緣或者去掉粗糙點。把digital matting技術應用於圖像，是基於這樣一個概念，它認爲一幅圖像是由背景和前景合成的，只是在不同的區域兩者參與的比例不一樣，在只有背景的地方，前景的參與比例爲0％；而在只有前景的地方，背景的參與比例爲0％。因此我們把這個比例值定義爲一個未知數alpha，即α。這樣我們把圖像C分割成一個前景對象圖像C_璅，一個背景圖像C_B和一個alpha matte α，於是就有了digital matting的數學定義： C＝α×C_璅＋（1－α)×C_B。如果再具體一點，針對每個像素，背景顏色爲C_B＝[R_B,G_B,B_B]，前景對象顏色爲C_璅＝[R_F,G_F,B_F, α](或者C_璅＝[αR_F, αG_F, αB_F])，於是matting方程爲C＝C_璅＋(1－α)×C_B。通常在應用中都是來需求這個方程的解，獲得圖像的最後分割結果，但如何來解這個方程呢？

在介紹解這個方程之前，先來認識一下藍屏matting（blue screen matting） 和環境matting（environment matting）。藍屏matting在很多TV或電影中經常用到，背景提取的形式是：首先需要一個已知的背景，然後通過SSD>threshold計算alpha值，在這裏要期望前景與背景不一樣，也就是沒有藍色帶。爲什麼是藍色呢，又爲什麼這樣統一呢？還需要找答案。這裏有這樣的描述：“電影和電視工作者使用藍色屏幕進行簡單的景物提取。被攝物置於一張藍色屏幕前，錄製完畢後膠片上的藍色屏幕被其他的背景所替代。Smith和Blinn非常詳細的研究了這種“藍屏”問題，發現僅僅在最簡易的情況下才存在唯一的物象提取結果。”還有：“藍屏技術對圖像的背景或者前景顏色有一定限制，背景通常是固定顏色，一般情況下選藍色或者綠色，或者是準備多張有相同前景的圖像，利用這些圖像中的背景顏色的不同，來達到準確提取前景的目的。”

第一種解答方法：沒有藍色。令B_F＝0，這樣就只剩下三個方程和三個未知量。方程如下所示：R=α×R_F＋（1－α)×R_B   求R_F

G=α×G_F＋（1－α)×G_B  求G_F

B=（1－α)×B_B           求α

第二中解答方法：灰度圖。令R_F＝G_F＝B_F，這樣就只剩下三個方程和兩個未知量。

除了上面的兩種方法，這裏還介紹一種三角測量matting，與減少未知量個數相反，它通過增加未知量的個數來求解。它是把對象放置到兩種不同背景下，這樣就產生六個方程和四個未知量。方程如下所示：

令在像素P點，C_B1=[R_B1,G_B1,B_B1]     C_B2=[R_B2,G_B2,B_B12

  則合成的像素爲：C₁=[R₁,G₁,B₁]  C₂=[R₂,G₂,B₂]  於是得到方程爲：

R₁=α×R_F＋（1－α)×R_B1    R₂=α×R_F＋（1－α)×R_B2

G₁=α×G_F＋（1－α) ×G_{B1  G2}=α×G_F＋（1－α)×G_B2

B₁=α×B_F＋（1－α)×B_B     B₂=α×B_F＋（1－α)×B_B2

   環境matting的方程與上述的不一樣，多了一個參量，方程如下所示：

          C＝C_璅＋(1－α)×C_B＋Φ  Φ表示環境中的光穿過前景對象的度。

   Alpha matting技術在圖像中的應用主要在對象提取上面，因此在這方面的研究比較多，主要是從單幅圖像中提取物體對象，除了人工參與手動描出對象邊界外，近年來有Ruzon和Tomasi提出的基於統計學的方法，Hillman等人提出的主成分分析法，還有Y.Y.Chuang 等人提出的Bayes方法，也是基於統計學的代表。除此之外，微軟亞洲研究院Jian Sun等人根據Patrick P´erez等人2003年發表的Poisson Editing方法提出Poisson Matting ，實際上是將透明度作爲圖像的一種內在屬性——“場”，變向地尋求其最優解。Olivier Juan 和Renaud Keriven針對digital matting提出了一種無監督的分割方法，它是通過一個小的子集合中提取前景和背景區域來初始化matting，對前景和背景分別使用標準的統計模型，而對混合區域單獨設計一個。再用一個水平集合方法（a level set method）的應用來同時確定這三個區域。之後又提出了一種trimap 分割，採用一個基於優化策略的迭代圖分割同時確定三個區域。

    隨着流媒體和當今電影電視技術的發展，將digital matting技術應用於視頻圖像中運動對象的提取也逐漸多起來，這在電影特技中會有廣泛的應用。如何有效地將這個技術應用於視頻圖像的對象分割，是我正在研究的。對alpha matting 有研究的朋友，不妨交流一下