70-0001 Poisson Matting【泊松摳圖】

摘要

在本文中，我們將自然圖像摳像問題公式化爲一個用摳圖的梯度場求解泊松方程的問題。在我們的研究中，泊松摳圖具有以下優點：首先，通過使用來自用戶提供的trimap的邊界信息求解泊松方程，從連續的遮罩梯度場直接重建遮罩。 其次，通過使用多種過濾工具交互地操作遮罩梯度場，用戶可以進一步改善局部的泊松遮罩效果，直到滿意爲止。 修改後的本地結果無縫集成到最終結果中。 在許多複雜的自然圖像上進行的實驗表明，泊松摳圖可以達到良好的消光效果，而使用現有的摳圖技術則無法實現。

備註：本文翻譯了Poisson Matting的相關文章，原文地址如下：
鏈接：http://home.cse.ust.hk/~cktang/sample_pub/poisson_matting.pdf

1.簡介

在圖像合成中，可以通過遮罩公式將背景圖像B(x，y)和前景圖像F(x，y)的alpha遮罩α(x，y)混合成新圖像I(x，y) (爲清楚起見，刪除了(x，y)自變量)：
$I=\alpha F+(1-\alpha)B$

formula(1) 公式1
備註：可以理解爲圖像合成的公式，也即：當前像素點的計算方法。

另一方面，從給定圖像I分離出α，F和B稱爲遮罩提取問題，或簡稱爲摳像。在藍屏摳圖中，只需要需要重建α和F，因爲從用戶控制的環境中可以知道B。但是在自然圖像摳圖中，需要估計所有變量α，F和B。

由於摳圖方程具有太多未知數，摳圖固有地受到了限制。因此，用戶交互對於獲得良好的摳圖效果至關重要。例如，在自然圖像摳圖中（例如，貝葉斯摳圖[Chuang et al.2001]）用戶需要提供一個Trimap，將圖像分成三個區域：“前景”、“背景”、“未知區域” ”。在未知區域中，可以使用已知前景和背景區域中的顏色統計信息來估計遮罩。

確實，正如[Smith and Blinn 1996]所述，藍屏摳圖在許多應用中成功的關鍵思想是在環境設置週期中納入一個人，以確定結果是否爲“當s /他看到了”，並提供了足夠豐富的控件來調整結果。

然而，調整摳圖在自然圖像摳圖中不是簡單的操作。迄今爲止最自然的圖像摳圖方法[[Berman et al. 2000; Ruzon and Tomasi 2000; Hillman et al. 2001; Chuang et al. 2001]依賴於已知背景和前景中的像素採樣。這些樣本然後用於以統計上有意義的方式估計未知區域中的遮罩。一旦仔細指定了trimap，這些方法的結果可能不會再得到改善。例如，在圖1中，前景毛髮和背景分支很容易混淆，特別是在對比度較低的區域。如果沒有其他信息，很難產生良好的摳圖效果，直接在像素級別編輯遮罩將是乏味且不切實際的。

---

圖一： Pulling of matte from a complex scene. From left to right: a complex natural image for existing matting techniques where the color background is complex, a high quality matte generated by Poisson matting, a composite image with the extracted koala and a constant-color background, and a composite image with the extracted koala and a different background.

---

在本文中，我們提出用於複雜場景自然圖像的泊松摳圖。與以前以統計方式優化像素的Alpha，背景和前景色不同，我們的方法直接在遮罩的漸變上進行操作。這樣可以減少由於在複雜場景中對顏色樣本進行錯誤分類而導致的錯誤。泊松摳圖可根據圖像估計遮罩的梯度，然後通過求解泊松方程重建遮罩。

我們的公式是基於這樣的假設，即前景和背景的強度變化是平滑的。我們建議使用全局泊松摳圖，這是一種半自動方法，可以根據給定的用戶提供的trimap從圖像梯度近似遮罩。然後可以更可靠地估計前景和背景色。

更重要的是，當由於複雜的背景而導致整體的Poisson摳圖無法產生高質量的摳圖效果時，我們將引入局部Poisson摳圖策略，該摳圖策略將控制局部區域中的連續漸變場。局部Poisson摳圖將用戶輸入帶入“摳圖”循環。在大多數情況下，由前景和背景色引起的圖像梯度在視覺上可以局部地區分。通過使用在遮罩的漸變場上運行的一組工具，可以將來自用戶的知識有效地集成到Poisson摳圖中。結果，我們的方法可以在複雜的場景中保持前景對象的細長螺紋狀形狀的連續性，如圖1所示。此外，在進行本地操作後，可以將漸變字段中的用戶修改無縫傳播到遮罩中。

關於遮罩，摳圖：都是matte，一個是名詞，一個是動詞。
圖像的跳轉到後期再添加。

2.相關工作

自然圖像摳圖
幾種自然圖像摳圖方法[[Berman et al. 2000; Ruzon and Tomasi 2000; Hillman et al. 2001; Chuang et al. 2001]已經提出。它們中的大多數包含兩個過程：

1. 樣本收集：從"前景"和"背景"收集"未知區域"中每個像素的統計信息或顏色圖層F和B的樣本。
2. 遮罩估計：通過求解遮罩方程，在給定F和B值的情況下，對於每個像素估計遮罩。

在知名的[Berman et al. 2000]中，估計的F和B是沿已知前景和背景區域周長的像素加權平均值。最終估計的α也是在RGB通道中計算的遮罩強度的加權平均值。在[Ruzon and Tomasi 2000]和[Hillman et al. 2001]，分別通過無方向性高斯和主成分分析（PCA）的混合來分析F和B的顏色樣本。貝葉斯消光[Chuang et al .2001年]首先對F和B的顏色樣本進行聚類。每個聚類都以定向的高斯分佈進行擬合。同時爲貝葉斯框架中的前景對和背景對中的每一個同時計算α，F和B的最大後驗（MAP）估計。最終α是從產生最大似然的那對中選擇的。迄今爲止，在許多情況下，貝葉斯摳圖可產生最佳效果。有關自然圖像摳圖算法的詳細比較和調查，請參見[Chuang et al. 2001]。

但是，這些方法依賴於色彩採樣，而色彩採樣在複雜場景中容易出錯。採樣錯誤的顏色不可避免地會導致較差的摳圖效果。此外，當無法重新定義Trimap時，還不清楚這些顏色採樣方法如何繼續自動或交互地改善消光效果。

其他摳圖方法
在[Smith and Blinn 1996]中，提出了三角剖分解決方案以將消光轉換爲過度約束的問題。但這需要對前景圖像進行兩次拍攝，並使用兩種不同的已知背景（顏色）。差異摳圖[Qian and Sezan 1999]也需要兩個圖像：一個帶有前景，另一個不帶有前景。兩個圖像的差異映射到遮罩。視頻消光[Chuang et al。 2002]是貝葉斯遮罩的擴展。雙向光學流算法用於根據用戶提供的關鍵幀在視頻序列中對三映射進行插值。

泊松方程應用
泊松方程先前已用於色調映射中[Fattal et al. 2002]、陰影去除[Finlayson et al. 2002]和圖像編輯[[Elder and Goldberg 2001; P´erez et al. 2003]。可以通過自動或交互操作圖像的梯度場然後求解泊松方程來修改圖像。本文將泊松方程應用於摳像領域。

3.泊松摳圖

泊松摳圖包含兩個步驟：

1. 根據輸入圖像計算出一個近似的遮罩漸變場。
2. 通過求解泊松方程從其梯度場獲得遮罩。

爲了獲得近似的遮罩梯度場，我們在遮罩方程的兩邊都採用了偏導數：
$\nabla I=(F-B)\nabla\alpha+\alpha\nabla F+(1-\alpha)\nabla B$

formula(2) 公式2
備註：應該是對於F、B、α分別對x、y求偏導得到上述結果。
將I視作F、B、α的函數，求全微分可以得到上述結果。
So，∇梯度算子是x,y的偏導。
在二維的圖片中，每一個R-G-B-α，每一層中的信息都是由(x,y)確定的，對此形式求微分。

$\nabla=(\frac{\partial}{\partial x},\frac{\partial}{\partial y})$是梯度算子。這是分別針對R、G、B通道的遮罩方程的微分形式。在前景F和背景B光滑的情況下，即$α∇F+(1-α)∇B$相對於$(F-B)∇α$而言較小，我們可以得出如下近似遮罩梯度場：
$\nabla\approx\frac{1}{F-B}\nabla I$

formula(3) 公式3
這個公式是如何得到的？
對於公式2右側進行重組，化簡可以得到：
$(2αF-2αB+B)∇=∇I$
大概是這個公式+$α∇F+(1-α)∇B$相對於$(F-B)∇α$而言較小，得到了公式3中的約等式。
我發誓，無論以後我是什麼職位，是什麼境地，都要好好的學習數學

這意味着遮罩梯度與圖像梯度成比例。遮罩第一梯度的近似值出現在[Mitsunaga et al. 1995]。爲了估計實體對象邊界周圍的不透明度，他們對垂直於對象邊界的一維路徑上的遮罩梯度進行了積分。但是，使用相同的近似值，我們可以通過直接在2D圖像空間中求解泊松方程來更有效地重建遮罩。

---

圖二： Boundary condition for Poisson matting. (a) Global Poisson matting: the trimap $\{Ω_F,Ω_B,Ω\}$ is specified by the user.$∂Ω$ is the exterior boundary of unknown region $Ω$. (b) Local Poisson matting: the user selects a local region $Ω_L$ interactively. $∂Ω$ is the exterior boundary of local unknown region $Ω∩Ω_L$.

---

3.1 全局泊松摳圖

如圖2所示，$\Omega_{F}, \Omega_{B}$ and $\Omega$分別定義爲“絕對前景”，“絕對背景”和“未知”區域。對於圖像中每個像素$p=(x, y)$，$I_p$是其強度，$F_p$和$B_p$分別是前景和背景強度。 令$N_p$爲其4個鄰居的集合。$\partial \Omega=\left\{p \in \Omega_{F} \cup \Omega_{B} | N_{p} \cap \Omega \neq\right.\emptyset$是Ω的外邊界。

要在給定近似$(F-B)$和圖像梯度$\nabla I$的情況下，在未知區域$Ω$中恢復遮罩，將原問題轉化爲下面公式最小化的問題：
$\alpha^{*}=\arg \min _{\alpha} \iint_{p \in \Omega}\left\|\nabla \alpha_{p}-\frac{1}{F_{p}-B_{p}} \nabla I_{p}\right\|^{2} d p$

formula(4) 公式4

$\left.\alpha\right|_{\partial \Omega}=\left.\widehat{\alpha}\right|_{\partial \Omega}$是邊界條件，我們定義：
$\left.\widehat{\alpha}_{p}\right|_{\partial \Omega}=\left\{\begin{array}{ll} 1 & p \in \Omega_{F} \\ 0 & p \in \Omega_{B} \end{array}\right.$

formula(5) 公式5

此定義與用戶提供的trimap一致。 具有相同邊界條件的相關泊松方程爲：
$\Delta \alpha=\operatorname{div}\left(\frac{\nabla I}{F-B}\right)$

formula(6) 公式6

其中$\Delta=\left(\frac{\partial^{2}}{\partial x^{2}}+\frac{\partial^{2}}{\partial y^{2}}\right)$和$d i v$分別是拉普拉斯算子和散度算子。 獲得泊松方程的唯一解是一個經過充分研究的問題。 我們將Gauss-Seidel迭代與過鬆弛方法一起使用（也在[[P´erez et al. 2003]中使用）。 對於彩色圖像，在灰度通道中同時測量$(F-B)$和$\nabla I$。

---

迭代優化
全局泊松摳圖是一個迭代的優化過程：

1. $(F-B)$的初始化 F和B的絕對值不是必需的，因爲（FB）提供了足夠的信息來確定遮罩。最初，對於in中的每個像素p，Fp和Bp通過對應ΩF中最接近的前景像素和ΩB中的背景像素來近似。然後，通過高斯濾波器對構造的（FB）圖像進行平滑處理，以抑制由於噪聲以及F和B估計不準確而引起的重大變化。

2. $\alpha$的重建 通過對泊松方程6求解$(F-B)$和$∇I$來重建α。

3. 提取$F,B$ 讓 $\Omega_{F}^{+}=\left\{p \in \Omega | \alpha_{p}>0.95, I_{p} \approx F_{p}\right\}$ 。條件式： $\alpha_{p}>0.95$ 和 $I_{p} \approx F_{p}$ 保證在 $\Omega_{F}^{+}$中的像素大多是前景。類似的，讓 $\Omega_{B}^{+}=\left\{p \in \Omega | \alpha_{p}<0.05, I_{p} \approx\right.$ $\left.B_{p}\right\}$。這裏 $F_{p}, B_{p}$ and $I_{p}$ 表示像素 $p$處的顏色向量。我們更新 $F_{p}$ 和 $B_{p}$ 根據在$\operatorname \Omega_{F} \cup \Omega_{F}^{+}$和 $\Omega_{B} \cup \Omega_{B}^{+}$ 裏的的最近像素的顏色。 高斯濾波器也可以用來平滑 $(F-B)$。

我們重複上述步驟2和3，直到摳像結果的變化足夠小或在步驟3中$\Omega_{F}^{+}$和$\Omega_{B}^{+}$都爲空。通常只需要進行幾次迭代即可。在每次迭代中，$\Omega_{F}^{+}$和$\Omega_{B}^{+}$的選擇幾乎沒有誤差，這保證了這兩個區域中更準確的顏色會進一步傳播到不太準確的相鄰像素中。

全局泊松摳像在前景和背景平滑的場景中效果很好。但是，對於複雜的圖像，方程式3可能不是全局遮罩漸變的良好近似，其中背景和前景漸變無法忽略。在下一節中，我們將用戶帶入摳圖循環中以局部優化全局Poisson摳圖結果。

4.局部泊松摳圖

公式2被重寫爲：
$\nabla \alpha=A(\nabla I-\mathbf{D})$
其中$A=\frac{1}{F-B}$ ，$\mathbf{D}=[\alpha \nabla F+(1-\alpha) \nabla B]$。$A$會影響遮罩漸變比例，因爲增加的$A$會銳化邊界。 $D$是由背景和前景引起的梯度場。 因此，我們需要估計$A$和$D$才能接近基本真理$A^∗$和$D^∗$。 在整體泊松摳圖中，會根據圖像自動估算$A$，而$D$則假定爲零。 當背景或前景具有很強的漸變時，全局泊松摳圖會導致劣質摳圖效果。

---

圖3 The mattes solved by Poisson matting when $A$ and $D$ approximate $A^{*}$ and $\mathbf{D}^{*}$ differently. Top$: A \approx A^{*}$ results in a correct matte. $A<A^{*}$ results in a smooth matte and $A>A^{*}$ results in a sharp matte. Bottom: Similarly, $|\mathbf{D}|<\left|\mathbf{D}^{*}\right|$ or $|\mathbf{D}|>\left|\mathbf{D}^{*}\right|$ results in erroneous mattes

---

在本節中，我們介紹局部摳圖，以使用戶可以在本地操縱梯度場。 圖3顯示了使用不同的$A$和$D$生成的遮罩。如果$A$小於$A ^{∗}$，則遮罩將變得更平滑。 同樣，當$| D |$ 與$| D ∗ |$不同，我們得到了錯誤的遮罩。 局部泊松摳圖的一個主要觀察結果是，用戶可以檢查恢復的摳圖並提出如何操縱$A$和$D$來改善摳圖效果。

4.1 局部的泊松摳圖

爲了定義全局泊松摳圖的結果，用戶可以指定一個不滿足要求的區域ΩL，並應用局部泊松摳圖，**如圖2(b)**所示，積分區域變爲$\Omega_{L} \cap \Omega$，新積分區域的邊界爲：$\partial \Omega=\left\{p \in \overline{\left(\Omega_{L} \cap \Omega\right)} | N_{p} \cap\left(\Omega_{L} \cap \Omega\right) \neq \emptyset\right\}$，**圖2(b)**說明了用戶選區ΩL和新邊界∂。 在局部泊松摳圖中要最小化的問題由下式給出：
$\alpha^{*}=\arg \min _{\alpha} \iint_{p \in \Omega_{L} \cap \Omega}\left\|\nabla \alpha_{p}-A_{p}\left(\nabla I_{p}-\mathbf{D}_{p}\right)\right\|^{2} d p$

formula(8) 公式8

具有Dirichlet邊界條件 $\left.\alpha\right|_{\partial \Omega}=\left.\widehat{\alpha}\right|_{\partial \Omega} .$ 局部Dirichlet邊界條件 $\left.\widehat{\alpha}\right|_{\partial \Omega}$ 被定義爲:
$\left.\widehat{\alpha}_{p}\right|_{\partial \Omega}=\left\{\begin{array}{ll} 1 & p \in \Omega_{F} \\ 0 & p \in \Omega_{B} \\ \alpha_{g} & p \in \Omega \end{array}\right.$

formula(9) 公式9

這的$\alpha_{g}$ 是局部邊界上未知區域中的當前遮罩值。

通常，我們使用的局部區域尺寸較小（小於200×200像素），在這種情況下，泊松求解器可以非常快速地生成摳圖結果。此外，由於存在邊界條件，局部操作會無縫傳播到遮罩中，在遮罩中看不到明顯的邊界不連續性。

4.2 局部操作

用戶可以修改所選區域中的$A$和$D$以產生更好的$∇α$近似值。 提供兩種操作：通道選擇和局部過濾。 通道選擇減少了$D$的誤差，並且本地過濾直接控制$A$和$D$。 通過使用這些操作，用戶無需以像素爲單位優化遮罩，並且修改後的結果會很快產生。

---

圖4 Channel selection. (a.) The input image. The user selects samples from the blue region (dashed rectangle) in the background. (b.) Images in grayscale and optimized channels, where $\partial \Omega$ is shown as a red/blue line.(c.) Alpha mattes computed from grayscale and the optimized channels. A clearer matte is generated from the optimized channel.

---

4.2.1 通道選擇

對於彩色圖像, 公式3 可以在不同的通道中進行測量，例如，任何單個 $\mathrm{R} / \mathrm{G} / \mathrm{B}$ 或者灰度通道。 在全局泊松摳圖中, 我們已經使用了灰度通道, $\nabla \alpha=A g\left(\nabla I_{g}-\mathbf{D}_{g}\right)$。平滑的背景或前景假設使 $| D g|$ 變小，使得 $A_{g} \nabla I_{g}$ 是$\nabla \alpha$的良好近似。 同樣，在本地區域中，我們嘗試構建一個具有平滑背景或前景的新通道 $\gamma=a R+b G+c B$ ，其中 $\left|\mathbf{D}_{\gamma}\right|$ 小於 $\left|\mathbf{D}_{g}\right| .$ 因此，我們將前景色或背景色的方差最小化，新通道 $\gamma$ 的構造如下:

1. 用戶可以使用簡單的筆刷在圖像中選擇背景或前景色樣本$\left\{\left(R_{i} G_{i} B_{i}\right)\right\}_{i=1}^{N}$。 在隨附的視頻中，我們顯示了一個示例，其中背景樣本用於通道選擇。

2. 計算權重$(a b c)$以最小化新通道中的樣本方差$\Sigma_{i}^{N}\left(\gamma_{i}-\bar{\gamma}\right)^{2}$。 這是一個線性約束的二次優化問題：
$\min _{a, b, c} \sum_{i}\left[(a b c) \cdot\left(R_{i} G_{i} B_{i}\right)^{T}-(a b c) \cdot(\bar{R} \bar{G} \bar{B})^{T}\right]^{2} \text { s.t. } a+b+c=1$

formula(10) 公式10

其中$(\bar{R} \bar{G} \bar{B})$是樣本的平均顏色值。 權重$(a b c)$是通過求解增強線性系統[PGill and Wright 1981]獲得的。 圖4顯示了與灰色通道相比，新的優化通道的遮罩改善。 $D$的誤差減少，毛髮形狀得到更好的恢復。

4.2.2 局部過濾

爲了直接在A和D上進行操作，我們還提供了幾個本地過濾器供用戶操縱遮罩梯度場。

Boosting brush 筆刷工具 當摳圖效果比用戶期望的平滑或銳利時，可以使用筆刷工具直接增加或減少$A$。 對於畫筆區域中的每個像素$p$，增強畫筆具有局部高斯形狀。 使用增強筆將$A p$修改爲$A_{p}^{\prime}$
$A_{p}^{\prime}=\left[1+\lambda \exp \left(-\frac{\left\|p-p_{0}\right\|^{2}}{2 \sigma^{2}}\right)\right] \cdot A_{p}$

formula(11) 公式11

其中$p_0$是筆刷中心的座標，$σ$和$λ$是用戶定義的參數，用於控制增強效果的大小和強度。 因此，使用者可以通過使用各種尺寸的筆刷來增強整個或部分區域。 如果$λ> 0$，則該濾鏡將在筆刷中心附近增加$A$，反之亦然。 圖5(a) 顯示，在應用增強筆刷後，平滑的alpha遮罩被銳化。

Highpass filtering 高通濾波 通道選擇操作會生成平滑的背景或前景，從而導致低頻背景或前景漸變。 因此，可以使用圖像梯度的低頻部分來估算$D$：
$\mathbf{D}=K * \nabla I$

formula

其中$K=N\left(p ; p_{0}, \sigma^{2}\right)$是一個以像素$p_{0}$ 爲中心的高斯濾波器，$*$是卷積算符。 根據等式7， $\nabla \alpha=$ $A(\nabla I-K * \nabla I),$ 其中$(\nabla I-K * \nabla I)$對應於高通濾波器。 圖5(b) 演示了在應用高通濾波後恢復了清晰的alpha遮罩結構。

Diffusion filtering 擴散過濾 在alpha遮罩快速變化的固體物體的邊界上，$A∇I$已經是一個很好的近似值[Mitsunaga et al. 1995]。但是，圖像梯度$∇I$對JPEG圖像中的噪聲和阻擋效果敏感。我們採用各向異性擴散[[Perona and Malik. 1990]擴散圖像。這是一個保留邊緣的模糊過程，可以消除小規模的噪聲。然後，從擴散圖像重新計算圖像梯度。圖5(c) 顯示，在擴散圖像中的噪聲被抑制。

Clone brush 克隆畫筆 在某些困難的情況下，可以使用克隆筆刷將遮罩漸變$A(∇I-D)$從用戶選擇的源直接複製到目標區域。 在 圖5(d) 中，選擇藍色區域中的遮罩漸變以粘貼到紅色區域中。 請注意，在前景和背景幾乎無法區分的情況下，克隆的遮罩漸變會產生“令人信服”的遮罩。

另外兩把刷子也有幫助。 一種是擦除筆刷(Erase brush)，可直接刪除不需要的Alpha遮罩。 另一個是反向畫筆(Inverse brush)，可以反轉不正確的遮罩漸變符號。 我們在 圖5 中演示了遮罩漸變和相應的alpha遮罩中的過濾效果，這在局部處理中具有不同的用途。

---

圖5 Local filtering. The top row shows input images. The second and third rows are approximated matte gradients (x-direction only) before and after applying local filters. The bottom two rows are corresponding alpha mattes computed from local Poisson matting. (a) Boosting brush produces sharper mattes. (b) Highpass filter recovers structures of matte. © Diffusion filter removes noise. (d) Clone brush copies the matte gradient from the blue region and pastes it into the red region.

---

4.2.3 精細化過程

通過上述本地操作，我們允許用戶在選定區域中定義遮罩。根據全局泊松摳圖結果，局部泊松摳圖的過程如下：

1. 應用通道選擇以減少$D$中的誤差。對於固體對象邊界，應用擴散濾波器(diffusion filter)以消除可能的噪聲。
2. 應用高通濾波(highpass filtering)以獲得$D$的近似值。
3. 應用筆刷工具(boosting brush)操作$A$。
4. 如果無法區分漸變，則可能會應用克隆筆刷(clone brush)。

可以在任何步驟中選擇性地應用擦除刷(erase brush)和反向刷(inverse brush)。在每個步驟中，局部泊松摳圖可以非常快速地產生結果。用戶可以觀察到摳圖效果並選擇任何剩餘的不滿意區域以進一步完善。

5.結果與應用

---

圖6 Global Poisson matting results comparison. Two result mattes are shown. For the image in the upper row © [Chuang et al. 2002], comparableresults are generated. In the lower row © Philip Greenspun, our result has less visibel artifacts.

---

我們將泊松消光應用於許多複雜的圖像，以證明我們的方法的有效性，並將其擴展到兩個應用程序。

在給定相同的Trimap的情況下，我們將圖6中的全局Poisson摳圖與Corel Knockout ®的摳圖算法以及我們實現貝葉斯摳圖算法進行了比較。在第一行中，我們使用[Chuang et al. 2002]，其中複雜的頭以半透明的方式存在於前景色和背景色中。我們的方法產生了可比的結果。在第二行中，由於Poisson方程解的局部連續性，我們的方法減少了急劇的遮罩梯度變化。結果，構建了具有較少視覺僞影的更好的遮罩。在圖6所示的640×480像素圖像上，我們的方法使用所示的Trimap分別花費了1.3和1.1秒收斂爲“girl”和“Samoyed dog”圖像；Knockout的花費了0.9和0.8秒，我們對貝葉斯方法的實現花費了28.8和22.7秒。

圖9顯示了使用局部泊松摳圖進行自然圖像摳圖的結果。大多數圖像不僅在前景色和背景色上而且在其漸變色域上都非常複雜。因此，依賴於採樣彩顏色像素的貝葉斯摳圖效果不佳。我們的局部Poisson消光可幫助用戶方便地改善摳圖效果。根據我們的經驗，圖9中處理600×400像素圖像的平均時間少於10分鐘。對於第三行中的“dog”示例，需要完善的局部少於7處。對於第二行和第四行中的圖像，對於各種尺寸，需要完善的局部不超過20個。

通過仔細檢查輸入圖像和摳圖結果，我們發現貝葉斯摳圖在前景和背景顏色相似或它們的顏色變化很大的地方失敗，因此正確的樣本被埋在局部區域中。爲了清楚地看到差異，我們在圖9的第四列中放大了這些有問題的局部區域。

Multi-background 多重背景 我們的方法可以應用於具有多個背景的摳圖，如圖7所示。三角剖分解決方案[Smith and Blinn 1996]具有相似的設置。但是，這需要已知的背景。令$\left\{I_{t}\right\}_{t=1}^{T}$是具有多個不同背景$\left\{B_{t}\right\}_{t=1}^{T}$的相同前景$F$的圖像。沒有有關背景的任何信息，我們將計算平均圖像：
$\bar{I}=\frac{1}{T} \sum_{t}^{T}\left(\alpha F+(1-\alpha) B_{t}\right)=\alpha F+(1-\alpha) \bar{B}$

formula(12) 公式12

其中$\bar{B}=\frac{1}{T} \Sigma_{t}^{T} B_{t}$是平均背景。 因此，對於$\left\{B_{t}\right\}_{t=1}^{T} .$的多有背景，$\bar{B}$ 通常是平滑的圖像。在$\left\{I_{t}\right\}_{t=1}^{T}$中，泊松摳圖在均值圖像中比在任何單個圖像中效果更好。 圖7中顯示了一個示例，其中使用了全局Poisson摳圖，然後是圖像右下部分的局部Poisson摳圖。

---

圖7 Multi-Background. Top row: three input images with different complex backgrounds. Bottom row: the mean of all eight input images, computed alpha matte and composite image using Poisson matting.

---

---

圖8 De-fogging. The de-fogged image is obtained using the boosting brush with several local operations.

---

De-fogging 去霧 [Narasimhan and Nayar 2003]中引入的簡單霧模型也可以表示爲消光方程：
$I=I_{c} \cdot e^{-\beta d}+F o g \cdot\left(1-e^{-\beta d}\right)$

formula(13) 公式13

其中$Fog$是霧的顏色，$I_c$是沒有霧的清晰圖像，$β$是大氣的散射係數，$d$是深度值。 [Narasimhan and Nayar 2003]通過以全局方式手動分配深度，散射係數和霧色信息來恢復清晰圖像$I_c$。 我們提供了一種可以在局部分配信息以產生良好結果的除霧方法。 取公式13的偏導數後，相對於指定深度d，我們獲得$∇I_c=∇I·e^{-βd}$。 我們使用第4.2.2節中提出的增強筆刷在選定區域中局部修改$e^{-βd}$以微調去霧圖像的梯度。 通過求解泊松方程，可以自動無縫地傳播對圖像的任何修改，以生成沒有任何可見邊界的除霧圖像。 一個示例如圖8所示。

6.結論

在本文中，我們提出了一種新的數字摳圖方法，即泊松摳圖。通過求解泊松方程，泊松遮罩可以根據半自動從輸入圖像估計的近似梯度場重建忠實的遮罩。給定使用本地操作的一些提示，泊松摳圖能夠爲許多複雜的圖像產生令人印象深刻的結果，而這些複雜圖像是以前的自然圖像摳圖方法所不具備的。
摳圖問題是約束不足的，本質上是困難的。儘管我們認爲泊松摳圖在此問題上取得了一些重要進展，但仍有一些侷限性需要解決。首先，當前景色和背景色非常相似時，摳圖方程變得不適。在這種情況下，遮罩的基礎結構無法輕鬆地與噪聲，背景或前景區分開。當在整體Poisson遮罩中估計的遮罩梯度大大偏移真實值時，就會出現第二個難題，因此需要處理小的區域以在局部Poisson遮罩中進行局部修正，這會增加用戶互動。最後，當在非常小的區域內（例如，兩個長髮的人像在圖像中明顯重疊時），使粗糙漸變與前景和背景的漸變高度交織在一起時。在這種困難的情況下，有效的用戶交互是一個問題。
將來，我們有興趣將泊松遮罩與貝葉斯方法結合起來，並將我們的工作擴展到視頻遮罩。

Acknowledgements 致謝 我們要感謝匿名審稿人的建設性批評。非常感謝林書豪(Stephen Lin)對手稿的幫助。唐志強的研究得到了中國香港特別行政區研究資助局的部分支持：HKUST6171/03E和AOE/E-01/99。

7.參考文獻

[1].BERMAN,A.,VLAHOS,P.,AND DADOURIAN,A.2000. Comprehensive method for removing from an image the background surrounding a selected object.U.S. Patent 6,134,345.
[2].CHUANG,Y.-Y,CURLESS,B.,SALESIN,D.H.,AND SZELISKI,R.2001.A bayesian approach to digital matting. In Proceedings of CVPR2001,Vol. II,264-271.
[3].CHUANG,Y.-Y.,AGARWALA,A.,CURLESS,B.,SALESIN,D.H.,AND SZELISKI,R.2002. Video matting of complex scenes. In Proceedings ofACM SIGGRAPH 2002,243-248.
[4].ELDER,J.H.,AND GOLDBERG,R.M.2001. Image editing in the contour domain. IEEE Trans. Pattern Anal. Machine Intell.23(3):291-296.
[5].FATTAL,R.,LISCHINSKI,D.,AND WERMAN,M.2002. Gradient domain high dynamic range compression. In Proceedings of ACM SIGGRAPH 2002,249-256.
[6].FINLAYSON,G.D.,HORDLEY,S.D.,AND DREW,M.S.2002. Removing shadows from images. In Proceedings of ECCV 2002,Vol.I,823-8.36.
[7].HILLMAN,P.,HANNAH,J.,AND RENSHAW,D.2001. Alpha channel estimation in high resolution images and image sequences. In Proceedings QfCVPR 2001,Vol.1,1063-1068.
[8].MITSUNAGA,T.,YOKOYAMA,T.,AND TOTSUKA,T.1995. Autokey: Human assisted key extraction. In Proceedings of ACM SIGGRAPH1995,265-272.
[9].NARASIMHAN,S.,AND NAYAR,S.2003.Interactive deweathering of an image using physical models.IEEE Workshop on Color and Photometric Methods in Computer Vision 2003.
[10].P.GILL,W.M.,AND WRIGHT,M.1981.Practical optimization.Academic Press,Boston,MA,USA.
[11].PEREZ,P.,GANGNET,M.,AND BLAKE,A.2003.Poisson image editing.In Proceedings ofACM SIGGRAPH 2003,313-318.
[12].PERONA,P.,AND MALIK.,J.1990.Scale space and edge detection using anisotropic diffusion.IEEE Trans.Pattern Anal.Machine Intell.12（7）：629-639.
[13].QIAN,R.J.,AND SEZAN,M.I.1999.Video background replacementwithout a blue screen.In Proceedings ofICIP 1999,143-146.
[14].RuzoN,M.A.,AND ToMASI,C.2000.Alpha estimation in natural images.In Proceedings of CVPR 2000,18-25.
[15].SMITH,A.R.,AND BLINN,J.F.1996.Blue screen matting.In Proceedings of ACM SIGGRAPH 1996,259-268.