顯著目標檢測論文(二) —— FASA: Fast, Accurate, and Size-Aware Salient Object Detection (2014)

1. 前言

當初讀這篇論文的時候, 第一感覺是論文寫的很難讀懂, 倒不是說算法思想層面的東西難懂, 而是英文語法層面很難準確理解一句話的含義. 多次反覆閱讀後感覺理解的更加深入了, 因此在這裏對論文思路做個總結.

本文的目標是清楚地描述論文的核心思想, 但又不陷入翻譯論文的套路. 如有一些不合適的觀點, 還請各位批評指正.

言歸正傳. 按照作者的說法, 這篇論文有兩個"亮點":

(1) 實現了顯著性目標的實時檢測;

(2) 得到了顯著性目標的尺寸大小和中心位置;

其實, 第二點並不能稱之爲亮點, 比如對於程明明老師的 RC 算法 最終得到的 mask 圖, 對該圖中的前景像素區域計算其邊界框和中心, 也可以得到顯著目標的尺寸大小和中心位置. 只不過, 本論文中不是採用這種方法而已.

論文計算顯著性值的步驟如下(具體過程如下圖所示):

• 量化圖像以減少顏色數目, 之後所有的計算都是在量化後的顏色上進行;
• 計算每個顏色的 Spatial Center 和 Spatial Variance;
• 根據 MSRA-1000 數據集統計數據計算顯著性目標的概率;
• 計算顯著性目標的全局對比度;
• 結合顯著性目標的概率值和全局對比度得到最終的顯著性值.

---

2. 算法流程細節

---

2.1 量化階段

通俗的講, 量化就是減少原圖中顏色的個數.

量化階段的思路和程明明老師在論文 Global Contrast based Salient Region Detection 中使用的量化方法是一樣的, 在我的博客: RGB 空間顏色量化 - 減少顏色數目 中有詳細的解釋.

本文將原來圖像中每個通道 256 種顏色量化到每個通道 m (文中選擇 m = 8 ) 種顏色. 注意, 本文是在 L_a_b 空間對顏色量化的. 量化完畢之後, 留下那些可以覆蓋全圖 95% 的圖像像素, 丟棄剩餘的顏色值, 這樣可以進一步的減少顏色個數. 因爲有可能出現很多在圖像中佔用極少個像素的顏色, 移除這樣的顏色對原圖的視覺效果幾乎沒有什麼影響.

可能不太瞭解圖像處理的同學會問: 爲什麼要量化處理呢?

對於 256 (0 - 255) 種顏色的三通道彩色圖像, 其顏色直方圖中 color bins 的數量爲 $256^3$ ≈ 16 萬, 即原圖中就包含着大約 16 萬種顏色, 這對於後續的基於顏色的圖像處理算法而言有很大的計算量, 因此, 減少顏色數量就顯得非常必要了.

2.2. Spatial Center 和 Spatial Variance

總的來說, 這兩個是論文中的核心參數, 關係到後邊計算顯著性目標的概率.

論文中先給出了未量化之前的計算公式, 如下:

$\tag{1} m_x(\mathbf{p}_i) = \frac{\sum_{j = 1}^{N}\omega^c(C_i, C_j) \cdot x_j} {\sum_{j = 1}^{N}\omega^c(C_i, C_j) }$

$\tag{2} V_x(\mathbf{p}_i) = \frac{\sum_{j = 1}^{N}\omega^c(C_i, C_j) \cdot \left(x_j - m_x(\mathbf{p}_i)\right)^2} {\sum_{j = 1}^{N}\omega^c(C_i, C_j) }$

其中,

• $\omega^c(C_i, C_j) = e^{ - \frac{\parallel C_i - C_j \parallel^2}{2\sigma_c^2}}$, 即兩個顏色越接近, 該值越接近於 1, 兩個顏色差別越大, 該值越接近於 0;
• N 爲所有的顏色個數;
• $\mathbf{p}_i$ 爲像素點 p 的圖像座標 $(x_i, x_j)$.

$m_y(\mathbf{p}_i)$, $V_y(\mathbf{p}_i)$ 的計算方法類似.

那怎麼直觀地理解這兩個物理量的含義呢?

$m_x(\mathbf{p}_i), m_y(\mathbf{p}_i)$ 表示和像素點 p 顏色相同的該種顏色集合的質心, 即該種顏色集合的空間中心座標. $V_x(\mathbf{p}_i), V_y(\mathbf{p}_i)$ 表示和像素點 p 顏色相同的該種顏色集合在整個圖像位置空間上的分佈情況, 即表示這種顏色集合的大小. 論文在計算最終的顯著性值時, 這個物理量是最核心的.

然後論文將上述公式擴展到了量化之後的情形中, 如下:

$\tag{3} m^{'}_{xk} = \frac{\sum_{j = 1}^{K}\omega^c(Q_k, Q_j) \cdot \sum_{\forall x_i|C_i \to Q_j} x_i} { \sum_{j = 1}^{K}\omega^c(Q_k, Q_j) }$

$\tag{4} V^{'}_{xk} = \frac{\sum_{j = 1}^{K}\omega^c(Q_k, Q_j) \cdot \sum_{\forall x_i|C_i \to Q_j} (x_i - m^{';}_{xk} )^2 } { \sum_{j = 1}^{K}\omega^c(Q_k, Q_j) }$

其中,

• $C_i \to Q_k$ 表示像素點 p 的顏色 $C_i$ 落在了量化之後的第 k 個 color bins 中.

$m^{'}_{yk}$ 和 $V^{'}_{yk}$ 的計算方法類似.

2.3. 顯著性目標的概率

論文根據 MARA-1000 數據集, 統計得到了一個聯合高斯模型, 其均值向量和協方差矩陣如下:

$\tag{5} \mu = \begin{bmatrix} 0.5555 \\ 0.6449 \\ 0.0002 \\ 0.0063 \\ \end{bmatrix}, \quad \Sigma = \begin{bmatrix} 43.3777& 1.7633& -0.4059& 1.0997\\ 1.7633& 40.7221& -0.0165& 0.0447\\ -0.4059& -0.0165& 87.0455& -3.2744\\ 1.0997& 0.0447& -3.2744& 125.1503\\ \end{bmatrix}$

計算像素顯著性值概率的公式如下:

$\tag{6} P(\mathbf{p}_i) = \frac{1}{(2 \pi)^2\sqrt{|\Sigma|}} exp\left({-\frac{( \mathbf{g}_i - \mu)^T \Sigma^{-1} (\mathbf{g}_i - \mu)}{2}}\right)$

其中,

$\tag{7} \mathbf{g}_i = \begin{bmatrix} \frac{\sqrt{12 \cdot V_x(\mathbf{p}_i)}}{n_w} \quad \frac{\sqrt{12 \cdot V_y(\mathbf{p}_i)}}{n_y} \quad \frac{ m_x(\mathbf{p}_i) - n_w/2}{n_w} \quad \frac{ m_y(\mathbf{p}_i) - n_h/2}{n_h} \end{bmatrix}^T$

2.4. 顯著性目標的全局對比度

全局對比度的計算很簡單, 公式如下:

$\tag{8}R(\mathbf{p}_i) = \sum_{j = 1}^{K} h_j \cdot \parallel \mathbf{Q}_k -\mathbf{Q}_j \parallel _2, \quad \forall \mathbf{p}_i| \mathbf{C}_i \to \mathbf{Q}_k$

2.5. 最終的顯著性值

結合顯著值概率和全局對比度即得到最終的顯著性值:

$\tag{9}S(\mathbf{p}_i) = \frac{\sum_{j = 1}^{K} \omega^c(\mathbf{Q}_k, \mathbf{Q}_j)\cdot P(\mathbf{p}_i) \cdot R(\mathbf{p}_i) }{\sum_{j = 1}^{K} \omega^c(\mathbf{Q}_k, \mathbf{Q}_j)}, \quad \forall \mathbf{p}_i| \mathbf{C}_i \to \mathbf{Q}_k$

---

3. 總結

---

這篇論文提出算法的實時性的工作主要在:

• 顏色量化的程度比較大;
• 使用概率模型計算顯著值概率;

論文亮點:

論文利用每種顏色集合的質心距離 $m_x(\mathbf{p}_i), m_y(\mathbf{p}_i)$ 及其位置空間分佈 $V_x(\mathbf{p}_i), V_y(\mathbf{p}_i)$ 建立了一個多變量高斯函數的聯合分佈模型, 通過這個模型來考慮顏色集合的位置和大小對最終顯著性值所做的貢獻.