显著目标检测论文(二) —— FASA: Fast, Accurate, and Size-Aware Salient Object Detection (2014)

1. 前言

当初读这篇论文的时候, 第一感觉是论文写的很难读懂, 倒不是说算法思想层面的东西难懂, 而是英文语法层面很难准确理解一句话的含义. 多次反复阅读后感觉理解的更加深入了, 因此在这里对论文思路做个总结.

本文的目标是清楚地描述论文的核心思想, 但又不陷入翻译论文的套路. 如有一些不合适的观点, 还请各位批评指正.

言归正传. 按照作者的说法, 这篇论文有两个"亮点":

(1) 实现了显著性目标的实时检测;

(2) 得到了显著性目标的尺寸大小和中心位置;

其实, 第二点并不能称之为亮点, 比如对于程明明老师的 RC 算法 最终得到的 mask 图, 对该图中的前景像素区域计算其边界框和中心, 也可以得到显著目标的尺寸大小和中心位置. 只不过, 本论文中不是采用这种方法而已.

论文计算显著性值的步骤如下(具体过程如下图所示):

• 量化图像以减少颜色数目, 之后所有的计算都是在量化后的颜色上进行;
• 计算每个颜色的 Spatial Center 和 Spatial Variance;
• 根据 MSRA-1000 数据集统计数据计算显著性目标的概率;
• 计算显著性目标的全局对比度;
• 结合显著性目标的概率值和全局对比度得到最终的显著性值.

---

2. 算法流程细节

---

2.1 量化阶段

通俗的讲, 量化就是减少原图中颜色的个数.

量化阶段的思路和程明明老师在论文 Global Contrast based Salient Region Detection 中使用的量化方法是一样的, 在我的博客: RGB 空间颜色量化 - 减少颜色数目 中有详细的解释.

本文将原来图像中每个通道 256 种颜色量化到每个通道 m (文中选择 m = 8 ) 种颜色. 注意, 本文是在 L_a_b 空间对颜色量化的. 量化完毕之后, 留下那些可以覆盖全图 95% 的图像像素, 丢弃剩余的颜色值, 这样可以进一步的减少颜色个数. 因为有可能出现很多在图像中占用极少个像素的颜色, 移除这样的颜色对原图的视觉效果几乎没有什么影响.

可能不太了解图像处理的同学会问: 为什么要量化处理呢?

对于 256 (0 - 255) 种颜色的三通道彩色图像, 其颜色直方图中 color bins 的数量为 $256^3$ ≈ 16 万, 即原图中就包含着大约 16 万种颜色, 这对于后续的基于颜色的图像处理算法而言有很大的计算量, 因此, 减少颜色数量就显得非常必要了.

2.2. Spatial Center 和 Spatial Variance

总的来说, 这两个是论文中的核心参数, 关系到后边计算显著性目标的概率.

论文中先给出了未量化之前的计算公式, 如下:

$\tag{1} m_x(\mathbf{p}_i) = \frac{\sum_{j = 1}^{N}\omega^c(C_i, C_j) \cdot x_j} {\sum_{j = 1}^{N}\omega^c(C_i, C_j) }$

$\tag{2} V_x(\mathbf{p}_i) = \frac{\sum_{j = 1}^{N}\omega^c(C_i, C_j) \cdot \left(x_j - m_x(\mathbf{p}_i)\right)^2} {\sum_{j = 1}^{N}\omega^c(C_i, C_j) }$

其中,

• $\omega^c(C_i, C_j) = e^{ - \frac{\parallel C_i - C_j \parallel^2}{2\sigma_c^2}}$, 即两个颜色越接近, 该值越接近于 1, 两个颜色差别越大, 该值越接近于 0;
• N 为所有的颜色个数;
• $\mathbf{p}_i$ 为像素点 p 的图像座标 $(x_i, x_j)$.

$m_y(\mathbf{p}_i)$, $V_y(\mathbf{p}_i)$ 的计算方法类似.

那怎么直观地理解这两个物理量的含义呢?

$m_x(\mathbf{p}_i), m_y(\mathbf{p}_i)$ 表示和像素点 p 颜色相同的该种颜色集合的质心, 即该种颜色集合的空间中心座标. $V_x(\mathbf{p}_i), V_y(\mathbf{p}_i)$ 表示和像素点 p 颜色相同的该种颜色集合在整个图像位置空间上的分布情况, 即表示这种颜色集合的大小. 论文在计算最终的显著性值时, 这个物理量是最核心的.

然后论文将上述公式扩展到了量化之后的情形中, 如下:

$\tag{3} m^{'}_{xk} = \frac{\sum_{j = 1}^{K}\omega^c(Q_k, Q_j) \cdot \sum_{\forall x_i|C_i \to Q_j} x_i} { \sum_{j = 1}^{K}\omega^c(Q_k, Q_j) }$

$\tag{4} V^{'}_{xk} = \frac{\sum_{j = 1}^{K}\omega^c(Q_k, Q_j) \cdot \sum_{\forall x_i|C_i \to Q_j} (x_i - m^{';}_{xk} )^2 } { \sum_{j = 1}^{K}\omega^c(Q_k, Q_j) }$

其中,

• $C_i \to Q_k$ 表示像素点 p 的颜色 $C_i$ 落在了量化之后的第 k 个 color bins 中.

$m^{'}_{yk}$ 和 $V^{'}_{yk}$ 的计算方法类似.

2.3. 显著性目标的概率

论文根据 MARA-1000 数据集, 统计得到了一个联合高斯模型, 其均值向量和协方差矩阵如下:

$\tag{5} \mu = \begin{bmatrix} 0.5555 \\ 0.6449 \\ 0.0002 \\ 0.0063 \\ \end{bmatrix}, \quad \Sigma = \begin{bmatrix} 43.3777& 1.7633& -0.4059& 1.0997\\ 1.7633& 40.7221& -0.0165& 0.0447\\ -0.4059& -0.0165& 87.0455& -3.2744\\ 1.0997& 0.0447& -3.2744& 125.1503\\ \end{bmatrix}$

计算像素显著性值概率的公式如下:

$\tag{6} P(\mathbf{p}_i) = \frac{1}{(2 \pi)^2\sqrt{|\Sigma|}} exp\left({-\frac{( \mathbf{g}_i - \mu)^T \Sigma^{-1} (\mathbf{g}_i - \mu)}{2}}\right)$

其中,

$\tag{7} \mathbf{g}_i = \begin{bmatrix} \frac{\sqrt{12 \cdot V_x(\mathbf{p}_i)}}{n_w} \quad \frac{\sqrt{12 \cdot V_y(\mathbf{p}_i)}}{n_y} \quad \frac{ m_x(\mathbf{p}_i) - n_w/2}{n_w} \quad \frac{ m_y(\mathbf{p}_i) - n_h/2}{n_h} \end{bmatrix}^T$

2.4. 显著性目标的全局对比度

全局对比度的计算很简单, 公式如下:

$\tag{8}R(\mathbf{p}_i) = \sum_{j = 1}^{K} h_j \cdot \parallel \mathbf{Q}_k -\mathbf{Q}_j \parallel _2, \quad \forall \mathbf{p}_i| \mathbf{C}_i \to \mathbf{Q}_k$

2.5. 最终的显著性值

结合显著值概率和全局对比度即得到最终的显著性值:

$\tag{9}S(\mathbf{p}_i) = \frac{\sum_{j = 1}^{K} \omega^c(\mathbf{Q}_k, \mathbf{Q}_j)\cdot P(\mathbf{p}_i) \cdot R(\mathbf{p}_i) }{\sum_{j = 1}^{K} \omega^c(\mathbf{Q}_k, \mathbf{Q}_j)}, \quad \forall \mathbf{p}_i| \mathbf{C}_i \to \mathbf{Q}_k$

---

3. 总结

---

这篇论文提出算法的实时性的工作主要在:

• 颜色量化的程度比较大;
• 使用概率模型计算显著值概率;

论文亮点:

论文利用每种颜色集合的质心距离 $m_x(\mathbf{p}_i), m_y(\mathbf{p}_i)$ 及其位置空间分布 $V_x(\mathbf{p}_i), V_y(\mathbf{p}_i)$ 建立了一个多变量高斯函数的联合分布模型, 通过这个模型来考虑颜色集合的位置和大小对最终显著性值所做的贡献.