【論文筆記】Manifold-Based Visual Object Counting

一、基於流形的視覺目標計數

1. 提出了一種基於流形的視覺目標計數方法；
2. 通過正則化和非線性映射來考慮非負性和稀疏表示，來優化局部幾何的特徵；
3. 用局部模式學習和分層搜索被用來進一步提高所提出的方法及其變體的計算效率。

二、方法概括

figure1 提出的基於流形的視覺對象計數方法。橙色框內爲測試部分（step 4）。紅色爲訓練部分（step 1-3）。

1. 基於訓練樣本的點標註生成密度圖作爲groundtruth，並從中訓練圖像中提取圖像patch,從密度圖中提取密度patch；
2. 對提取的patch集進行特徵工程；
3. 對patch集做聚類，並生成層級架構；
4. 對patch集作密度圖重構，目標爲得到最優權重，以生成測試集的密度圖。

三、流形假設

本文提出了一種流形假設：相似的圖像patch其密度圖也相似，即patch和其密度圖是共享相似局部幾何的兩種流形。那麼，就可以從相似的圖像patch及其密度圖推測出未知圖像的密度圖。那麼，圖像patch $\pmb{x}$ 和其密度圖 $\pmb{x}_d$就可以表示爲： $$

四、方法詳細流程

1. 生成訓練集的密度圖

figure2. 行人點標註和對應的密度圖

• 密度圖可以用2D高斯核函數計算：$\pmb{I}_d^i(z) = \sum_{U\in{\pmb{U}^i}}\mathcal{N}(z; U,\sigma^2\pmb{1}_{2\times2})$其中$\pmb{I}_d$是$\pmb{I}$的密度圖，即ground truth，$z$ 是圖像 $\pmb{I}^i$ 的像素索引，$i$是圖像索引， $U$ 是標註的點的座標，$\pmb{U}^i$ 是 $\pmb{I}^i$ 中所有點的座標集。$\mathcal{N}$是歸一化2D高斯核函數，$\sigma^2$ 是用於平滑局部分佈的 $\mathcal{N}$ 的方差，並且根據對象的大小(大約是對象大小的1/2)來設置。- 而目標計數可以計算爲密度圖上所有點之和：$\pmb{I}_d^i(z) = \sum_{z\in{\pmb{I}_d^i}} \pmb{I}_d^i(z)$

2. 特徵工程

• 爲了增加特徵空間中的採樣密度和減少計算負擔，採用主成分分析法（PCA） 對patch形式的原始數據特徵進行集中、歸一化和降維。

3. 構建搜索架構

• 爲了降低算法的時間複雜度，採用分層搜索結構，該結構的節點是通過聚類產生的。- 結構分爲兩層，第一層包含$\sqrt{K}$個節點，代表圖像patch集$\pmb{Y}$用K-means生成的$\sqrt{K}$個聚類的質心，第二層中，第一層的每個節點包含$\sqrt{K}$個子節點，代表$\pmb{Y}$用K-means生成的$\sqrt{K}$個聚類的質心,並分配給其特徵節點。
• 也就是說，先找到與樣本patch $\pmb{x}$ 相似度相近的某個聚類，在根據這個聚類找到與這個聚類相似的$\sqrt{K}$個聚類，這$\sqrt{K}$個聚類即爲樣本patch $\pmb{x}$的近鄰集合$\pmb{D}$。### 4. 密度圖重構- 採用基於流形假設的非參數方法來學習權重$\pmb{w}$，再用$\pmb{w}$來計算密度圖$\pmb{x}_d$- $\pmb{w}^* = arg\,\min_{\pmb{w}} \mathcal{J}(\pmb{w|x,D})~~~~~~s.t. \pmb{1^Tw}=1$$\mathcal{J}(\pmb{w|x,D})$是損失函數，對$\pmb{w}$做優化- 那麼$\pmb{x}_d$可以計算爲：$\pmb{x}_d≌\pmb{D}_d$

四、M-VOC 算法

• 基於流形假設，那麼算法的目標是求最小化權重$\pmb{w}$ $\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2 ~~~~~~~s.t. \pmb{1^Tw}=1\tag{6}$ - 如果$\pmb{D}^T\pmb{D}$是正定的，那麼$\pmb{w}$可以求解爲：$\pmb{w}^*=\frac{1}{Z}(\pmb{D}^T\pmb{D})^{-1}\pmb{D}^T\pmb{x} \tag{7}$ $Z$ 是歸一化因子。 公式（7）的方法被命名爲M-VOC(LS)。
• 若圖像塊維度$q_1>T$,那麼$\pmb{D}^T\pmb{D}$不是正定的，則上述方法不適用，於是在這裏引入正則化項。
  1）energy：爲了產生更穩定的局部權重，$\pmb{w}$會受到其energy的限制。
  2）稀疏性：M-VOC受到patch的鄰域大小限制，若T太小，則領域不足以表徵局部幾何形狀，相反，則會傾向不同局部幾何形狀的鄰域。這裏引入局部約束和稀疏約束來避免T的選擇。
  3）非負性：對$\pmb{w}$負約束可以使相似的圖像塊和圖像密度凸組合。
  4）局部性:當選取鄰域重構$\pmb{x}$，局部性已經被隱含地假定。- 基於以上四個約束，$\pmb{w}$的優化公式可以寫作：$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_1||\pmb{w}||_2^2+\lambda_2||\pmb{w}||_1+\lambda_3(\pmb{w}-0)$ $s.t. \pmb{1^Tw}=1~~and~~\lambda_1,\lambda_2,\lambda_3\ge0 \tag{8}$第二項以低能量強制$\pmb{w}$，而第三項強制稀疏性以選擇潛在候選。第四項確保$\pmb{w}$是正的。- 爲了從(8)中獲得更多的解，通過設置不同的$\lambda_1,\lambda_2,\lambda_3$，可以獲得如下三個變量:
  1）M-VOC(e)令$\lambda_2=0,\lambda_3=0$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_1||\pmb{w}||_2^2$ $s.t. \pmb{1^Tw}=1~~and~~\lambda_1\ge0 \tag{9}$ $q_1>T$，公式（9）可以優化爲：$\pmb{w}^*=\frac{1}{Z}(\pmb{D}^T\pmb{D}+\lambda_1\pmb{I})^{-1}\pmb{D}^T\pmb{x} \tag{10}$2）M-VOC(s)令$\lambda_1=0,\lambda_3=0$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_2||\pmb{w}||_1$ $s.t. \pmb{1^Tw}=1~~and~~\lambda_2\ge0 \tag{11}$可用Lasso方法優化
  3） M-VOC(nn)令$\lambda_1=0,\lambda_2=0$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_2||\pmb{w}||_1$ $s.t. \pmb{1^Tw}=1~~and~~\lambda_2\ge0 \tag{12}$
  可用二次規劃優化。

五、KM-VOC 算法

• 圖像塊包含許多變化，如形狀和紋理，並且如以上部分所討論的線性表示可能無法完全捕捉它們潛在的內在關係。本文首先將非線性映射引入到模型的局部幾何建模中，然後應用核方法使其易於處理。
• 使用非線性映射，則 $\pmb{w}^*$變爲：$\pmb{w}^* = arg\,\min_{\pmb{w}}||\phi({\pmb{x}})-\pmb{\phi{(D)}w}||_2^2+\lambda||\pmb{w}||_2^2$ $s.t. \pmb{1^Tw}=1~~and~~\lambda\ge0 \tag{14}$ 則閉式解爲：$\pmb{w}^*=\frac{1}{Z}(\phi(\pmb{D})^T\phi(\pmb{D})+\lambda\pmb{I})^{-1}\phi(\pmb{D})^T\phi(\pmb{x}) \tag{15}$
• 用核函數表示非線性映射，則公式（15）可以表示爲 $\pmb{w}^*=\frac{1}{Z}(\pmb{G}+\lambda\pmb{I})^{-1}k(\pmb{D,x}) \tag{16}$ $G$是GRAM矩陣，$G_{i,j}=\phi(\pmb{y}^t_i)^T\phi(\pmb{y}^t_j)$, $k(\pmb{D,x})$是核。
• 那麼，$\pmb{x}_d$可以被重構爲： $\pmb{x}_d≌\pmb{E}k(\pmb{D,x}) \tag{17}$ 其中$\pmb{E}=\pmb{D_d}(\pmb{G}+\lambda\pmb{I})^{-1}$,爲嵌入矩陣