【論文筆記】

原創 jiusake 2019-06-26 10:20

Manifold-Based Visual Object Counting

(從我的github上覆制來的，CSDN的格式實在太讓人暴躁了，一些格式實在懶得調了大家隨便看看吧)

 一、基於流形的視覺目標計數

1. 提出了一種基於流形的視覺目標計數方法；

2. 通過正則化和非線性映射來考慮非負性和稀疏表示，來優化局部幾何的特徵；

3. 用局部模式學習和分層搜索被用來進一步提高所提出的方法及其變體的計算效率。

 

 

 

二、方法概括

> figure1 提出的基於流形的視覺對象計數方法。橙色框內爲測試部分（step 4）。紅色爲訓練部分（step 1-3）。

 

1. 基於訓練樣本的點標註生成密度圖作爲groundtruth，並從中訓練圖像中提取圖像patch,從密度圖中提取密度patch；

2. 對提取的patch集進行特徵工程；

3. 對patch集做聚類，並生成層級架構；

4. 對patch集作密度圖重構，目標爲得到最優權重，以生成測試集的密度圖。


 

三、方法詳細流程

 

1. 生成訓練集的密度圖

> figure2. 行人點標註和對應的密度圖

 

- 密度圖可以用2D高斯核函數計算：

$$\pmb{I}_d^i(z) = \sum_{U\in{\pmb{U}^i}}\mathcal{N}(z; U,\sigma^2\pmb{1}_{2\times2})$$              (2)

其中$\pmb{I}_d$是$\pmb{I}$的密度圖，即ground truth，$z$ 是圖像 $\pmb{I}^i$ 的像素索引，$i$是圖像索引，$U$ 是標註的點的座標，$\pmb{U}^i$是 $\pmb{I}^i$ 中所有點的座標集。$\mathcal{N}$是歸一化2D高斯核函數，$\sigma^2$ 是用於平滑局部分佈的 $\mathcal{N}$ 的方差，並且根據對象的大小(大約是對象大小的1/2)來設置。

- 而目標計數可以計算爲密度圖上所有點之和：

$$\pmb{I}_d^i(z) = \sum_{z\in{\pmb{I}_d^i}} \pmb{I}_d^i(z)$$                (3)

 

2. 特徵工程

- 爲了增加特徵空間中的採樣密度和減少計算負擔，採用主成分分析法（PCA）對patch形式的原始數據特徵進行集中、歸一化和降維。


 

3. 構建搜索架構

- 爲了降低算法的時間複雜度，採用分層搜索結構，該結構的節點是通過聚類產生的。

- 結構分爲兩層，第一層包含$\sqrt{K}$個節點，代表圖像patch集$\pmb{Y}$用K-means生成的$\sqrt{K}$個聚類的質心，第二層中，第一層的每個節點包含$\sqrt{K}$個子節點，代表$\pmb{Y}$用K-means生成的$\sqrt{K}$個聚類的質心,並分配給其特徵節點。

- 也就是說，先找到與樣本patch $\pmb{x}$ 相似度相近的某個聚類，在根據這個聚類找到與這個聚類相似的$\sqrt{K}$個聚類，這$\sqrt{K}$個聚類即爲樣本patch $\pmb{x}$ 的近鄰集合$\pmb{D}$。

 

4. 密度圖重構

- 採用基於流形假設的非參數方法來學習權重$\pmb{w}$，再用$\pmb{w}$來計算密度圖$\pmb{x}_d$

- $$\pmb{w}^* = arg\,\min_{\pmb{w}} \mathcal{J}(\pmb{w|x,D})~~~~~~s.t. \pmb{1^Tw}=1$$                (4)

$\mathcal{J}(\pmb{w|x,D})$是損失函數，對$\pmb{w}$做優化

- 那麼$\pmb{x}_d$可以計算爲：$$\pmb{x}_d\cong \pmb{D}_d\pmb{w^*}$$           (5)

 

四、M-VOC 算法

- 目標是最小化權重$\pmb{w}$

$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2 ~~~~~~~s.t. \pmb{1^Tw}=1\tag{6}$$             (6)

- 如果$\pmb{D}^T\pmb{D}$是**正定**的，那麼$\pmb{w}$可以求解爲：

$$\pmb{w}^*=\frac{1}{Z}(\pmb{D}^T\pmb{D})^{-1}\pmb{D}^T\pmb{x} $$                 (7)

$Z$ 是歸一化因子。

公式（7）的方法被命名爲M-VOC(LS)。

- 若圖像塊維度$q_1>T$,那麼$\pmb{D}^T\pmb{D}$不是正定的，則上述方法不適用，於是在這裏引入正則化項。

1）energy：爲了產生更穩定的局部權重，$\pmb{w}$ 會受到其energy的限制。

2）稀疏性：M-VOC受到patch的鄰域大小限制，若T太小，則領域不足以表徵局部幾何形狀，相反，則會傾向不同局部幾何形狀的鄰域。這裏引入局部約束和稀疏約束來避免T的選擇。

3）非負性：對$\pmb{w}$負約束可以使相似的圖像塊和圖像密度凸組合。

4）局部性:當選取鄰域重構$\pmb{x}$，局部性已經被隱含地假定。

- 基於以上四個約束，$\pmb{w}$的優化公式可以寫作：

$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_1||\pmb{w}||_2^2+\lambda_2||\pmb{w}||_1+\lambda_3(\pmb{w}-0)$$  (8)

$$s.t. \pmb{1^Tw}=1~~and~~\lambda_1,\lambda_2,\lambda_3\ge0 \tag{8}$$

第二項以低能量強制$\pmb{w}$，而第三項強制稀疏性以選擇潛在候選。第四項確保$\pmb{w}$是正的。

- 爲了從(8)中獲得更多的解，通過設置不同的$\lambda_1,\lambda_2,\lambda_3$，可以獲得如下三個變量:

1）M-VOC(e)

令$\lambda_2=0,\lambda_3=0$

$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_1||\pmb{w}||_2^2$$      (9)

$$s.t. \pmb{1^Tw}=1~~and~~\lambda_1\ge0 \tag{9}$$

$q_1>T$，公式（9）可以優化爲：

$$\pmb{w}^*=\frac{1}{Z}(\pmb{D}^T\pmb{D}+\lambda_1\pmb{I})^{-1}\pmb{D}^T\pmb{x} $$            (10)

2）M-VOC(s)

令$\lambda_1=0,\lambda_3=0$

$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_2||\pmb{w}||_1$$             (11)

$$s.t. \pmb{1^Tw}=1~~and~~\lambda_2\ge0 \tag{11}$$

可用Lasso方法優化

3） M-VOC(nn)

令$\lambda_1=0,\lambda_2=0$

$$\pmb{w}^* = arg\,\min_{\pmb{w}}||\pmb{x}-\pmb{Dw}||_2^2+\lambda_2||\pmb{w}||_1$$          (12)

$$s.t. \pmb{1^Tw}=1~~and~~\lambda_2\ge0 \tag{12}$$

可用二次規劃優化。

 

## 五、KM-VOC 算法

- 圖像塊包含許多變化，如形狀和紋理，並且如以上部分所討論的線性表示可能無法完全捕捉它們潛在的內在關係。本文首先將非線性映射引入到模型的局部幾何建模中，然後應用**核方法**使其易於處理。

- 使用非線性映射，則 $\pmb{w}^*$變爲：

$$ \pmb{w}^* = arg\,\min_{\pmb{w}}||\phi({\pmb{x}})-\pmb{\phi{(D)}w}||_2^2+\lambda||\pmb{w}||_2^2$$       (14)

$$s.t. \pmb{1^Tw}=1~~and~~\lambda\ge0 \tag{14}$$

則閉式解爲：

$$\pmb{w}^*=\frac{1}{Z}(\phi(\pmb{D})^T\phi(\pmb{D})+\lambda\pmb{I})^{-1}\phi(\pmb{D})^T\phi(\pmb{x}) $$          (15)

- 用核函數表示非線性映射，則公式（15）可以表示爲

$$\pmb{w}^*=\frac{1}{Z}(\pmb{G}+\lambda\pmb{I})^{-1}k(\pmb{D,x}) $$             (16)

$G$是GRAM矩陣，$G_{i,j}=\phi(\pmb{y}^t_i)^T\phi(\pmb{y}^t_j)$, $k(\pmb{D,x})$是核。

- 那麼，$\pmb{x}_d$可以被重構爲： $$ \pmb{x}_d \cong \pmb{E}k(\pmb{D,x}) $$ 其中$\pmb{E}=\pmb{D_d}(\pmb{G}+\lambda\pmb{I})^{-1}$,爲嵌入矩陣

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

論文筆記之Structural Deep Network Embedding

本論文是kdd2016的一篇論文 主要的目的也是做node embedding。 主要的想法就是通過deep autoencode對node進行embedding，不過在在embedding的時候不僅考慮了1-hop的信息而且考慮

BVL10101111 2020-07-08 10:23:34

論文筆記之Fully Convolutional Networks for Semantic Segmentation

最近了解到了Image Semantic Segmentation方面的知識，在此做一個記錄。 這篇論文是2015cvpr的best paper，可以說是在cnn上做圖像語義分割的開山之作。 1.語義分割定義： 語義就是指物體的

BVL10101111 2020-07-08 10:23:34

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications論文閱讀筆記

論文地址：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications MobileNet是爲移動和嵌入式設備提出的輕量級網絡

柴布奇诺 2020-07-07 12:29:52

【Paper Note】Representation Learning-Assisted Click-Through Rate Prediction (DeepMCP) 論文詳解

https://arxiv.org/pdf/1906.04365.pdf 背景 以往的點擊率預估模型像FM系列、WDN等模型，都只是考慮特徵和ctr之間的聯繫，阿里的這篇論文，提出了DeepMCP模型，不僅考慮了特徵和ctr之間

roguesir 2020-07-07 01:30:56

論文筆記——Federated learning framework for mobile edge computing networks

論文筆記——Federated learning framework for mobile edge computing networks 本論文着重研究的是聯邦學習應用於需求預測類問題。 一般來說，FL存在的一些問題： 非獨立同分布數據

GJ_007 2020-07-06 10:38:33

WWW19 A First Look at Deep Learning Apps on Smartphones

這篇文章有點像行業調查，對目前市場上APP中DL的各個特性進行統計，調研時間從2018.06 ～ 2018.09 大約三個月的時間，作者也說了後續會繼續跟進。 作者製作了一個可以嗅探Android apk中DL的軟件，同時對APP

phdsky 2020-07-06 03:56:57

【論文筆記-AAAI2020】Overcoming Language Priors in VQA via Decomposed Linguistic Representations

這篇博客會大概講解一下論文的工作，以及一些VQA 領域的近況，也會涉及到一些自己的見解。一些容易誤解的地方，我會盡量的表達細緻，方便讀者理解。如果需要深入研究，推薦自行再品讀該論文：https://jingchenchen.git

BierOne 2020-07-05 19:21:39

[NIPS 2019] Multi-Agent Common Knowledge Reinforcement Learning筆記

文章目錄前言IntroductionProblem settingCommon knowledgeLearning under common knowledge (LuCK)Field-of-view common knowled

强殖装甲凯普 2020-07-05 06:05:25

【論文筆記】TensorFlow深度神經網絡提前穩定特徵重要性

論文地址：Early Stabilizing Feature Importance for TensorFlow Deep Neural Networks 博客裏只給出一下論文中介紹的方法這一章節，論文中前面介紹了神經網絡中特徵

forever_24 2020-07-05 01:13:40

【論文筆記】CUSBoost：基於聚類的提升下采樣的非平衡數據分類

原論文地址：CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced Classification Abstract 普通的機器學習方法，對於非平衡數據

forever_24 2020-07-05 01:13:30

【論文筆記】Deep Survival: A Deep Cox Proportional Hazards Network

相關資源 原論文地址：here 論文中使用的深度生存分析庫：DeepSurv，是基於Theano 和 Lasagne庫實現的，支持訓練網絡模型，預測等功能。 考慮到DeepSurv庫中存在着一些錯誤以及未實現的功能，博主使用目前主

forever_24 2020-07-05 01:13:29

論文筆記2：A Single Model CNN for Hyperspectral Image Denoising

love_pegy 2020-07-04 23:28:40

unsupervised image segmentation by backpropagation-論文筆記

這是一個有趣的非監督分割方法 代碼短小精悍 直接說算法 1.首先對原圖進行超像素分割。 2.使用卷積網絡進行正向傳播。網絡輸出100channel，輸出和輸入大小相同。也就是說，每個輸入像素對應輸出100個像素。這10

sunyao_123 2020-07-04 18:40:16

Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning-筆記

  通過Active Learning（AL）算法，找到最小的需要標註的數據進行訓練，來標記未標記的數據。   AL必須滿需下邊的需求才能作爲crowd-sourced database的默認的最優策略： Generality

sunyao_123 2020-07-04 18:40:16

Bootstrap-Scaling Up Crowd-Sourcing to Very Large Datasets: A Case for Active Learning

論文Scaling Up Crowd-Sourcing to Very Large Datasets A Case for Active Learning對bootstrap做了介紹。 原書（B. Efron and R. J.

sunyao_123 2020-07-04 18:40:16