論文閱讀 (六)：Scalable Algorithms for Multi-Instance Learning (miVLAD & miFV 2016)

引入

  論文地址：https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/tnnls16miFV.pdf
  論文應用：處理大規模數據。
  論文場景：標準多示例。
  論文方法：

• miVLAD (MIL based on the VLAD representation)
• miFV (MIL based on the Fisher Vector representation)

1 算法描述

  本文的符號系統如下：

符號	含義
$\{ (X_1, y_1), \dots, (X_i, y_i), \dots, (X_{N_B}, y_{N_B}) \}$	數據集
$N_B$	數據集大小
$X_i = \{ \boldsymbol{x}_{i1}, \dots, \boldsymbol{x}_{ij}, \dots, \boldsymbol{x}_{i, n_i} \}$	包
$n_i$	包大小
$y_i \in \mathcal{Y} = \{ -1, +1 \}$	包標籤
$\boldsymbol{x}_{ij} = [x_{ij1}, \dots, x_{ijl}, \dots, x_{ijd}]^T \in \mathcal{X}$	實例
$d$	實例維度
$x_{ijl}$	實例屬性
$N_i = \sum_{i = 1}^{N_B}$	實例總數

1.1 miVLAD

  這個算法的僞代碼和miFV太像了，這裏就說明一下他如何進行codebook (第4步)和映射 (第6步)。

1.1.1 codebook學習

  步驟如下：
  1）使用kMeans找到訓練集中所有實例的$K$個重心：$\mathcal{C} = \{ \boldsymbol{c}_1, \dots, \boldsymbol{c}_k, \dots, \boldsymbol{c}_K \}$，$\mathcal{C}$被稱爲codebook；
  2）將每一個實例$\mathcal{x}_{ij}$分配到最近的重心：$\boldsymbol{c}_k = NN (\mathbf{x}_{ij})$。

  這不就是kmeans嗎。。。

1.1.2 映射

  映射過程如下：
  1）for $i = 1 : K$
  1.1）對於每一個包$X_i$，計算包中的實例$\boldsymbol{x}_i$與$\boldsymbol{c}_k$的差異$\boldsymbol{v}_{ik}$。$\boldsymbol{v}_{ik}$屬性值的計算如下：
$v_{ikl} = \sum_{\boldsymbol{x}_{ij \in \Omega}} x_{ijl} - c_{kl}, \tag{1}$其中$\Omega = \{ \boldsymbol{x_{ij}} | NN (\boldsymbol{x}_{ij}) = \boldsymbol{c}_k \}$，即實例$\boldsymbol{x}_{ij}$是與同一簇的$\boldsymbol{c}_k$進行計算。
  2）$K$個差異組合成一個新的向量。

  舉個例子：
  1）找到了3個重心，如下表：

重心	$c_{k1}$	$c_{k2}$	$c_{k3}$
$\boldsymbol{c}_1$	1	0	0.1
$\boldsymbol{c}_2$	0	1	0
$\boldsymbol{c}_3$	0	0	1

  2）給定包$X_i$：

實例	$x_{ij1}$	$x_{ij2}$	$x_{ij3}$
$\boldsymbol{x}_{i1}$	1.2	0	0
$\boldsymbol{x}_{i2}$	0.9	0	0.1
$\boldsymbol{x}_{i3}$	0	1.1	0
$\boldsymbol{x}_{i4}$	0	0	0.8

  3）由於$\boldsymbol{x}_{i1}$和$\boldsymbol{x}_{i2}$和重心$\boldsymbol{c}_1$爲一類，因此$v_{i10} = (1.2 - 1) + (0.9 - 1) = 0.1$，最終$\boldsymbol{v}_{i1} = [0.1, 0, -0.1]$。
  4）最終一個包可以由以下三個向量表示:

$\boldsymbol{v}_i$	$v_{ik1}$	$v_{ik2}$	$v_{ik3}$
$\boldsymbol{v}_{i1}$	0.1	0	-0.1
$\boldsymbol{v}_{i2}$	0	0.1	0
$\boldsymbol{v}_{i3}$	0	0	-0.2

  5）$\boldsymbol{v}_i$延展成一個$K * d$的向量：
$\boldsymbol{v}_i = [0.1, 0, -0.1, 0, 0.1, 0, 0, 0, -0.2]. \tag{1*}$  6）使用以下公式對$\boldsymbol{v}_i$的每一個值進行處理：
$v_{i \cdot l} = sign(v_{i \cdot l}) \sqrt{| v_{i \cdot l} |}. \tag{2*}$這時將得到：
$\boldsymbol{v}_i= [0.32, 0, -0.32, 0, 0.32, 0, 0, 0, -0.45]. \tag{3*}$  7）對$\boldsymbol{v}_i$進行二範式處理：
$\boldsymbol{v}_i = \frac{\boldsymbol{v}_i}{\| \boldsymbol{v}_i \|_2} \tag{4*}$  8）最終使用以下向量對包$X_i$進行描述：
$\boldsymbol{v}_i= [0.45, 0, -0.45, 0, 0.45, 0, 0, 0, -0.63]. \tag{3*}$

1.2 miFV

  該算法與Scalable Multi-Instance Learning基本一致，不做贅述。

2 實驗

  論文使用到的數據集信息如下：