【論文筆記】Joint Unsupervised Learning of Deep Representations and Image Clusters

Joint Unsupervised Learning of Deep Representations and Image Clusters

Abstract

提出了JULE model for deep representations and image clusters共同學習的framework。

在這個framework中，在聚類算法中連續地處理被處理成重複的步驟。 並再連接一個CNN

（核心原句：In our framework, successive operations in a clustering algorithm are expressed as steps in a recurrent process, stacked on top of representations output by a Convolutional Neural Network (CNN))

看完paper應該就懂了。

Introduction

給定$n_s$個images $\boldsymbol{I} = \{I_1, ..., I_{n_s}\}$, 全局優化目標應爲：
$\underset{\boldsymbol{y}, \boldsymbol{\theta}}{\operatorname{argmin}} \mathcal{L}(\boldsymbol{y}, \boldsymbol{\theta} \mid \boldsymbol{I}) \tag{1}$
其中：

• $\mathcal{L}$是損失函數
• $\boldsymbol{y}$ 是所有image中cluster 的id (筆者：既然是unsupervised，爲什麼說會有cluster ids？如果只是image id，那上面$\boldsymbol{I}$已經說明了這一問題)
• $\boldsymbol{\theta}$是可訓練參數

優化過程可以被分爲如下兩步：
$\underset{\boldsymbol{y}}{\operatorname{argmin}} \mathcal{L}(\boldsymbol{y} \mid \boldsymbol{I}, \boldsymbol{\theta}) \tag{2a}$

$\underset{\boldsymbol{\theta}}{\operatorname{argmin}} \mathcal{L}(\boldsymbol{\theta} \mid \boldsymbol{I}, \boldsymbol{y}) \tag{2b}$

很自然的 公式2a是一個簡單的聚類問題，公式2b是一個有監督的表徵學習問題。

因此本文提出一種兩種公式之間的選項。通過表徵學習優化聚類id，通過聚類id來優化參數。（怎麼感覺又是self-supervised的那一套。

使用HAC聚類的原因：

1. 從過度聚類開始（也就是每一個sample都代表一個聚類類別。 這在表徵學習不好的情況下是比較良好的—這個時候CNN還沒有被良好的學習。錯怪他了，他是重新訓練一個CNN的，不是用pretrained)
2. 隨着更好的表徵學習，後續聚類過程中的可以合併。
3. HAC是一個迭代循環的過程，很好的適應迭代循環的框架。

基本流程就是這樣，simple but effective end to end learning framework.

重點是：

• end to end
• Unlabeled data

具體流程就是這樣，可以看圖中$t$輪， 合併了紅色和黃色的image。然後bp進行優化CNN，然後進入下一個step合併了兩個綠色和一個粉紅色，然後在bp優化CNN。。這個過程迭代進行。就做完了。

很容易懂的一個workflow。