【论文笔记】Joint Unsupervised Learning of Deep Representations and Image Clusters

Joint Unsupervised Learning of Deep Representations and Image Clusters

Abstract

提出了JULE model for deep representations and image clusters共同学习的framework。

在这个framework中，在聚类算法中连续地处理被处理成重复的步骤。 并再连接一个CNN

（核心原句：In our framework, successive operations in a clustering algorithm are expressed as steps in a recurrent process, stacked on top of representations output by a Convolutional Neural Network (CNN))

看完paper应该就懂了。

Introduction

给定$n_s$个images $\boldsymbol{I} = \{I_1, ..., I_{n_s}\}$, 全局优化目标应为：
$\underset{\boldsymbol{y}, \boldsymbol{\theta}}{\operatorname{argmin}} \mathcal{L}(\boldsymbol{y}, \boldsymbol{\theta} \mid \boldsymbol{I}) \tag{1}$
其中：

• $\mathcal{L}$是损失函数
• $\boldsymbol{y}$ 是所有image中cluster 的id (笔者：既然是unsupervised，为什么说会有cluster ids？如果只是image id，那上面$\boldsymbol{I}$已经说明了这一问题)
• $\boldsymbol{\theta}$是可训练参数

优化过程可以被分为如下两步：
$\underset{\boldsymbol{y}}{\operatorname{argmin}} \mathcal{L}(\boldsymbol{y} \mid \boldsymbol{I}, \boldsymbol{\theta}) \tag{2a}$

$\underset{\boldsymbol{\theta}}{\operatorname{argmin}} \mathcal{L}(\boldsymbol{\theta} \mid \boldsymbol{I}, \boldsymbol{y}) \tag{2b}$

很自然的 公式2a是一个简单的聚类问题，公式2b是一个有监督的表征学习问题。

因此本文提出一种两种公式之间的选项。通过表征学习优化聚类id，通过聚类id来优化参数。（怎么感觉又是self-supervised的那一套。

使用HAC聚类的原因：

1. 从过度聚类开始（也就是每一个sample都代表一个聚类类别。 这在表征学习不好的情况下是比较良好的—这个时候CNN还没有被良好的学习。错怪他了，他是重新训练一个CNN的，不是用pretrained)
2. 随着更好的表征学习，后续聚类过程中的可以合并。
3. HAC是一个迭代循环的过程，很好的适应迭代循环的框架。

基本流程就是这样，simple but effective end to end learning framework.

重点是：

• end to end
• Unlabeled data

具体流程就是这样，可以看图中$t$轮， 合并了红色和黄色的image。然后bp进行优化CNN，然后进入下一个step合并了两个绿色和一个粉红色，然后在bp优化CNN。。这个过程迭代进行。就做完了。

很容易懂的一个workflow。