Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering

0. Write behind

本篇文章也是關於VAE的深度無監督聚類算法VaDE，主要從它的模型、Loss、優化方法去講、最後會簡單提及實驗部分，並且與之前的GMVAE作比較。

1. Abstract

• 提出VaDE模型，它是深度無監督聚類生成模型，結合了VAE和GMM。
• 指出數據的生成過程：
  1.從GMM分佈中選擇一個簇
  2.從這個簇中產生一個隱變量z
  3.解碼該隱變量z生成觀測數據
• 提出用SVGB優化方法
• 實驗效果很好
  

1. Introduction(介紹)

• 這一部分一般是概要性的引出作者提出的模型，我們直接上模型。
• 下面這幅圖描述了VaDE的數據生成過程，在前面介紹過了，這裏是圖形顯示。
• 在這一部分，文中還說到DEC模型的缺陷：DEC模型沒有數據生成的過程，所以不能產生圖片，因爲它使用的是Autoencoder
  
  

2. Related work

• 這一部分主要是寫前人的一些研究工作並說出它們的不足，最後再引出自己的模型，並說說自己模型的優點，不再介紹。

3. Variational Deep Embedding(VaDE)

這一部分作者詳細闡述了VaDE模型，包括生成模型和推理模型

3.1 Generative Model

• 生成模型是公式(3)：p(x,z,c) = p(x|z)p(z|c)p(c )，代表上述的生成過程
  

3.2 Inference Model

• 推理模型爲公式(8):q(z,c|x)=q(z|x)q(c|x),用來優化我們的變分下界的
• 公式(9)給出了變分下屆，公式(12)給出了近似解(編程時用)，其中的數學推導很複雜，這篇paper再最後給出了詳細的證明，有興趣可以自己下載下來看看，這裏不再贅述。
• 公式(16)給出了一個優化trick，也是詳細證明的。公式(16)表示的是GMM中的響應度，GMM就是靠這個來聚類的。
  
  

3.3 Understanding the ELBO of VaDE

• 這一節主要探討VaDE的變分下界，具體的是KL散度項對VaDE的影響，同時用圖例的方法給出了在準確率上，VaDE的優越性。
  

4. Experiments

• 關於實驗這塊，不想講太多，主要了了幾個細節

4.1 Net Structure

推理網絡：D-500-500-2000-10(FC)
生成網絡：10-2000-500-500-D(FC)
優化器：ADAM
BATCH_SIZE:100
GMM的參數是經過預先初始化的，然後放入到網絡中訓練，根據GMM模型可知，網絡收斂不到全局最優，只能收斂再全局最優甚至更糟糕

4.2 Pre-training(figure out over-regularisation problem)

• 文中指出公式17中的重構項會在訓練初期變得非常的“weak”，以至於會導致模型陷入局部解或者鞍點。作者使用了AE做了預訓練，和DEC很像。從而避免的這個問題。
  
  

4.3 Sample from different components of GMM

5. 與GMVAE的區別

GMVAE
1.推理模型和生成模型不一樣
2.計算準確率的方式不一樣
3.處理over-regularisation問題的方式不一樣