文章信息：
D. An, Y. Guo, N. Lei, Z. Luo, S.-T. Yau, and X. Gu, “AE-OT: A NEW GENERATIVE MODEL BASED ON EX- TENDED SEMI-DISCRETE OPTIMAL TRANSPORT,” 2020, p. 19.
發表於2020年ICLR(International Conference on Learning Representations)
AE-OT筆記:
《AE-OT: A NEW GENERATIVE MODEL BASED ON EXTENDED SEMI-DISCRETE OPTIMAL TRANSPORT》中文筆記-1: 總述與簡介
《AE-OT: A NEW GENERATIVE MODEL BASED ON EXTENDED SEMI-DISCRETE OPTIMAL TRANSPORT》中文筆記-2: AE-OT算法
《AE-OT: A NEW GENERATIVE MODEL BASED ON EXTENDED SEMI-DISCRETE OPTIMAL TRANSPORT》中文筆記-3: 實驗與結果
4. Experiments
實驗一：explores the influence of the angle thresholds，合成數據集；
實驗二：聚焦在toy sets上以方便控制任務複雜度並精確計算模式和質量；
(on the same benchmark dataset as Lin et al. (2018) and make the comparison)
實驗三：在四個公開數據集(MNIST,MNIST-Fashion,CIFAR-10,CelebA)上運行提出的方法
（decoder和encoder和 Lucic et al. (2018)的一樣）
4.1 Single Parameter Selective Interpolation
隨着θ閾值的提高，the number of mode也會單調增長。合成數據集模式清晰，閾值比較容易選取(如下圖所示)；複雜的數據集就要根據數據進行手動調整。
4.2 Mitigation of Mode Collapse and Mode Mixture Synthetic Dataset
衡量指標：
Modes數量：數量越多表示生成器覆蓋的模式數越多；
recerse KL散度：生成器生成的不同模式樣本之間的平衡程度；
測試結果：
可見，AE-OT生成器能夠覆蓋的模式最多，且生成模式的質量最好。
4.3 Quantitative Comparison With FID
FID的計算：
通過網絡提取生成圖像和真實圖片具有視覺意義的特徵；
使用高斯分佈對生成的特徵空間和實際的特徵空間中的特徵進行匹配；
用下面的公式計算兩個高斯分佈之間的距離
其中，μr和μg表示真實特徵和生成特徵的均值，Σr和Σg表示它們的方差。
可見，除了CelebA數據集外，AE-OT的效果是最好的；
圖像生成效果如下：
其中，
The first row shows some of the real images in each dataset. The second row corresponds to the best results of Lucic et al. (2018); The third row gives the results of Hoshen & Malik (2019); then we display our generating results in the last row.
總結
1. 這篇文章給出了mode collapse/mixture的理論解釋；(基於 Brenier’s theory and Figalli’s regularity theory)
2. 提出的方法分開了manifold embedding和measure transformation，分別代表AE和OT；AE由一個autoencoder完成，OT則通過拓展semi-discrete OT map並找到singular set完成；
3. 通過大量的實驗驗證證明了所提方法的有效性。