目錄
GAN
DCGAN
WassersteinGAN
Conditional GAN
1.1 GAN的原理
核心是：x表示真實圖片，z表示輸入G網絡的噪聲，而G(z)表示G網絡生成的圖片。D(x)表示D網絡判斷真實圖片是否真實的概率，D(G(z))是D網絡判斷G生成的圖片的是否真實的概率。
方法是構建兩個網絡，一個G生成網絡，一個D區分網絡。訓練，G網絡loss log(1-D(G(z)))，D網絡loss -(log(D(x))+log(1-D(G(z)))。數據輸入，G網絡輸入noise。D輸入混合G輸出數據及樣本數據。G網絡訓練，D(G(z))趨近於1,G loss最小。D網絡訓練 2分類，分清真實數據和生成數據，真實數據D輸出趨近1,生成數據輸出D(G(z))趨近0。
1.2 GAN的好處和缺點
1、Gans是一個Implict的建立學習密度函數過程，減少了人爲的建模。
2、GAN的生成過程不需要繁瑣的採樣序列，可以直接進行新樣本的採樣和推斷，提高了新樣本的生成效率。
1、容易只找到局部最優點，非全局最優點。
2、判別器訓練得太好，生成器梯度消失，生成器loss降不下去；判別器訓練得不好，生成器梯度不準，四處亂跑，所以，根本無法收斂很難穩定訓練。
（實質上是1、等價優化的距離衡量（KL散度、JS散度）不合理，2、生成器隨機初始化後的生成分佈很難與真實分佈有不可忽略的重疊。）
2.1 DCGAN的原理
DCGAN，使用卷積神經網絡，實現有效訓練，拓展維度。去掉G網絡D網絡的pooling layer。在G網絡D網絡中使用Batch Normalization。去掉全連接隱藏層。G網絡最後一層用Tanh，其它層用RELU。D網絡每層用LeakyRELU。
Z是噪聲，也就是G的輸入，可以是高斯噪聲，一般爲均勻噪聲；
經過G之後生成 fake image ——G(z),然後將G(z)和X作爲D的輸入，最後的D的輸出表示該數據爲real的可能性，該值範圍0-1。
2.2 DCGAN的好處和缺點
將卷積網絡引入到生成式模型當中來無無督督的訓練，利用卷積網絡強大的特徵提取能力來提高生成網絡的學習效果。
同樣大小的數據集的分類任務情況下，比監督訓練的模型較大，如果較大的話，會出現，生成圖片的不穩定。主要體現就是生成的圖片，在開始的時候又趨於變優的過程，最後卻變得越來越模糊。
3.1 WassersteinGAN的原理
判別器最後一層去掉sigmoid
生成器和判別器的loss不取log
每次更新判別器的參數之後把它們的絕對值截斷到不超過一個固定常數c
不要用基於動量的優化算法（包括momentum和Adam），推薦RMSProp，SGD也行
對於損失函數，由原來的部分+梯度懲罰，現在不需要weight clipping以及基於動量的優化算法都可以使用了，他們在這裏就用了Adam。同時可以拿掉Batch Normalization。
3.2 WassersteinGAN的好處和缺點
判別器訓練到接近最優，不必擔心梯度消失的問題。
用Wasserstein距離代替JS散度，同時完成了穩定訓練和進程指標的問題。Wasserstein距離相比KL散度、JS散度的優越性在於，即便兩個分佈沒有重疊，Wasserstein距離仍然能夠反映它們的遠近。
改變生成器兩次迭代之間，判別器的迭代次數，這兩種常見的變動都會使得Wasserstein距離的擬合誤差就與上次不一樣，擬合誤差比較大。
如果WGAN和原始GAN都使用多層全連接網絡（MLP），不用CNN，WGAN質量會變差些，但是原始GAN不僅質量變得更差，而且還出現了collapse mode，即多樣性不足。在所有WGAN的實驗中未觀察到collapse mode，論文作者也只說應該是解決了。
4.1 Conditional GAN的原理
主要思想是通過label值來引導生成模型的輸出，比如我們給label=0，那對於mnist,也同樣輸出表示0的圖片。
我們的G的輸入不再是具有一定維度的Noisy —— z,而是z 和y1。對於D的話，輸入也不再是real image——x，而是 x和y2。 其中y=y1=y2,表示，是同樣的標籤，也意味這通過label——y將z和x聯繫起來，y起到連接或者區分的作用。
那對抗的目標函數爲:
4.2 Conditional GAN的好處和缺點
GAN無監督變有監督，輸入分類，輸出圖像。
CGAN嘗試在生成器G和判別器端加入額外的條件信息（additional information）來指導GAN兩個模型的訓練，從而確定合適的label。
參考文獻（論文地址）：
https://arxiv.org/pdf/1701.07875.pdf (WGAN)
https://arxiv.org/pdf/1406.2661.pdf (GAN）
https://arxiv.org/pdf/1703.10717.pdf（BEGAN）
https://arxiv.org/pdf/1411.1784.pdf（CGAN）
https://arxiv.org/pdf/1605.05396.pdf（image）
等