GAN生成對抗網絡

基本概念:

GAN由生成器和判別器組成,生成器負責生成樣本,判別器負責判斷生成器生成的樣本是否爲真。生成器要儘可能迷惑判別器,而判別器要儘可能區分生成器生成的樣本和真實樣本

GAN圖


左邊是生成器

其輸入是​,對於原始的GAN,​是由高斯分佈隨機採樣得到的噪聲。噪聲​通過生成器得到了生成的假樣本。

右邊爲判別器

生成的假樣本與真實樣本放到一起,被隨機抽取送入到判別器D,由判別器去區分輸入的樣本是生成的假樣本還是真實的樣本。

“生成對抗”

生成對抗網絡中的“生成對抗”主要體現在生成器和判別器之間的對抗。

GAN的目標函數是什麼?

第一部分:第一項​表示對於從真實數據分佈 中採用的樣本 ,其被判別器判定爲真實樣本概率的數學期望。對於真實數據分佈 中採樣的樣本,其預測爲正樣本的概率當然是越接近1越好。因此希望最大化這一項。第二項​表示:對於從噪聲​分佈當中採樣得到的樣本,經過生成器生成之後得到的生成圖片,然後送入判別器,其預測概率的負對數的期望,這個值自然是越大越好,這個值越大, 越接近0,也就代表判別器越好。

​ 第二部分:生成器不是最小化判別器的目標函數,二是最小化判別器目標函數的最大值,判別器目標函數的最大值代表的是真實數據分佈與生成數據分佈的JS散度(詳情可以參閱附錄的推導),JS散度可以度量分佈的相似性,兩個分佈越接近,JS散度越小。

判別器目標函數寫成離散形式即爲:

​ 可以看出,這個目標函數和交叉熵是一致的,即判別器的目標是最小化交叉熵損失,生成器的目標是最小化生成數據分佈和真實數據分佈的JS散度

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章