目前，大多數的GAN都主要集中在生成圖像上，且依賴於一些標準的數據集。像MNIST，CIFAR-10，STL，CelebA和imageNet等。傳聞中，GAN在某些數據集上要好於另一些數據集。特別的，生成像CIFAR-10和CelebA的圖片要比生成像imagenet一樣的圖片要容易些。還有一些人注意到用GAN生成像ImageNet這樣有很多標籤或者類的圖像有點難。這些經驗基本上都有一些實驗結果支撐着。
但是，我們應該通過一些理論來證明爲什麼在有很多標籤更復雜的數據集上訓練GAN有一些困難。特別的，我們最好知道爲什麼GAN在這些數據集上發生了什麼作用。
一般情況下，我們可以先看一下數據集，做一些前期的計算（這時我們可能並沒有做一些實際的GAN訓練過程），然後我們可以說用GAN去生成這些數據是可以的，但是其他一些生成模型可能不行。這裏，我們認爲有更多的事情值得被做，進而提出一個問題：
問題：給定一個分佈，GAN去模擬或生成這個分佈有多難呢？
與此相關的，我們可能會問一些其他問題，如：模擬這個分佈是什麼意思？我們是否滿足建立一個較低支集的模型表示？或者我們最理想的結果是生成一個幾乎真實的概率密度分佈？這些分佈是否可以使用GAN來學習呢？對於GAN來說，這些問題的答案是否與其他生成模型不同呢？
我們對此有兩個策略：
- 合成數據集：我們可以去研究合成的數據集，來調查哪些特性可以學習，哪些特性不可以被學習。例如，論文【1】就創建了一個合成的三角形數據集，我們覺得我們可以進一步去研究。合成的數據集或許也可以被參數化方法來表示，比如連接性或者光滑性。這樣的一個數據集也可以被用來研究其他生成模型。
- 修改現有的理論分析結果：我們可以使用現有的理論結果並嘗試修改一些假設條件以用在不同特性的數據集上。例如，我們可以看一看GAN在給定單一分佈的數據集上訓練會得到什麼樣的結果，然後也看看當數據集變成多模態時會發生什麼。
以下我們再說一說筆者目前所瞭解的GAN生成上的一些難點：
1。多類別生成難於單類別生成，或者說GAN生成的多樣性不是很好，這也就是所謂的模式坍塌問題。
2.生成細節較難，GAN用來生成一些具有高度抽象的數據較爲容易，相對來說生成具有清晰細節就比較難些。比如，生成高維特徵或隱空間變量【2】較容易，還比如一些空間座標【3】。但是相對來說，具有細節的圖像則難一些，如imageNet。細節上會比較容易出現artifact，而高維特徵則不存在這個問題。換句話說，GAng目前還無法有較好的局部理解能力。
3.大分辨率較難。
1：Are GANs Created Equal? A Large-Scale Study
2：Classification-Reconstruction Learning for Open-Set Recognition
3:LayoutGAN: Generating Graphic Layouts with Wireframe Discriminators