1、likelihood
無法獲得likelihood
解決辦法：可以先用generator產生一把sample；接下來再用這把sample，用另外一個比較簡單的distribution去approximate你的generator。
2、likelihood vs quality
用generator產生出來的image，它的quality和likelihood不見得是有一定的關係的。
3、如何衡量你產生的image的好壞（quality）
把某一張generator產生的image丟入CNN，如果得到的distribution越分散，就代表產生的image越差。如果分佈越集中（entropy 越低），則產生的image越好。
4、如何衡量你的model是否能產生多樣化的image（產生出來的image有沒有diverse）
分別把generator產生的image放到CNN中，得到不同的distribution，計算他們的distribution之和，越大說明圖片越分散，越不同。
5、如何把上述兩個要求結合在一起（quality+diverse）
Inception Score
cross entropy越大越好，因爲我們希望image之間的相似度越小越好。negative entropy越大越好。總體上來說就是希望Inception Score越大越好。
6、K-Nearest Neighbor
有時候你會想要檢查machine是否生成新的image。你希望generator產生的image是你的database中沒有的。
有時候可能只是移動了一個像素點，就可能會認爲產生了不同的兩張image（wrong）。
7、model collapse
