Wasserstein GAN中 Earth-Mover (EM) distance 的理解

1. Wasserstein GAN 論文的第2節Different Distances中給出Earth-Mover (EM) distance的定義形式:

將公式(1)的期望形式轉換成積分形式:

W(\mathbb{P}_{r},\mathbb{P}_{g})=\inf_{\gamma \in \prod (\mathbb{P}_{r}, \mathbb{P}_{g})}\int \int \gamma (x,y) \left \| x-y \right \| d_{x} d_{y}

\prod (\mathbb{P}_{r}, \mathbb{P}_{g})\mathbb{P}_{r}, \mathbb{P}_{g}組合起來的所有可能的聯合分佈的集合【1】;

》根據文獻【2】,\left \| x-y \right \| 是L1範數,其含義是成本函數,貨物從x運輸到y的成本;

》根據論文的描述,\gamma(x,y)表示爲了把分佈\mathbb{P}_{r}變換成分佈\mathbb{P}_{g},需要從x運輸多少 “mass” 到 y;

結合文獻【3】和文獻【2】的描述,可以更好地理解\gamma(x,y)\gamma是一種運輸方案,設\mathbb{P}_{r}是原始分佈,\mathbb{P}_{g}是目標分佈。\mathbb{P}_{r}(x)是指在原始分佈的x的位置存放了\mathbb{P}_{r}(x)量的貨物,即原始分佈的x的位置存放的貨物量;\mathbb{P}_{g}(x)是目標分佈的x位置存放的貨物量;如果\mathbb{P}_{r}(x)> \mathbb{P}_{g}(x),就需要將\mathbb{P}_{r}(x)一部分貨物運輸到目標分佈的其他位置;如果\mathbb{P}_{r}(x)< \mathbb{P}_{g}(x),就需要將原始分佈的其他位置的貨物運輸到該目標分佈的位置。\gamma(x,y) 表示,從原始分佈的x位置搬\gamma(x,y) d_{x}那麼多的貨物目標分佈的y位置;

因爲\gamma \in \prod (\mathbb{P}_{r}, \mathbb{P}_{g}),所以可以得到以下約束:\int \gamma(x,y) dx = \mathbb{P}_{g}(y), \int \gamma(x,y) dy = \mathbb{P}_{r}(x)

根據文獻【3】,從離散隨機隨機變量的角度理解,\int \gamma(x,y) dx = \mathbb{P}_{g}(y)從原始分佈的x位置運輸到目標分佈的y位置的貨物量不能超過目標分佈y位置的貨物容量;\int \gamma(x,y) dy = \mathbb{P}_{r}(x)從原始分佈的x位置運輸到目標分佈的y位置的貨物量不能超過原始分佈x位置的原有的貨物量;(這樣理解不知道對不對,本人能力有限,希望各位多多指點)

》inf 表示下確界,即在所有運輸方案中,找到總運輸成本\int \int \gamma (x,y) \left \| x-y \right \| d_{x} d_{y}最小的方案。

2. 分析Wasserstein GAN 論文的案例1,如何計算得到W(\mathbb{P}_{0},\mathbb{P}_{\theta})=\left |\theta \right |:

根據案例的1的描述,可以得到以下示例圖:

W(\mathbb{P}_{0},\mathbb{P}_{\theta})=\inf_{\gamma \in \prod (\mathbb{P}_{0}, \mathbb{P}_{\theta})} \int_{0}^{1} \int_{0}^{1} \gamma (y_{1},y_{2}) \left \| y_{1}-y_{2} \right \| d_{y_{1}} d_{y_{2}}

\int_{0}^{1} \int_{0}^{1} \gamma (y_{1},y_{2}) \left \| y_{1}-y_{2} \right \| d_{y_{1}} d_{y_{2}} \newline=\left | \theta \right | \int_{0}^{1} \int_{0}^{1} \gamma(y_{1}, y_{2}) d_{y_{1}} d_{y_{2}} \newline=\left | \theta \right | \int_{0}^{1} \mathbb{P}_{\theta}(y_{2}) d_{y_{2}} \newline=\left | \theta \right |

以上公式推導過程,主要利用前面\int \gamma(x,y) dx = \mathbb{P}_{g}(y), \int \gamma(x,y) dy = \mathbb{P}_{r}(x)

 

 

 

 

 

 

參考文獻:

【1】https://mp.weixin.qq.com/s/LeycG3bW-TIdHCr2raZPrQ

【2】https://kexue.fm/archives/6280

【3】https://blog.csdn.net/wangdonggg/article/details/32329879?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-11.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-11.nonecase

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章