打算實現MNIST在各個loss下訓練出來的二維特徵分佈,持續更新
1.爲何繪製出的特徵分佈只在第一象限
在看center loss論文的時候，自己隨便構建了一個網絡繪製softmax二維特徵，但是繪製出的特徵分佈一直如上圖所示，跟論文當中完全不一樣。直到我看到Sphereface論文Appendix A，當中說到之所以會出現這種第一象限分佈的特徵，是因爲embedding層加了relu激活，因爲relu：max（0，x）會將負數置0。果不其然，去掉relu後就繪製出了如下所示的特徵分佈。
2. Modified Softmax
相比softmax，Modified Softmax可以讓特徵之間明確地按角度區分開。
3. Angular Margin Softmax
可以看到，a-softmax不光把特徵由角度區分開來，而且更好地控制了特徵間的角度距離。即高內聚，低耦合。
3. 特徵分佈以原點(0,0)爲中心
