爲何在識別領域表現不好？
其原因在於Softmax本身的定義，它正式是softmax函數加上交叉熵損失。其目的是使所有類在概率空間中具有最大的對數似然性，即確保所有類別都被正確分類，以及撤銷和驗證任務需要的是具有更好泛化性能的度量空間。一個度量空間，保證正確的分類並保證良好的泛化。雖然相關性很強，但並不直接相同。
Softmax能夠放大微小類別之間的logit差異
Focal loss
motivation：訓練數據難易度不同
方法：減小易分樣本的損失權重
Center loss
motivation:減小類內距離
方法：減小每個樣本離該類中心的距離的平方和
類中心更新方法：在每一個mini-batch中更新類中心。loss爲該類樣本到中心距離。
Contrastive center loss
motivation: 縮小類內距離的同時增大類間距離
方法：對類之間的小距離進行處罰，分母是同形式的距離不同類中心點間的距離。
Ring loss
motivation:特徵歸一化或權重歸一化可以在一定程度上控制網絡對簡單或困難樣本的關注程度。具體點是，如果不進行約束，網絡總是希望使單個樣本的特徵長度和重量更大，並使難度樣本的模型和權重更小。當特徵向量範數相同時，角邊距最大。
方法：進行特徵歸一化
arcface loss 系列
L-softmax
由於
softmax 等價於
有兩個boundary，促使網絡學到類間距離更大的，類內距離更小的特徵。