標籤平滑(label smoothing)

1. 什麼是標籤平滑？

• 標籤平滑就是用來解決over-confident的問題，這類問題在對抗構建中尤爲重要(GANs)

• 通俗來講
  

• 機器學習的樣本中通常會存在少量錯誤標籤，這些錯誤標籤會影響到預測的效果。標籤平滑採用如下思路解決這個問題：在訓練時即假設標籤可能存在錯誤，避免“過分”相信訓練樣本的標籤。當目標函數爲交叉熵時，這一思想有非常簡單的實現，稱爲標籤平滑（Label Smoothing）。

• 我們以2類分類問題爲例，此時訓練樣本爲(xi,yi)，其中yi是樣本標籤，爲0或1。在訓練樣本中，我們並不能保證所有的樣本標籤都標註正確，如果某個樣本的標註是錯誤的，那麼在訓練時，該樣本就有可能對訓練結果產生負面影響。一個很自然的想法是，如果我們有辦法“告訴”模型，樣本的標籤不一定正確，那麼訓練出來的模型對於少量的樣本錯誤就會有“免疫力”。

2. 標籤平滑使用的方法是什麼？

2.1 理論上

• **在每次迭代時，並不直接將(xi,yi)放入訓練集，而是設置一個錯誤率ε，以1-ε的概率將(xi,yi)代入訓練，以ε的概率將(xi,1-yi)代入訓練。**這樣，模型在訓練時，既有正確標籤輸入，又有錯誤標籤輸入，可以想象，如此訓練出來的模型不會“全力匹配”每一個標籤，而只是在一定程度上匹配。這樣，如果真的出現錯誤標籤，模型受到的影響就會更小。

2.2 實際上

2.2.1 爲什麼這樣做就有效

3. 標籤平滑的作用

在幾乎所有的情況下，使用標籤平滑訓練可以產生更好的校準網絡，從而更好地去泛化網路，最終對不可見的生產數據產生更準確的預測。因此，標籤平滑應該是大多數深度學習訓練的一部分。

4. 在GANs中的應用

• 單側標籤平滑

5. 參考博客

https://www.cnblogs.com/whustczy/p/12520239.html
https://blog.csdn.net/Matrix_cc/article/details/105344967