筆記9-機器學習2

如何同時提高precision和recall

 

爲什麼需要onehot編碼？

https://zhuanlan.zhihu.com/p/80893166

首先onehot應用在分類問題對label的編碼中，它的特點是使得各個類別之間距離相等。如果不使用onehot而是直接使用0, 1,2這樣的數值來代替類別，那麼不同類之間的距離就不同了，那麼這個問題就 變成了迴歸的問題。另外因爲one-hot中一個維度對應一個特徵的關係，特徵選擇後可以直接降低one-hot編碼的維度。

但是需要注意的是，有些分類問題中不同類別之間的距離是不同的，這時直接使用onehot是不妥的，可以在計算損失時按照不同距離之間的比例關係，給不同類別之間賦予不同的權重。

MaxOut激活函數

L-Softmax

https://zhuanlan.zhihu.com/p/84261730

1. 可調節的類間角度邊界約束，新的分類準則對正確分類 提出了更強的要求，爲第1類生成了更嚴格的decision boundary(決策邊界)，更直接的從幾何角度看，如圖1，從代數角度解釋損失更難收斂，如圖2
2. 是同類別特徵向量距離變小，類間距離變大
3. 分段函數，在π/m出兩端函數值應相等，分段的目的也就是束縛函數只對當前類別起作用，[0，π/m]的函數是遞減函數注意