softmax函數的解釋

softmax學習筆記

定義

維基上的解釋和公式是：
“softmax function is a generalization of the logistic function that maps a length-p vector of real values to a length-K vector of values”

σ(z)j=ezj∑k=1Kezk(1)$$\begin{array}{}\text{(1)}& \sigma (z{)}_j=\frac{e^{z_j}}{\sum _{k=1}^K{e}^{z_k}}\end{array}$$

解釋

知乎上有一句解釋很有意思

SVM只選自己喜歡的男神，Softmax把所有備胎全部拉出來評分，最後還歸一化一下。

個人覺得很貼切。

softmax用於多分類過程中，它將多個神經元的輸出，映射到（0,1）區間內，可以看成概率來理解，從而來進行多分類！

知乎作者憶臻結合應用的解釋也容易理解（https://www.zhihu.com/question/23765351/answer/240869755）
softmax直白來說就是將原來輸出是3,1,-3通過softmax函數一作用，就映射成爲(0,1)的值，而這些值的累和爲1（滿足概率的性質），那麼我們就可以將它理解成概率，在最後選取輸出結點的時候，我們就可以選取概率最大（也就是值對應最大的）結點，作爲我們的預測目標！
舉一個我最近碰到利用softmax的例子：我現在要實現基於神經網絡的句法分析器。用到是基於轉移系統來做，那麼神經網絡的用途就是幫我預測我這一個狀態將要進行的動作是什麼？比如有10個輸出神經元，那麼就有10個動作，1動作，2動作，3動作…一直到10動作。（這裏涉及到nlp的知識，大家不用管，只要知道我現在根據每個狀態（輸入），來預測動作（得到概率最大的輸出），最終得到的一系列動作序列就可以完成我的任務即可）