深入學習深度學習——softmax概念

softmax的基本概念

• 分類問題
  一個簡單的圖像分類問題，輸入圖像的高和寬均爲2像素，色彩爲灰度。
  圖像中的4像素分別記爲$x_1, x_2, x_3, x_4$。
  假設真實標籤爲狗、貓或者雞，這些標籤對應的離散值爲$y_1, y_2, y_3$。
  我們通常使用離散的數值來表示類別，例如$y_1=1, y_2=2, y_3=3$。

• 權重矢量
  $\begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{21} + x_3 w_{31} + x_4 w_{41} + b_1 \end{aligned}$

$\begin{aligned} o_2 &= x_1 w_{12} + x_2 w_{22} + x_3 w_{32} + x_4 w_{42} + b_2 \end{aligned}$

$\begin{aligned} o_3 &= x_1 w_{13} + x_2 w_{23} + x_3 w_{33} + x_4 w_{43} + b_3 \end{aligned}$

• 神經網絡圖
  下圖用神經網絡圖描繪了上面的計算。softmax迴歸同線性迴歸一樣，也是一個單層神經網絡。由於每個輸出$o_1, o_2, o_3$的計算都要依賴於所有的輸入$x_1, x_2, x_3, x_4$，softmax迴歸的輸出層也是一個全連接層。

$\begin{aligned}softmax迴歸是一個單層神經網絡\end{aligned}$

既然分類問題需要得到離散的預測輸出，一個簡單的辦法是將輸出值$o_i$當作預測類別是$i$的置信度，並將值最大的輸出所對應的類作爲預測輸出，即輸出 $\underset{i}{\arg\max} o_i$。例如，如果$o_1,o_2,o_3$分別爲$0.1,10,0.1$，由於$o_2$最大，那麼預測類別爲2，其代表貓。

• 輸出問題
  直接使用輸出層的輸出有兩個問題：
  1. 一方面，由於輸出層的輸出值的範圍不確定，我們難以直觀上判斷這些值的意義。例如，剛纔舉的例子中的輸出值10表示“很置信”圖像類別爲貓，因爲該輸出值是其他兩類的輸出值的100倍。但如果$o_1=o_3=10^3$，那麼輸出值10卻又表示圖像類別爲貓的概率很低。
  2. 另一方面，由於真實標籤是離散值，這些離散值與不確定範圍的輸出值之間的誤差難以衡量。

softmax運算符（softmax operator）解決了以上兩個問題。它通過下式將輸出值變換成值爲正且和爲1的概率分佈：

$\hat{y}_1, \hat{y}_2, \hat{y}_3 = \text{softmax}(o_1, o_2, o_3)$

其中

$\hat{y}1 = \frac{ \exp(o_1)}{\sum_{i=1}^3 \exp(o_i)},\quad \hat{y}2 = \frac{ \exp(o_2)}{\sum_{i=1}^3 \exp(o_i)},\quad \hat{y}3 = \frac{ \exp(o_3)}{\sum_{i=1}^3 \exp(o_i)}.$

容易看出$\hat{y}_1 + \hat{y}_2 + \hat{y}_3 = 1$且$0 \leq \hat{y}_1, \hat{y}_2, \hat{y}_3 \leq 1$，因此$\hat{y}_1, \hat{y}_2, \hat{y}_3$是一個合法的概率分佈。這時候，如果$\hat{y}_2=0.8$，不管$\hat{y}_1$和$\hat{y}_3$的值是多少，我們都知道圖像類別爲貓的概率是80%。此外，我們注意到

$\underset{i}{\arg\max} o_i = \underset{i}{\arg\max} \hat{y}_i$

因此softmax運算不改變預測類別輸出。

• 計算效率
  • 單樣本矢量計算表達式
    爲了提高計算效率，我們可以將單樣本分類通過矢量計算來表達。在上面的圖像分類問題中，假設softmax迴歸的權重和偏差參數分別爲

$\boldsymbol{W} = \begin{bmatrix} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ w_{31} & w_{32} & w_{33} \\ w_{41} & w_{42} & w_{43} \end{bmatrix},\quad \boldsymbol{b} = \begin{bmatrix} b_1 & b_2 & b_3 \end{bmatrix},$

設高和寬分別爲2個像素的圖像樣本$i$的特徵爲

$\boldsymbol{x}^{(i)} = \begin{bmatrix}x_1^{(i)} & x_2^{(i)} & x_3^{(i)} & x_4^{(i)}\end{bmatrix},$

輸出層的輸出爲

$\boldsymbol{o}^{(i)} = \begin{bmatrix}o_1^{(i)} & o_2^{(i)} & o_3^{(i)}\end{bmatrix},$

預測爲狗、貓或雞的概率分佈爲

$\boldsymbol{\hat{y}}^{(i)} = \begin{bmatrix}\hat{y}_1^{(i)} & \hat{y}_2^{(i)} & \hat{y}_3^{(i)}\end{bmatrix}.$

softmax迴歸對樣本$i$分類的矢量計算表達式爲

$\begin{aligned} \boldsymbol{o}^{(i)} &= \boldsymbol{x}^{(i)} \boldsymbol{W} + \boldsymbol{b},\\ \boldsymbol{\hat{y}}^{(i)} &= \text{softmax}(\boldsymbol{o}^{(i)}). \end{aligned}$

• 小批量矢量計算表達式
  爲了進一步提升計算效率，我們通常對小批量數據做矢量計算。廣義上講，給定一個小批量樣本，其批量大小爲$n$，輸入個數（特徵數）爲$d$，輸出個數（類別數）爲$q$。設批量特徵爲$\boldsymbol{X} \in \mathbb{R}^{n \times d}$。假設softmax迴歸的權重和偏差參數分別爲$\boldsymbol{W} \in \mathbb{R}^{d \times q}$和$\boldsymbol{b} \in \mathbb{R}^{1 \times q}$。softmax迴歸的矢量計算表達式爲

$\begin{aligned} \boldsymbol{O} &= \boldsymbol{X} \boldsymbol{W} + \boldsymbol{b},\\ \boldsymbol{\hat{Y}} &= \text{softmax}(\boldsymbol{O}), \end{aligned}$

其中的加法運算使用了廣播機制，$\boldsymbol{O}, \boldsymbol{\hat{Y}} \in \mathbb{R}^{n \times q}$且這兩個矩陣的第$i$行分別爲樣本$i$的輸出$\boldsymbol{o}^{(i)}$和概率分佈$\boldsymbol{\hat{y}}^{(i)}$。

交叉熵損失函數

對於樣本$i$，我們構造向量$\boldsymbol{y}^{(i)}\in \mathbb{R}^{q}$ ，使其第$y^{(i)}$（樣本$i$類別的離散數值）個元素爲1，其餘爲0。這樣我們的訓練目標可以設爲使預測概率分佈$\boldsymbol{\hat y}^{(i)}$儘可能接近真實的標籤概率分佈$\boldsymbol{y}^{(i)}$。

• 平方損失估計

$\begin{aligned}Loss = |\boldsymbol{\hat y}^{(i)}-\boldsymbol{y}^{(i)}|^2/2\end{aligned}$

然而，想要預測分類結果正確，我們其實並不需要預測概率完全等於標籤概率。例如，在圖像分類的例子裏，如果$y^{(i)}=3$，那麼我們只需要$\hat{y}^{(i)}_3$比其他兩個預測值$\hat{y}^{(i)}_1$和$\hat{y}^{(i)}_2$大就行了。即使$\hat{y}^{(i)}_3$值爲0.6，不管其他兩個預測值爲多少，類別預測均正確。而平方損失則過於嚴格，例如$\hat y^{(i)}_1=\hat y^{(i)}_2=0.2$比$\hat y^{(i)}_1=0, \hat y^{(i)}_2=0.4$的損失要小很多，雖然兩者都有同樣正確的分類預測結果。

改善上述問題的一個方法是使用更適合衡量兩個概率分佈差異的測量函數。其中，交叉熵（cross entropy）是一個常用的衡量方法：

$H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ) = -\sum_{j=1}^q y_j^{(i)} \log \hat y_j^{(i)},$

其中帶下標的$y_j^{(i)}$是向量$\boldsymbol y^{(i)}$中非0即1的元素，需要注意將它與樣本$i$類別的離散數值，即不帶下標的$y^{(i)}$區分。在上式中，我們知道向量$\boldsymbol y^{(i)}$中只有第$y^{(i)}$個元素$y^{(i)}{y^{(i)}}$爲1，其餘全爲0，於是$H(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}) = -\log \hat y_{y^{(i)}}^{(i)}$。也就是說，交叉熵只關心對正確類別的預測概率，因爲只要其值足夠大，就可以確保分類結果正確。當然，遇到一個樣本有多個標籤時，例如圖像裏含有不止一個物體時，我們並不能做這一步簡化。但即便對於這種情況，交叉熵同樣只關心對圖像中出現的物體類別的預測概率。

假設訓練數據集的樣本數爲$n$，交叉熵損失函數定義爲
$\ell(\boldsymbol{\Theta}) = \frac{1}{n} \sum_{i=1}^n H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ),$

其中$\boldsymbol{\Theta}$代表模型參數。同樣地，如果每個樣本只有一個標籤，那麼交叉熵損失可以簡寫成$\ell(\boldsymbol{\Theta}) = -(1/n) \sum_{i=1}^n \log \hat y_{y^{(i)}}^{(i)}$。從另一個角度來看，我們知道最小化$\ell(\boldsymbol{\Theta})$等價於最大化$\exp(-n\ell(\boldsymbol{\Theta}))=\prod_{i=1}^n \hat y_{y^{(i)}}^{(i)}$，即最小化交叉熵損失函數等價於最大化訓練數據集所有標籤類別的聯合預測概率。

softmax:
https://blog.csdn.net/boke14122621/article/details/104316090
多層感知機：
https://blog.csdn.net/boke14122621/article/details/104320813
語言模型及RNN:
https://blog.csdn.net/boke14122621/article/details/104321048