【機器學習】多項邏輯斯蒂迴歸/softmax迴歸推導與求解

1. 多項邏輯斯蒂迴歸模型

多項邏輯斯蒂迴歸模型（multi-nominal logistic regression model），又稱爲Softmax Regression，是一個用來預測離散型隨機變量的不同可能結果的概率的模型，用於進行多項分類。

前面在邏輯斯蒂迴歸原理推導與求解中講到的邏輯斯蒂迴歸模型是二項分類模型，用於二分類。將其推廣爲多項分類，假設離散型隨機變量的取值集合是，那麼多項邏輯斯蒂迴歸模型是（這也就是softmax函數，推導softmax函數詳見參考文獻1）：

                                                 （1）

（1）式也就是，在已知參數和數據的情況下，預測值爲類別的條件概率。如果y=0,1，而且w0=0，那麼就是邏輯迴歸的形式了。

將（1）式連乘得到在已知現有數據的條件下，是真正參數的概率，即似然函數：

                                                （2）

由於乘法難解，通過對數可以將乘法轉換爲加法，簡化計算。對數似然函數爲：

                                                （3）

其中，表示當第個樣本的分類爲時，返回1，否則爲0。

似然函數表示樣本成爲真實的概率，似然函數越大越好，此時我們可以用梯度上升法求最大值，也可以引入一個負號轉換爲梯度下降法來求解。

代價函數爲：

                                                 （3）

下面介紹邏輯斯蒂迴歸中梯度下降法求參數。

2. 梯度下降法求解

求偏導得到代價函數對於參數的梯度，對於每一個輸出目標，，其參數的梯度是： 

                                                 （4）

代表第類的參數，是一個向量。

因此，在使用梯度下降法求解時，對於每一個，每次迭代地更新公式爲：

                                                 （5）

參考文獻：

1. 多類別邏輯迴歸（Multinomial Logistic Regression）

2. 機器學習方法（五）：邏輯迴歸Logistic Regression，Softmax Regression