機器學習常用算法：Logistic Regression

邏輯斯諦分佈

設X$X$ 是連續隨機變量，X$X$ 服從邏輯斯諦分佈是指X$X$ 具有下列分佈函數和密度函數：
分佈函數

F(x)=P(X≤x)=11+e−(x−μ)/γ$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$

密度函數

f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2$$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$

式中，μ$\mu$ 爲位置參數，γ$\gamma$ 爲形狀參數。
其分佈函數是S形函數，其特點是當x趨於無窮大時，概率值趨於1；當x趨於無窮小時，概率值趨於0.

邏輯斯諦迴歸模型

邏輯斯諦迴歸模型是由以下條件概率分佈表示的分類模型，可用於二類或多類分類。

P(Y=k|x)=exp(wk⋅x)1+∑K−1i=1exp(wk⋅x),k=1,2,...,K−1$$P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+\sum _{i=1}^{K-1}exp(w_k\cdot x)},k=1,2,...,K-1$$

P(Y=K|x)=11+∑K−1i=1exp(wk⋅x)$$P(Y=K|x)=\frac{1}{1+\sum _{i=1}^{K-1}exp(w_k\cdot x)}$$

式中，x$x$ 爲輸入特徵，w$w$ 爲特徵的權值向量。

邏輯斯諦迴歸比較兩個條件概率值的大小，將實例x$x$ 分到概率值較大的那一類。

補充：
機率：一個事件的機率是指該事件發生的概率與該事件不發生的概率的比值。如果事件發生的概率爲p，那麼該事件的機率爲p1−p$\frac{p}{1-p}$ ，該事件的對數機率是

logit(p)=logp1−p$$logit(p)=log\frac{p}{1-p}$$

在邏輯斯諦迴歸模型中，輸出Y=1的對數機率爲

logit(P(Y=1|x))=logP(Y=1|x)1−P(Y=1|x)=w⋅x$$logit(P(Y=1|x))=log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$

即輸出Y=1的對數機率是由輸入x的線性函數表示的模型

模型參數估計

對於給定的訓練集T={(x1,y1),(x2,y2),...,(xN,yN)}$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$ ，其中，xi∈Rn$x_i\in {\mathrm{\Re }}^n$ ，yi∈{0,1}$y_i\in \{0,1\}$ 。可以應用極大似然估計法估計模型參數w$w$ ，從而得到邏輯斯諦迴歸模型。
設：P(Y=1|x)=π(x)$P(Y=1|x)=\pi (x)$ , P(Y=0|x)=1−π(x)$P(Y=0|x)=1-\pi (x)$
其似然函數爲

∏i=1N[π(xi)]yi[1−π(xi)]1−yi$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$

其對數似然函數爲

L(w)=∑i=1N[yilogπ(xi)+(1−yi)log(1−π(xi))]=∑i=1N[yilogπ(xi)1−π(xi)+log(1−π(xi))]=∑i=1N[yi(w⋅xi)−log(1+exp(w⋅xi))]$$\begin{array}{rl}L(w)& =\sum _{i=1}^N[y_i\text{log}\pi (x_i)+(1-y_i)\text{log}(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i\text{log}\frac{\pi (x_i)}{1-\pi (x_i)}+\text{log}(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i(w\cdot x_i)-\text{log}(1+exp(w\cdot x_i))]\end{array}$$

對L(w)$L(w)$ 求極大值，即問題轉變爲以對數似然函數爲目標函數的最優化問題，通常採用梯度下降法或擬牛頓法可得到w$w$ 的估計值w^$\hat{w}$ ，則學習到的邏輯斯諦迴歸模型爲

P(Y=1|x)=exp(w^⋅x)1+exp(w^⋅x)$$P(Y=1|x)=\frac{exp(\hat{w}\cdot x)}{1+exp(\hat{w}\cdot x)}$$

P(Y=0|x)=11+exp(w^⋅x)$$P(Y=0|x)=\frac{1}{1+exp(\hat{w}\cdot x)}$$

結論

應用場景：
二分類問題：
郵件：垃圾郵件/非垃圾郵件
在線交易：是否欺詐（是/否）
腫瘤：惡性/良性

多分類問題：
電子郵件分類/標註： 工作郵件，朋友郵件，家庭郵件，愛好郵件
醫療圖表(medical diagrams): 沒有生病，着涼，流感
天氣：晴天，多雲，雨，雪

logistic迴歸一般用於類別之前有聯繫的多分類問題
類別之間互斥則一般選擇softmax迴歸

優點：
1.實現簡單
2.分類時計算量非常小，速度很快，存儲資源低；

缺點：
1.容易欠擬合，一般準確度不太高
2.必須線性可分；

參考資料

Coursera公開課筆記: 斯坦福大學機器學習第六課“邏輯迴歸(Logistic Regression)”
統計學習方法，李航著，清華大學出版社