邏輯迴歸的來源及邏輯迴歸隱含的一些內容

首先下幾個結論：

1、邏輯迴歸是廣義線性模型（注意，不是嚴格的：線性模型）

2、邏輯迴歸處理的是二分類，源自於y的分佈：二項分佈。

接着，邏輯迴歸的幾個問題：

1、邏輯迴歸，爲什麼叫回歸，卻處理分類問題。

2、邏輯迴歸怎麼就是廣義線性模型了？廣義線性體現在哪裏？

3、邏輯迴歸的決策邊界是什麼樣的？

我的想法：

1、邏輯迴歸的直觀形式：

邏輯迴歸的假設函數：，其中θ就是我們要的參數，x就是自變量（特徵），單獨看-θ*x，這就是一個迴歸擬合，取值在負無窮到正無窮之間，而e^(-θ*x)則將回歸結果壓縮到0到正無窮，而完整的假設函數使得當初的迴歸值被壓縮到了0到1之間。而0到1本身可以看成概率值。也就是本來該擬合的值都會與0到1之間的某個值相對應，我們就可以拿0到1之間的某個值作爲閾值，從而可以進行二分類。這樣就將回歸與分類結合到了一起。

2、邏輯迴歸爲什麼被稱作廣義線性模型？

從之前的博客：

https://blog.csdn.net/h_jlwg6688/article/details/89327402

可以看到邏輯迴歸符合線性模型的判定條件，所以邏輯迴歸是線性模型？肯定很多人表示懷疑，所以之前的博客可能還不夠嚴謹，邏輯迴歸是更加抽象的線性模型，即：廣義線性模型。

爲什麼會有廣義線性模型這個概念呢？

我目前的總結是：

參考博客：https://blog.csdn.net/xierhacker/article/details/53316138

爲了對客觀世界的統一（分佈）。

比如有類事件或者事物，它們本身有自己的分佈規律，

2.1、像線性迴歸，它假設的是因變量y，自變量x和誤差項都符合高斯分佈，參考：

https://blog.csdn.net/xierhacker/article/details/53316138

複述：

首先假設目標變量和輸入與下面這個方程相關： 
 
其中是一個誤差項（error term），來捕捉一些我們建模的時候故意或者無意忽略但是對於預測有影響的因素。有時候也可以作爲一個隨機的噪聲（random noise）。“誤差項（噪聲項）”的引入允許我們獲得參數值和預測的置信程度。 
我們進一步假設獨立同分布且服從均值爲0，方差爲的高斯分佈，那麼我們能夠把這個假設寫爲，即的概率密度是： ，（我的補充：我們還假設了變量X也是服從高斯分佈的，假設X服從的高斯分佈的參數同一樣，所以會得到以下的y的分佈）

那麼根據高斯分佈的性質，這時候的輸出y也是一個隨機變量。且有，即： 

假設噪聲及自變量服從高斯分佈的情況的說明到此爲止。

2.2、像邏輯迴歸，它假設的是因變量y服從的是伯努利分佈（二項分佈）

參考博客：https://blog.csdn.net/xierhacker/article/details/53364408

複述：

首先來看看伯努利分佈： 
伯努利分佈可以寫爲一下的形式： 
，接着可以對該形式進行變形：

2.3、引出廣義線性模型：

從2.1、2.2的式子進行觀察，可以發現兩個式子的相似之處，可以發現，它倆都是以e爲底的指數函數，所以對其進行抽象：

不知道是誰將其抽象成了如下形式：

，還給它起了個名字：指數函數族，因爲在這種通用形式下，通過改變b(y)、η、T(y)、α(η)、，就可以得到高斯分佈的y、伯努利分佈的y。

2.3.1、高斯分佈與指數函數族

通過2.1結合2.3的函數指數族的形式，去套式子，套用之前可以先將2.1修改爲：這種樣式，並且：在線性迴歸的例子裏面，對於參數（權重）的選擇是沒有影響的（這點沒思考爲什麼），所以這裏爲了方便起見，令。 
我們有： 

通過與2.3的抽象式子進行對比，可以得到：

2.3.2、伯努利分佈與指數函數族

通過2.2與2.3的函數指數族的式子，把作爲自然參數η，然後α，b，T的選擇如下。 
 
可以發現，伯努利分佈確實能夠寫爲指數分佈族的形式。

2.3.3、總結下（得出廣義線性模型）

通過2.3.1、2.3.2總結出的η、T(y)、α(η)、b(y)，可以看到：T(y)是y的函數，α(η)是η的函數，b(y)是y的函數。並且，2.3.1和2.3.2都滿足這樣的形式，那麼可以總結一下，給出廣義線性模型的定義，先定下3個假設：

1.,這個假設的意思是對於給定的x和θ，y的分佈要隸屬於以η爲參數的指數分佈族。（不然上面講那麼多指數分佈族幹嘛？）

2.對於給定的x，我們的目標是得到的輸出滿足(以logistic迴歸爲例子，有)。

3.自然參數η和輸入x滿足線性關係：。（如果η是一個向量值，那麼有）

如果一個分佈滿足了上面的3條假設，那麼它就是廣義線性模型。

對於邏輯迴歸：

我們已經知道了它服從伯努利分佈，而伯努利分佈滿足假設1，並且滿足假設2，對於假設3，我們從2.3.2中已經得到了η=，並且Ø=P（Y=1|x）=，所以可以得到，即滿足假設3，所以邏輯迴歸就是廣義線性模型。

對於線性迴歸：

我們也知道了它服從高斯分佈，而高斯分佈首先滿足假設1，其次，根據高斯分佈的性質可知其滿足假設2，又根據2.1的內容及2.3.1的總結可知其滿足假設3，即η=θx，所以得出結論：線性迴歸也是廣義線性模型的一種。

2.4、對廣義線性模型的3個假設的進一步解釋：

參考博客：https://xg1990.com/blog/archives/304

 

2.4.1、假設三的解釋：

廣義線性模型的名字中有『線性』兩個字，自然它包含了線性計算的過程，也就是它的假設之一，定義線性預測算子(linear predictor)爲： 這裏的  θ  和 x都是向量，寫成標量形式就是：  通常 x 0 = 1 。 不要問爲何這麼定義，這可以理解爲 『廣義線性模型』 約定的規則。

2.4.2、假設二的解釋：

如果以概率論的方式解釋迴歸（regression）這一過程，我們可以把通過給定的自變量 x，和相關的線性參數 θ 估計因變量 y 的過程。 理解爲求解條件概率 的過程。 也就是在給定了 的條件下，求解因變量 y 的概率分佈曲線。 然後，計算這個概率分佈的期望值E(y|x,θ)，作爲 y 的估計值，同時這個概率分佈的方差作爲 y 的估計值的方差。 因此第二個假設就是：y 的估計值就是 的期望值。 如果用  h(x,θ)表示 y 的估計值，這一假設寫爲：

2.4.3、假設一的解釋：

在毫無頭緒的情況下，要求解 的函數表達式不太可行。因此 廣義線性模型做出假設，的概率分佈服從如下形式： 注意，這裏的 ，因此這個概率分佈也可以寫成： 其中 是 y 的函數， a(η) 是η 的函數。 a,b,T 這三個函數的形式未知，是一種抽象的表達方式。凡是能寫成這個形式的概率分佈函數，都稱之爲指數分佈族中的一種特例。