logistic Regression 存在的限制 與 解決辦法

logistic Regression存在的限制：（所有圖來源於Bishop）

Problem：對於logistic Regression解決分類問題，分類邊界是一條直線，但是當存在某些數據，會找不到一條直線分界，怎麼辦呢？

Solve：（1）feature transformation，即特徵轉換。舉例說明：

存在4組數據，[ x₁, x₂] 分別是[0, 0]、 [0, 1]、 [1, 0]、 [1, 1]，zhe我們把數據點畫在二維平面上，如下圖所示：

我們發現無論如何也無法找到一條直線作爲分界來劃分紅色和藍色的數據點。此時，我們可以進行特徵轉換，特徵轉換可以自定義方式，比如：

[ x₁, x₂]轉換爲[x₁', x₂']， 其中x₁ 爲 x₁'與[0, 0] 的距離，其中x₂爲 x₂'與[1, 1] 的距離，因此轉換後的數據點如圖所示（自己畫的比較醜）：

_{可以看到特徵可以被一條直線分界，可以使用logistic Regression進行分類。}

_{（2）因爲選擇一個合適的特徵轉換也不是很容易的，所以}使用Cascading logistic regression級聯邏輯斯特迴歸解決上述問題。

如圖所示：

我來解釋一下：在Feature Transformation部分，我們使用logistic regression進行進行特徵轉換工作。對x₁，z₁ =  x₁* w₁ +  x₂*w₁  ，對x₂，z₂ =  x₁* w₃ +  x₂* w₄  。然後z₁，z₂分別進行sigmoid function，得到x₁',x₂'，再進入下一個階段的logistic regression分類。