Logistic Regression的決策超平面

深度學習中偏置（閾值）不參與正則化。這時候我就想到了邏輯迴歸和svm。
       svm和邏輯迴歸都是用來做分類的，而且就以機器學習的角度去講（先不從統計學分析）他們都是在找一個決策超平面。但是一個超平面的表現方式多種多樣，法向量的模長不同表現方式就不同。所以如果要找到最終決策超平面的一個形式，需要限定法向量的模長。在svm中將法向量的模長設定爲了一個特殊的值——最小函數距離的絕對值。通過拉格朗日乘子法最終加入到拉格朗日函數裏面。在邏輯迴歸中，如果想求得最終決策超平面的一個表達式也要設定法向量的模長爲c。同樣的通過拉格朗日乘子法可以把約束條件和目標函數合併起來。cost = lost+a（w*w-c*c），其中a大於等於零。具體推到可以去參考拉格朗日乘子法。這其實就是我們經常看到的代價函數的樣子，上面cost和lost兩個函數僅僅代表兩個函數名。在統計學裏面邏輯迴歸是假設樣本符合伯努利分佈的，伯努利分佈的共軛先驗分佈是β分佈，β分佈中權值w是在底數位置，不像高斯分佈一樣在指數位置，即使通過負對數也無法推導出二次範數正則項a（w*w-c*c）的統計意義。也就是說邏輯迴歸的二次範數正則項無法從統計解釋。但是話說回來，線性迴歸裏面的二次範式正則項引入雖然在統計學上是先驗分佈的表現，可是在求唯一一條擬合曲線的本質上又存在一點小矛盾。比如ax+b=y作爲擬合曲線，這時候就默認爲ax+b-y=0這樣一條形式固定的曲線，這時候的法向量a是受y前面的係數-1約束的，不能隨便變化了，表現形式已經唯一了，那麼從找唯一一個解的角度思考就沒有必要再約束w的二次範式了。這樣也就不會有二次範式正則項了。所以線性迴歸裏面通過統計解釋得通的東西在分類裏面解釋不通，求唯一決策面的思想解釋通了分類問題（邏輯迴歸）卻解釋不通線性迴歸的二次範式正則項。