機器學習之對數機率迴歸理解

對數機率迴歸不是迴歸,是分類。

1.對數機率迴歸的形式  由線性迴歸的y=WX轉化爲  y_pre=sigmoid(WX)即是對數機率迴歸

2.對數機率迴歸的名字來由(對數機率優化的本質):

    2.1由於上述1中的優化目標是希望預測y_pre=即sigmoid(WX)儘可能等於分類標記y

    2.2由sigmoid函數可以得到,即希望WX儘可能等於ln(y/(1-y))。

    2.3由於預測目標y爲1時是正例,y爲0時是負例,因此y的值可以視爲樣本爲正例的概率,同時1-y即可以視爲樣本爲負例的概率。

    2.4另y/(1-y)即正例概率與負例概率的比值(一個相對概率),通常稱爲機率,而ln(y/(1-y))則稱爲對數機率概率

    綜合2.2、2.4說明對數機率迴歸的目標是使WX儘可能等於對數機率,這就是對數機率迴歸名字的來由。

3.如何進行具體的最優化

    3.1對於任意樣本,預測值爲正例的概率爲sigmoid(WX),預測值爲負例的概率爲1-sigmoid(WX)

    3.2我們希望對於正例,我們希望最大化預測值爲正例的概率sigmoid(WX),對於負例,我們希望最大化預測值爲負例的概率1-sigmoid(WX),綜合我們希望最大化 Z=y*sigmoid(WX)+(1-y)*(1-sigmoid(WX)).也可以寫成y*y_pre+(1-y)*(1-y_pre)

    3.3通過梯度下降法和牛頓法可以進行基於該損失函數的優化

注:3.2中的損失函數也可以使用其他損失函數如mae、mse代替。即Z=mse(y,y_pre)

   

    

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章