Logistic迴歸-代價函數求導過程 | 內含數學相關基礎

轉載自:https://blog.csdn.net/JUNJUN_ZHAO/article/details/78564557

相關函數求導公式

先複習回顧下一些數學基礎,幫助推導過程可以更好的理解。下面列舉的公式都是,接下來的推導中會用到的,沒有涉及到的公式,此處不再列舉。

  • 常數項求導

    常數項

  • 以 e 爲底的指數求導公式

    e 爲底的指數求導

  • 對數複合求導公式

  • 對數複合求導公式

  • 冪函數複合求導公式

    冪函數複合求導公式

  • 函數的和、差、積、商的求導法則

    函數的和、差、積、商的求導法則,都可導,則:

    (1) 和差求導

    (2) 乘積求導

    (3) 常數乘函數

    (4) 商求導

  • 複合函數求導法則

  • 設 複合求導 而複合求導複合求導 及 這裏寫圖片描述 都可導,則複合函數 這裏寫圖片描述 的導數爲

    這裏寫圖片描述


  • Logistic 迴歸的 Cost function 的推導過程:

  • 之前採用的是梯度下降算法用來求函數的最小值。

    好吧,來吧正式開始了,有了以上的數學求導基礎,接下來就容易多了,公式嘛,當初上學時,老師常說的一句話:“背過,記住!”

    Logistic迴歸的代價函數可以統一寫成如下一個等式

    這裏寫圖片描述

    其中

    : 
    這裏寫圖片描述

    這裏寫圖片描述

    下面開始我們的推導過程:如果要求這裏寫圖片描述 對某一個參數這裏寫圖片描述的偏導數,則:

  • 1.根據求導公式,可以先把常數項 這裏寫圖片描述提取出來,這樣就只需要對求和符號內部的表達式求導,即:
  • (1) 這裏寫圖片描述

    其中 K(θ)’ 爲:(爲方便顯示,先把右上角表示第i個

    樣本的上標去掉)

    這裏寫圖片描述

  • 2.根據對數複合求導公式, 
    這裏寫圖片描述, 
    對 K(θ)’ 繼續求導可得:
  • (2) 這裏寫圖片描述

    之後 需要

    對 這裏寫圖片描述

    現在 根據上面提到的

  • 冪函數複合求導公式
  • 這裏寫圖片描述

  • 以 e 爲底的指數求導公式
  • 這裏寫圖片描述

    先對這裏寫圖片描述求導:

    根據上面的已知公

    式:

    這裏寫圖片描述

    依據上面的商求導公式可得:

    這裏寫圖片描述

    這裏寫圖片描述

  • 這裏寫圖片描述

    這裏寫圖片描述

    這裏寫圖片描述

    將 (3) (4) 代入 (2) 中 ,可

    得:

    這裏寫圖片描述

    這裏寫圖片描述

  • 這裏寫圖片描述

    推導結果

    這裏寫圖片描述

    結論:Logistic Regression 的目的是 求解一組最佳擬合參數 θ 。這個求解的過程是由最優化算法完成的。

    參考文獻:

    [1] 玄天妙地 .第三週:邏輯迴歸代價函數求導過程 [OL]

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章