轉載自:https://blog.csdn.net/JUNJUN_ZHAO/article/details/78564557
相關函數求導公式
先複習回顧下一些數學基礎,幫助推導過程可以更好的理解。下面列舉的公式都是,接下來的推導中會用到的,沒有涉及到的公式,此處不再列舉。
-
常數項求導
-
以 e 爲底的指數求導公式
-
對數複合求導公式
-
-
冪函數複合求導公式
-
函數的和、差、積、商的求導法則
設
,都可導,則:
(1)
(2)
(3)
(4)
-
複合函數求導法則
-
設
而
且
及
都可導,則複合函數
的導數爲
-
Logistic 迴歸的 Cost function 的推導過程:
-
之前採用的是梯度下降算法用來求函數的最小值。
好吧,來吧正式開始了,有了以上的數學求導基礎,接下來就容易多了,公式嘛,當初上學時,老師常說的一句話:“背過,記住!”
Logistic迴歸的代價函數可以統一寫成如下一個等式:
其中
:
下面開始我們的推導過程:如果要求
對某一個參數
的偏導數,則:
- 1.根據求導公式,可以先把常數項
提取出來,這樣就只需要對求和符號內部的表達式求導,即:
-
(1)
其中 K(θ)’ 爲:(爲方便顯示,先把右上角表示第i個
樣本的上標去掉)
- 2.根據對數複合求導公式,
,
對 K(θ)’ 繼續求導可得: -
(2)
之後 需要
對
現在 根據上面提到的
- 冪函數複合求導公式
-
- 以 e 爲底的指數求導公式
-
先對
求導:
根據上面的已知公
式:
依據上面的商求導公式可得:
-
將 (3) (4) 代入 (2) 中 ,可
得:
-
推導結果:
結論:Logistic Regression 的目的是 求解一組最佳擬合參數 θ 。這個求解的過程是由最優化算法完成的。
參考文獻:
[1] 玄天妙地 .第三週:邏輯迴歸代價函數求導過程 [OL]