轉載自：https://blog.csdn.net/JUNJUN_ZHAO/article/details/78564557
相關函數求導公式
先複習回顧下一些數學基礎，幫助推導過程可以更好的理解。下面列舉的公式都是，接下來的推導中會用到的，沒有涉及到的公式，此處不再列舉。
-
常數項求導
-
以 e 爲底的指數求導公式
-
對數複合求導公式
-
-
冪函數複合求導公式
-
函數的和、差、積、商的求導法則
設
，都可導，則:
(1)
(2)
(3)
(4)
-
複合函數求導法則
-
設
而
且
及
都可導，則複合函數
的導數爲
-
Logistic 迴歸的 Cost function 的推導過程：
-
之前採用的是梯度下降算法用來求函數的最小值。
好吧，來吧正式開始了，有了以上的數學求導基礎，接下來就容易多了，公式嘛，當初上學時，老師常說的一句話：“背過，記住！”
Logistic迴歸的代價函數可以統一寫成如下一個等式：
其中
：
下面開始我們的推導過程：如果要求
對某一個參數
的偏導數，則：
- 1.根據求導公式，可以先把常數項
提取出來，這樣就只需要對求和符號內部的表達式求導，即：
-
(1)
其中 K(θ)’ 爲：（爲方便顯示，先把右上角表示第i個
樣本的上標去掉）
- 2.根據對數複合求導公式，
，
對 K(θ)’ 繼續求導可得： -
(2)
之後 需要
對
現在 根據上面提到的
- 冪函數複合求導公式
-
- 以 e 爲底的指數求導公式
-
先對
求導：
根據上面的已知公
式：
依據上面的商求導公式可得：
-
將 (3) (4) 代入 (2) 中 ，可
得：
-
推導結果：
結論：Logistic Regression 的目的是 求解一組最佳擬合參數 θ 。這個求解的過程是由最優化算法完成的。
參考文獻：
[1] 玄天妙地 .第三週：邏輯迴歸代價函數求導過程 [OL]
，都可導，則:
而
且
及 
都可導，則複合函數 
的導數爲
對某一個參數
的偏導數，則：
提取出來，這樣就只需要對求和符號內部的表達式求導，即：
， 
求導：
