Andrew Ng機器學習筆記（三）——牛頓算法

複習：

Logistic迴歸：分類算法

假設給定x以爲參數的y=1和y=0的概率：

求對數似然性：

對其求偏導數，應用梯度上升方法，求得。

本次課程介紹的牛頓方法是一種比梯度上升快很多的方法，用於擬合Logistic迴歸

推導圖：

當要求解f(θ) = 0時,如果 f 可導,那麼可以通以下的迭代公式

當應用於求解最大似然估計的最大值時,變成求解l′(θ)  =0的問題。 

當 θ 是向量時,牛頓法的通用表達式變成：

H爲henssian矩陣，牛頓法收斂速度雖然很快,但求 Hessian 矩陣的逆的時候比較耗費時間。

更多相關文章亦可參考：【機器學習-斯坦福】學習筆記4 - 牛頓方法