3種不同形式的梯度下降算法（SGD、MBGD、BGD）

pre

爲了便於理解使用只含有一個特徵的線性迴歸進行陳述：
假設函數：
$h_{\theta}(x^{(i)})=\theta_{1}x^{(i)}+\theta_{0}$
使用MSE損失函數
$J_{(\theta_{0},\theta_{1})} =\frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})^2$
使用MSE + $L_2$ 正則化
$J_{(\theta_{0},\theta_{1})} =\frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})^2 + \frac{1}{2m}||\theta_1||^2$

批梯度下降

公式

代碼demo

隨機梯度下降

公式

代碼demo

小批量梯度下降

公式

代碼demo

參考文獻

REF1
REF2
REF3
REF4
其中REF3在BGD上的公式有誤，參考REF1