吳大佬的網課——初識機器學習梯度下降法

之前討論到機器學習訓練其實就是找讓代價函數最下的參數，但是總不能讓我們人爲一個個輸入參數嘗試吧，我們需要能自動找到對應參數的算法。吳大佬講的第一個算法就是——梯度下降法

梯度下降法的具體步驟呢，其實和高數相關，高數有梯度這個概率，梯度方向是改變函數值最大的方向，所以梯度下降法的基本操作就是讓對應維度的值減去一個梯度乘乘一個學習率（數字），這樣就讓代價函數下降了。
需要注意的是我們我們要同時改變所有參數不能一個一個的改變，因爲一個一個的改變，會讓後面改變的參數的求導值發生變化，最後導致整個函數下降方向改變。