幾句話之梯度下降

背景

整理一下機器學習和深度學習的知識。
記憶力下降的厲害，不整理無動力學習，寫博客大概是自我救贖的好途徑吧。

梯度下降幾句話

內容轉載自：https://www.cnblogs.com/pinard/p/5970503.html



其中，θ是自變量，hθ是因變量。
梯度的方向是函數變化最快的方向，θ加上梯度乘以步長的話就是向最大的方向走一步，減去梯度乘以步長的話就是向最小的方向走一步。
梯度控制了走的方向，而步長控制了走的距離。
梯度刻畫的是因變量變化的方向，我們的目標是找到因變量取極值時自變量的值，那麼自然自變量要朝着讓因變量取極值的方向走（求最大則沿着正梯度走，最小則沿着負梯度走）。