在研究深度學,尤其時back-propagation算法時,對梯度和偏導的概念有很多涉及。個人數學功底渣渣,通過多處求證,在這裏簡單回顧梳理一下,以避免混淆模糊,便於不時查閱。
首先,導數僅定義在一元函數y = f(x)上,而偏導和梯度是定義在多元函數y = f(x1,x2,x3,..,xn)上;導數和偏導是實數,梯度是一個向量。
導數:derivative:有一階和高階導數(high order derivative)
在研究深度學,尤其時back-propagation算法時,對梯度和偏導的概念有很多涉及。個人數學功底渣渣,通過多處求證,在這裏簡單回顧梳理一下,以避免混淆模糊,便於不時查閱。
首先,導數僅定義在一元函數y = f(x)上,而偏導和梯度是定義在多元函數y = f(x1,x2,x3,..,xn)上;導數和偏導是實數,梯度是一個向量。