关于导数(derivative),偏导数(partial derivative),梯度(gradient)的概念辨析

在研究深度学,尤其时back-propagation算法时,对梯度和偏导的概念有很多涉及。个人数学功底渣渣,通过多处求证,在这里简单回顾梳理一下,以避免混淆模糊,便于不时查阅。

首先,导数仅定义在一元函数y = f(x)上,而偏导和梯度是定义在多元函数y = f(x1,x2,x3,..,xn)上;导数和偏导是实数,梯度是一个向量。

导数:derivative:有一阶和高阶导数(high order derivative)

            

偏导数:partial derivative:

梯度:gradient:是由偏导组成的向量

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章