在研究深度学,尤其时back-propagation算法时,对梯度和偏导的概念有很多涉及。个人数学功底渣渣,通过多处求证,在这里简单回顾梳理一下,以避免混淆模糊,便于不时查阅。
首先,导数仅定义在一元函数y = f(x)上,而偏导和梯度是定义在多元函数y = f(x1,x2,x3,..,xn)上;导数和偏导是实数,梯度是一个向量。
导数:derivative:有一阶和高阶导数(high order derivative)
在研究深度学,尤其时back-propagation算法时,对梯度和偏导的概念有很多涉及。个人数学功底渣渣,通过多处求证,在这里简单回顾梳理一下,以避免混淆模糊,便于不时查阅。
首先,导数仅定义在一元函数y = f(x)上,而偏导和梯度是定义在多元函数y = f(x1,x2,x3,..,xn)上;导数和偏导是实数,梯度是一个向量。