机器学习之数学基础一导数

导数(Derivative)是微积分学中重要的基础概念.一个函数在某一点的导数描述了这个函数在这一点附近的变化率。

导数的本质是通过极限的概念对函数进行局部的线性逼近.当函数f的自变量在一点x0上产生一个增量h时,函数输出值的增量与自变量增量h的比值在h趋于0时的极限存在,即为f在x0处的导数, 记作.y'、f'(x_0)\frac{\mathrm{d}f}{\mathrm{d}x}(x_0)\left.\frac{\mathrm{d}f}{\mathrm{d}x}\right|_{x=x_0}

几何意义:

表示函数曲线在点P0(x0,f(x0))处的切线的斜率(导数的几何意义是该函数曲线在这一点上的切线斜率)。

对于可导的函数fx \mapsto f'(x)也是一个函数,称作f的导函数。寻找已知的函数在某点的导数或其导函数的过程称为求导。反之,已知导函数也可以倒过来求原来的函数,即不定积分。

一般定义

设有定义域和取值都在实数域中的函数 y=f(x)\;。若 f(x)\; 在点\;x_0\;的某个邻域内有定义,则当自变量\;x\; 在 \;x_0\; 处取得增量 \Delta x\;(点\;x_0+\Delta x\; 仍在该邻域内)时,相应地 \;y\; 取得增量 \Delta y=f(x_0+\Delta x)-f(x_0)\,\!;如果 \Delta \;y\; \Delta \;x\; 之比当\Delta x\to 0 时的极限存在,则称函数 y=f(x)\,\! 在点 \;x_0\; 处可导,并称这个极限为函数 y=f(x)\,\! 在点 \;x_0\; 处的导数,记为 f'(x_0)\;:

即:f'(x_0)=\lim_{\Delta x \to 0}\frac{\Delta y}{\Delta x}=\lim_{\Delta x \to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}

也可记作 y^\prime (x_0)、 \left.\frac{\mathrm{d}y}{\mathrm{d}x}\right|_{x=x_0}、 \frac{\mathrm{d}f}{\mathrm{d}x}(x_0)或 \left.\frac{\mathrm{d}f}{\mathrm{d}x}\right|_{x=x_0}

导数与微分

微分也是一种线性描述函数在一点附近变化的方式。微分和导数是两个不同的概念。但是,对一元函数来说,可微与可导是完全等价的。可微的函数,其微分等于导数乘以自变量的微分,换句话说,函数的微分与自变量的微分之商等于该函数的导数。因此,导数也叫做微商。函数y = f(x)的微分又可记作\mathrm{d}y = f'(x)\mathrm{d}x。 

基本函数的导数

1、导数的四则运算:

2、原函数与反函数导数关系(由三角函数导数推反三角函数的):

y=f(x)的反函数是x=g(y),则有y'=1/x'。

3、复合函数的导数:

复合函数对自变量的导数,等于已知函数对中间变量的导数,乘以中间变量对自变量的导数(称为链式法则)。

4、变限积分的求导法则:

 

(a(x),b(x)为子函数)

高阶导数:

一阶导数的导数称为二阶导数,二阶以上的导数可由归纳法逐阶定义。二阶和二阶以上的导数统称为高阶导数。

y = f(x)的导数 y = f'(x)仍是 x 的函数,通常把导函数y=f'(x) 的导数叫做函数的二阶导数,记作:f''(x),y"  即

 
或者写成:

 
类似地,二阶导数的导数叫做三阶导数,三阶导数的导数叫做四阶导数…… . 一般地,n-1阶导数的导数叫做 n 阶导数,即

 

分别记作:

 

或者写为:

二阶及二阶以上的导数统称为高阶导数。

偏导数

如果有函数 f 其自变量不是单个实数,而是多于一个元素,例如:f(x,y) = x^2 + xy + y^2.\,

这时可以把其中一个元素(比如 x )看做参数,那么 f 可以看做是关于另一个元素的参数函数:

f(x,y) = f_x(y) = x^2 + xy + y^2.\,

也就是说,对于某个确定的 x,函数 f_x 就是一个关于 y 的函数。在 x=a 固定的情况下,可以计算这个函数 f_x 关于 y 的导数。f_a'(y) = a + 2y\,

这个表达式对于所有的 a 都对。这种导数称为偏导数,一般记作:

{\displaystyle {\frac {\partial f}{\partial y}}(x,y)=x+2y}

这里的符号 ∂ 是字母 d 的圆体变体,一般读作 \delta 的首音节或读“偏”,以便与d 区别。

更一般地来说,一个多元函数 f \left( x_1 , x_2 , \cdots, x_n \right) 在点 \left( a_1 , a_2 , \cdots, a_n \right) 处对 x_{i} 的偏导数定义为:

{\displaystyle {\frac {\partial f}{\partial x_{i}}}(a_{1},\ldots ,a_{n})=\lim _{h\to 0}{\frac {f(a_{1},\ldots ,a_{i}+h,\ldots ,a_{n})-f(a_{1},\ldots ,a_{n})}{h}}.}

上面的极限中,除了 x_{i} 外所有的自变元都是固定的,这就确定了一个一元函数:

f_{a_1,\ldots,a_{i-1},a_{i+1},\ldots,a_n}(x_i) = f(a_1,\ldots,a_{i-1},x_i,a_{i+1},\ldots,a_n)

因此,按定义有:

{\displaystyle {\frac {df_{a_{1},\ldots ,a_{i-1},a_{i+1},\ldots ,a_{n}}}{dx_{i}}}(a_{i})={\frac {\partial f}{\partial x_{i}}}(a_{1},\ldots ,a_{n}).}

偏导数的实质仍然是一元函数的导数。

多变量函数的一个重要的例子,是从\mathbf{R}^n(例如 \mathbf{R}^2 或\mathbf{R}^3)映射到\mathbf{R}上的标量值函数 f \left( x_1 , x_2 , \cdots, x_n \right)。在这种情况下,f 关于每一个变量 x_{i} 都有偏导数{\displaystyle {\frac {\partial f}{\partial x_{i}}}}。在点 x=\boldsymbol{a},这些偏导数定义了一个向量:

\nabla f({\boldsymbol  {a}})=\left[{\frac  {\partial f}{\partial x_{1}}}({\boldsymbol  {a}}),\ldots ,{\frac  {\partial f}{\partial x_{n}}}({\boldsymbol  {a}})\right]

这个向量称为 f 在点 \boldsymbol{a} 的梯度.

如果 f 在定义域中的每一个点都是可微的,那么梯度便是一个向量值函数\nabla f,它把点 a 映射到向量 \nabla f(a)。这样,梯度便决定了一个向量场

 

参考:

https://blog.csdn.net/richard9006/article/details/85037690

https://www.cnblogs.com/ms-uap/p/9957269.html

https://www.cnblogs.com/lingjiajun/p/9895753.html

https://www.jianshu.com/p/5eee8a30cbdb

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章