BP（Back Propagation）神经网络

一、导数

1、导数的公式及几何意义
（1）

（2）几何意义为当函数定义域和取值都在实数域中的时候，导数还可以表示函数曲线上的切线斜率。同时还表示在该点的变化率。

（3）在一元函数中只有一个自变量的变动，表示只存在一个方向的变化率，此时一元函数没有偏导数

2、偏导数
（1）若为偏导数则必须涉及两个或者以上的向量，此文以两个自变量为例，z = f(x,y)，此时则不再曲线，而表示的是曲面。曲线中我们的切线则只有一条，但是在曲面中某一点则有无数条切线。
（2）偏导数表示多元函数沿着座标轴的变化率

• $f_x=(x,y)$表示函数在y的方向不变，函数值沿着x轴方向的变化率
• $f_y=(x,y)$表示函数在x的方向不变，函数值沿着y轴方向的变化率

（3）偏导数对应的几何意义：

• 偏导数$f_x(x_0,y_0)$表示的是曲平面被平面y=$y_0$所截得得曲面在点$M_0$处的切线$M_0T_x$对x轴的斜率
• 偏导数$f_y(x_0,y_0)$表示的是曲平面被平面x=$x_0$所截得得曲面在点$M_0$处的切线$M_0T_y$对y轴的斜率

3、方向导数
（1）介于偏导数的局限性，因为它指的是多元函数沿着座标轴的变化率（某一个已知方向），但是我们需要考虑的是多元函数沿着任意方向的变化率，因此引出了方向导数。
（2）方向导数，它是一个数，是一个在某个方向上的导数，用$y=f(x)$来简单解释，我们一般默认的某个点切线的斜率，即为该点沿着X轴正半轴的导数。因为在$z=f(x,y)$这种多元变量的情况下，可能每一个点在360度方向上均有方向（某些方向可能导数不存在），也就是在多个方向上都有导数。
!
（3）在下山的问题中我们需要找到最陡峭的方向（梯度最大），才可以让我们下山越快。

（4）假设山坡的表示为$z=f(x,y)$，我们可以通过x，y方向的偏微分分别得出x，y方向的斜率，此时x，y方向的斜率相当于一个平面中的两个基向量，可以用来表示任何方向的斜率。

二、梯度（矢量）

1、方向导数可以理解为任何一个方向的导数
2、如果有多个方向，我们如何判断哪个方向上的导数是最大的呢？这个方向就是梯度，它是一个矢量，在梯度方向上的导数就是最大的方向导数。
3、设函数$f(x,y)$在平面区域D内具有一阶连续偏导数，则对每一点$P(x_0,y_0)\epsilon{D}$,都可以定出一个向量(矢量表示法)$f_x(x_0,y_0)i + f_y(x_0,y_0)j$称为$f(x,y)$在P点处的梯度，记作$\nabla{f(x_0,y_0)}$。
（1）具有一阶连续偏导数，意味着可微。可微意味着函数$f(x,y)$在各个方向的切线都在同一个平面上，也就是切平面。
（2）所有的切线都在一个平面上，某一点一定有且只有一个（梯度为0的情况除外，可以自己想想为什么？）最陡峭的地方（因为方向导数是切线的斜率，方向导数最大也就意味着最陡峭）。
4、方向导数和梯度的关系
（1）定义方向导数为
$D_uf=$$\lim_{t\longrightarrow0}\frac{f(x_0+t\cos\theta,y_0+t\sin\theta)-f(x_0,y_0)}{t}$
则称这个极限值是沿着方向的方向导数，那么随着的不同，我们可以求出任意方向的方向导数
$u={\cos\theta}i+{\sin\theta}j$为一个单位向量，θ不同则方向也不同
（2）、利用偏微分进行方向导数的简化
$D_uf(x,y)=f_x(x,y)\cos\theta+f_y(x,y)\sin\theta$
$\overrightarrow{A}=(f_x(x,y),f_y(x,y))$,$\overrightarrow{I}=(\cos\theta,\sin\theta)$
因此我们可以得出
$D_uf(x,y)=\overrightarrow{A}*\overrightarrow{I}=|A|*|I|\cos\alpha$
（3）那么此时如果$D_uf(x,y)$要取得最大值，也就是当为α为0度的时候，也就是向量I（这个方向是一直在变，在寻找一个函数变化最快的方向）与向量（这个方向当点固定下来的时候，它就是固定的）平行的时候，方向导数最大。

三、神经网络

四、BP(逆传播算法)

本文参考以下内容
[方向导数和梯度的关系](https://www.zhihu.com/question/36301367)
[强推的一个学习导数和梯度](https://www.matongxue.com/madocs/222/)
[有关DP的讲解](https://blog.csdn.net/u014303046/article/details/78200010#comments)
[有关DP的讲解](https://www.sohu.com/a/235924191_633698)