神经网络（二）——深入理解反向传播的四个基本方程

由于神经网络覆盖的内容比较多,一时提笔不知从何开始说起,刚好看到这一章以公式为主,因此先入手这一章。本章参考书籍《神经网络与深度学习》以及三蓝一棕的B站视频。

1.预备知识

我们先来看一张图，了解一下我们的符号定义：

我们首先给出网络中权重的定义：wljk$w_{jk}^l$ 表示从第l−1$l-1$ 层的的k$k$ 个神经元到l$l$ 层的第j$j$ 个神经元的连接的权重，可能大家会觉得这里权重的下标j$j$ 和k$k$ 应该调换，但是在之后的表达中，这样写会有一些好处。

我们继续来看一张图：

我们对网络的偏置和激活值也使用类似的表达。我们使用blj$b_j^l$ 表示在第l$l$ 层第j$j$ 个神经元的偏置，使用alj$a_j^l$ 表示第l$l$ 层第j$j$ 个神经元的激活值。
有了这些符号表示，第l$l$ 层第j$j$ 个神经元的激活值alj$a_j^l$ 就和第l−1$l-1$ 层的激活值关联起来了：

我相信你能看懂这个公式，举个例子，就是第二层的第一个神经元的激活值（值在0-1之间），是由第一层所有神经元的激活值乘上对应的权重矩阵（即每个激活值的重要程度）求和，然后加上第二层第一个神经元的偏置，最后通过整体利用sigmoid函数压缩到0-1的范围内。
但是一直看这个公式相信大家也会觉得很麻烦，毕竟太多的上标和下标要去思考含义，那我们就简化一下：

这样就简洁多了，为了在后面介绍四个方程时方便，我们引入一个中间量zl=wlal−1+bl$z^l=w^l{a}^{l-1}+b^l$ ，我们称zl$z^l$ 称为l$l$ 层的带权输入。则上面的式子有时也可以写成al=σ(zl)$a^l=\sigma (z^l)$ 。同样要指出的是zl$z^l$ 的每个元素是：

2. 反向传播的四个基本方程

我们要始终明确反向传播的目的是什么：反向传播算法是单个训练样本修改权重与偏置，影响代价函数的过程。最终极的含义就是计算偏导数:∂C∂ωjkl$\frac{\mathrm{\partial }C}{\mathrm{\partial }\omega {{}_{jk}}^l}$ 和∂C∂bjl$\frac{\mathrm{\partial }C}{\mathrm{\partial }b{{}_j}^l}$ ，也就是告诉我们在改变权重和偏置时，代价函数变化的快慢，我们希望沿着速度最快的方向改变代价函数。注意，为了方便计算，我们还是引入一个中间量δlj${\delta }_j^l$ ，这个我们称为在第l$l$ 层第j$j$ 个神经元上的误差。
这个误差是什么，如何来理解呢？我们先来看一下它的定义：δlj≡∂C∂zjl${\delta }_j^l\equiv \frac{\mathrm{\partial }C}{\mathrm{\partial }z{{}_j}^l}$ ，其实我们可以发现它其实是一个误差的度量，是一个变化率。假设在第l$l$ 层第j$j$ 个神经元上有一个微小的变化△zlj$\mathrm{△}{z}_j^l$ ，使得神经元输出由σ(zlj)$\sigma (z_j^l)$ 变成了σ(zlj+△zlj)$\sigma (z_j^l+\mathrm{△}{z}_j^l)$ 。这个变换会向网络后面的层进行传播，最终导致整个代价产生∂C∂zljΔzlj$\frac{\mathrm{\partial }C}{\mathrm{\partial }{z}_j^l}\mathrm{\Delta }{z}_j^l$ 。如果我们能找到使代价函数减小的Δzlj$\mathrm{\Delta }{z}_j^l$ ，并且使它与∂C∂zjl$\frac{\mathrm{\partial }C}{\mathrm{\partial }z{{}_j}^l}$ 变化率的符号相反，那么最终会使代价函数更小。
可能大家会疑惑为什么这里要用zl$z^l$ ，如果用激活值alj$a_j^l$ 表示度量误差的方法可能会更好理解。大家不要过于纠结这里，用前一种方法来表示会在后面公式推导的过程中更加方便，同样对这里误差的含义也不用太过纠结，我们就把它看成中间量。

2.1 四个方程的定义

1. 输出层误差的方程，δl${\delta }^l$ ，每个元素定义如下：

δLj=∂C∂aLjσ′(zLj).(BP1)$\begin{array}{}\text{(BP1)}& {\delta }_j^L=\frac{\mathrm{\partial }C}{\mathrm{\partial }{a}_j^L}{\sigma }^{\prime }(z_j^L).\end{array}$
右式第一项∂C/∂aLj$\mathrm{\partial }C/\mathrm{\partial }{a}_j^L$ 表示代价随着第j个输出激活值的变化而变化的速度。假设C不太依赖一个特定的输出神经元j，即变化率很小，那么δLj${\delta }_j^L$ 就会很小，这也是我们想要的效果。右式第二项σ′(zLj)${\sigma }^{\prime }(z_j^L)$ 为在zlj$z_j^l$ 处激活函数σ$\sigma$ 变化的速度。
以上是按每个元素分量定义的公式，如果以矩阵形式来表示，则为：
δL=∇aC⊙σ′(zL).(BP1a)$\begin{array}{}\text{(BP1a)}& {\delta }^L={\mathrm{\nabla }}_{a}C\odot {\sigma }^{\prime }(z^L).\end{array}$
这里∇aC${\mathrm{\nabla }}_{a}C$ 被定义成一个向量，其元素是偏导数∂C/∂aLj$\mathrm{\partial }C/\mathrm{\partial }{a}_j^L$ 。你可以将∇aC${\mathrm{\nabla }}_{a}C$ 看成是代价函数C关于输出激活值的改变速度。中间的那个符号表示为Hadamard乘积，其含义如下：

[12]⊙[34]=[1∗32∗4]=[38].(1)$$\begin{array}{}\text{(1)}& \left[\begin{array}{c}1\\ 2\end{array}\right]\odot \left[\begin{array}{c}3\\ 4\end{array}\right]=\left[\begin{array}{c}1\ast 3\\ 2\ast 4\end{array}\right]=\left[\begin{array}{c}3\\ 8\end{array}\right].\end{array}$$

（BP1）和（BP1a）是等价的。

2. 使用下一层的误差δl+1${\delta }^{l+1}$ 来表示当前层的误差δl${\delta }^l$ ：

δl=((wl+1)Tδl+1)⊙σ′(zl)(BP2)$$\begin{array}{}\text{(BP2)}& {\delta }^l=((w^{l+1}{)}^T{\delta }^{l+1})\odot {\sigma }^{\prime }(z^l)\end{array}$$

这个公式乍一看比较复杂，我们先不管它是如何推导出来的。先直观感受一下，我们一旦知道了当前层的误差，就可以求前一层的误差！这就引出了反向传播的感觉。通过组合（BP1）和（BP2），我们可以通过（BP1）计算当前层误差δl${\delta }^l$ ，通过（BP2）计算δl−1${\delta }^{l-1}$ ，再用（BP2）计算δl−2${\delta }^{l-2}$ ，一步步反向传播整个网络。

3. 代价函数关于网络中任意偏置的变化率：

∂C∂blj=δlj.(BP3)$$\begin{array}{}\text{(BP3)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{b}_j^l}={\delta }_j^l.\end{array}$$

神奇的发现误差δlj${\delta }_j^l$ 和偏导∂C∂blj$\frac{\mathrm{\partial }C}{\mathrm{\partial }{b}_j^l}$ 结果完全一样，这里可以发现，我们定义误差为z的好处了。

4. 代价函数关于任何一个权重的变化率：

∂C∂wljk=al−1kδlj.(BP4)$$\begin{array}{}\text{(BP4)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{w}_{jk}^l}=a_k^{l-1}{\delta }_j^l.\end{array}$$

直观来看一下，可以发现右式第一项是输入给权重w的神经元的激活值，右式第二项是输出自权重w的神经元的误差。当输入的激活值很小的时候，偏导数的值也会很小，我们可以得到一个结果，即来自低激活值神经元的权重学习会非常缓慢，基本已经饱和了。
回忆一下sigmoid函数的形状，结合（BP1）中的项σ′(zlk)${\sigma }^{\prime }(z_k^l)$ ，当σ(zlk)$\sigma (z_k^l)$ 近似为0或者1的时候，σ$\sigma$ 函数非常平缓，则σ′(zlk)${\sigma }^{\prime }(z_k^l)$ 近似为0。所以如果输出神经元处于低激活值或者高激活值状态时，最终层的权重学习缓慢，这样我们称神经元已经饱和了。
总结一下4个公式：

2.2 四个方程的证明

为了给大家更直观的证明，我们先进行单个参数的公式证明，假设一些内容：

C=12(al−y)2$C=\frac{1}{2}(a^l-y{)}^2$ ；zl=wlal−1+bl$z^l=w^l{a}^{l-1}+b^l$ ；al=σ(zl)$a^l=\sigma (z^l)$
所有的证明都是基于多元微积分的链式法则：首先是BP1

δl===∂C∂zl∂C∂al∗∂al∂zl(al−y)∗σ′(zl)(2)(3)(4)$$\begin{array}{}\text{(2)}& {\delta }^l& =& \frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^l}\text{(3)}& & =& \frac{\mathrm{\partial }C}{\mathrm{\partial }{a}^l}\ast \frac{\mathrm{\partial }{a}^l}{\mathrm{\partial }{z}^l}\text{(4)}& & =& (a^l-y)\ast {\sigma }^{\prime }(z^l)\end{array}$$

这就是链式法则，来，我们继续BP2:

δl=====∂C∂zl∂C∂zl+1∗∂zl+1∂zlδl+1j∗∂(wl+1al+b)∂zlδl+1j∗∂(wl+1σ(zl)+b)∂zlδl+1j∗wl+1∗σ′(zl)(5)(6)(7)(8)(9)$$\begin{array}{}\text{(5)}& {\delta }^l& =& \frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^l}\text{(6)}& & =& \frac{\mathrm{\partial }C}{\mathrm{\partial }{z}^{l+1}}\ast \frac{\mathrm{\partial }{z}^{l+1}}{\mathrm{\partial }{z}^l}\text{(7)}& & =& {\delta }_j^{l+1}\ast \frac{\mathrm{\partial }(w^{l+1}{a}^l+b)}{\mathrm{\partial }{z}^l}\text{(8)}& & =& {\delta }_j^{l+1}\ast \frac{\mathrm{\partial }(w^{l+1}\sigma (z^l)+b)}{\mathrm{\partial }{z}^l}\text{(9)}& & =& {\delta }_j^{l+1}\ast w^{l+1}\ast {\sigma }^{\prime }(z^l)\end{array}$$

继续，相信你也差不多知道BP3和BP4怎么证明了：BP3

∂C∂bl===∂C∂al∗∂al∂zl∗∂zl∂bl(al−y)∗σ′(zl)∗1δl(10)(11)(12)$$\begin{array}{}\text{(10)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{b}^l}& =& \frac{\mathrm{\partial }C}{\mathrm{\partial }{a}^l}\ast \frac{\mathrm{\partial }{a}^l}{\mathrm{\partial }{z}^l}\ast \frac{\mathrm{\partial }{z}^l}{\mathrm{\partial }{b}^l}\text{(11)}& & =& (a^l-y)\ast {\sigma }^{\prime }(z^l)\ast 1\text{(12)}& & =& {\delta }^l\end{array}$$

最后一个BP4:

∂C∂wl===∂C∂al∗∂al∂zl∗∂zl∂wl(al−y)∗σ′(zl)∗al−1al−1δl(13)(14)(15)$$\begin{array}{}\text{(13)}& \frac{\mathrm{\partial }C}{\mathrm{\partial }{w}^l}& =& \frac{\mathrm{\partial }C}{\mathrm{\partial }{a}^l}\ast \frac{\mathrm{\partial }{a}^l}{\mathrm{\partial }{z}^l}\ast \frac{\mathrm{\partial }{z}^l}{\mathrm{\partial }{w}^l}\text{(14)}& & =& (a^l-y)\ast {\sigma }^{\prime }(z^l)\ast a^{l-1}\text{(15)}& & =& a^{l-1}{\delta }^l\end{array}$$

以上就是针对单个参数的证明过程，同理对于多参数的情况，同样是利用链式法则来计算，这就大家自己去证明，主要就是加了一个求和的过程。

3.总结

上述虽然是说的4个方程，但是还是提醒大家注意反向传播的目的究竟是什么，最后要得到的还是代价函数对偏置和权重的求偏导（即是让单个训练样本代价函数能够改变的最快），因此（BP3）和（BP4）是我们最终要求的，（BP1）和（BP2）是帮助我们理解反向传播和计算方便的中间量。

键盘不灵了，打字贼痛苦。之后会出神经网络1的讲解