哲哲的ML笔记（十八：反向传播）

正向传播

在之前介绍的通过神经网络预测结果，我们使用的其实是一种正向传播方法，从第一层开始正向一层一层进行计算，直到最后一层的

现在，为了计算代价函数的偏导数，我们需要采用一种反向传播算法，也就是首先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。 以一个例子来说明反向传播算法。

反向传播

1. 不考虑正则
   假设我们的训练集只有一个样本，我们的神经网络是一个四层的神经网络，考虑4分类问题
   ，画出图来和上面正向传播的图一样
   引入误差因子
   从最后一层开始计算，用表示预测值与实际值的差距， 也可以看成
   用计算前一层的误差(注意这里的不取)
   其中
   同理，
   第一层是输入层，不存在误差
   按照上图的网络结构，, ,

先不做正则化处理，
重要的是清楚地知道上面式子中上下标的含义：
代表目前所计算的是第几层。
代表目前计算层中的激活单元的下标，也将是下一层的第个输入变量的下标。
代表下一层中误差单元的下标，是受到权重矩阵中第行影响的下一层中的误差单元的下标。

2. 考虑正则
   表示整个误差矩阵，第层的第个激活单元受到第个参数影响而导致的误差
   首先用正向传播方法计算出每一层的激活单元，利用训练集的结果与神经网络预测的结果求出最后一层的误差，然后利用该误差运用反向传播法计算出直至第二层的所有误差。
   
   代价函数的偏导数
   
   

反向传播的直观理解

先从下图回顾一下前向传播，一个4层的神经网络，以图中的第3层的第1个激活单元为例

反向传播就按照上面这个过程反过来，从最后一层开始，往前逐层计算

反向传播算法的目的就是算出梯度下降的方向，而梯度下降的过程就是沿着方向下降，一直到局部最优点

的初始化

初始所有参数为0，这样的初始方法对于逻辑回归来说是可行的，但是对于神经网络来说是不可行的。如果我们令所有的初始参数都为0，这将意味着我们第二层的所有激活单元都会有相同的值。同理，如果我们初始所有的参数都为一个非0的数，结果也是一样的。

通常初始参数为正负ε之间的随机值，比如我们要随机初始一个尺寸为10×11的参数矩阵

神经网络使用小结

1. 选择网络结构，即决定选择多少层以及决定每层分别有多少个单元。
   第一层的单元数即我们训练集的特征数量。
   最后一层的单元数是我们训练集的结果的类的数量。
   如果隐藏层数大于1，确保每个隐藏层的单元个数相同，通常情况下隐藏层单元的个数越多越好。
2. 训练神经网络：
   2.1 参数的随机初始化
   2.2 利用正向传播方法计算所有的
   2.3 编写计算代价函数的代码
   2.4 利用反向传播方法计算所有偏导数
   2.5 利用数值检验方法检验这些偏导数
   2.6 使用优化算法来最小化代价函数