Task03:梯度消失和爆炸
梯度消失和梯度爆炸：
深度模型有关数值稳定性的典型问题是梯度消失和梯度爆炸。当神经网络的层数较多时，模型的数值稳定性更容易变差。层数较多时，梯度的计算也容易出现消失或爆炸。 梯度消失是因为随着网络深度的加深，网络反向传播的小于1的导数经过逐层累积而导致其越靠近输入层，其值越小，因此靠近输入层的权值更新就会非常缓慢甚至停滞不前，那么网络深度的加深就失去了其意义，网络只等价于后面基层浅层网络的学习。梯度爆炸一般出现深层网络和权值初始化值太大的情况下。随着网络的深度的加深，大于1的导数经过逐层累积，变得非常大，梯度值太大，会导致权值瞬间跳跃，指向不应该指向的位置，导致训练收敛缓慢，甚至陷入局部最小值。
随机初始化模型参数：
在神经网络中，需要随机初始化参数。因为，神经网络模型在层之间各个单元具有对称性。否则会出错。若将每个隐藏单元参数都初始化为相等的值，则在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度相等。因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。之后的迭代亦是如此。 据此，无论隐藏单元有几个，隐藏层本质上只有一个隐藏单元在发挥作用。所以，通常将神经网络的模型参数，进行随机初始化以避免上述问题。