網絡權重初始化方法總結（上）：梯度消失、梯度爆炸與不好的初始化

博客：blog.shinelee.me | 博客園 | CSDN

前向傳播與反向傳播回顧

神經網絡的訓練過程可以簡化成以下步驟，

1. 輸入預處理（feature scaling等）
2. 初始化網絡weight和bias
3. 前向傳播，得到網絡輸出
4. 計算損失函數，得到當前損失
5. 反向傳播，根據鏈式法則，逐層回傳得到損失函數對當前參數的偏導，根據梯度下降算法對當前參數進行更新
6. 重複步驟3 4 5，直到損失不再減小，即收斂

一個簡單的前向傳播和反向傳播的示意圖如下，線性組合和非線性激活交替進行，線性組合層可以爲全連接層或卷積層等，圖片來自鏈接，

梯度下降算法的參數更新公式爲，
$W(t+1)=W(t)-\eta \frac{d C}{d W}$
其中$C=J(W)$爲損失函數，即通過參數的偏導對參數進行更新。反向傳播時，由鏈式法則，偏導反向回傳，逐層計算損失函數對當前參數的偏導。對某個參數的偏導爲一串因子的乘積，因子依次爲損失函數對網絡輸出的偏導、激活函數的偏導、線性組合的偏導、激活函數的偏導、線性組合的偏導……如下面所示（來自鏈接），這裏，損失爲二分之LMS，用$C$表示，$z$爲線性組合的輸出（激活層的輸入），$a$爲激活層的輸出（線性組合的輸入），

仔細觀察上式，偏導爲一串因子的乘積，因子中的每一項對乘積結果都有影響，有幾點需要注意，回傳時，

• 每個權重的偏導中含有一個共同的因子項，爲損失函數對網絡輸出的偏導
• 每經過一個激活層，就有一個激活函數偏導作爲因子項，如$\sigma'(z^L)=\frac{\partial a^L}{\partial z^L}$
• 對當前線性組合層的權重求偏導，含且只含一個**當前層的輸入（前一層的輸出）**作爲因子項，如$a^{L-1}$
• 每經過一個線性組合層（全連接層or卷積層），就有一個權重矩陣作爲因子項，如$w^L$

所以，激活函數的偏導、權重矩陣、當前層的輸入（前一層的輸出），這些項的取值均會對偏導數產生影響，偏導數爲這些因子項共同作用的結果，特別地，

• 若激活函數偏導爲0，則權重偏導爲0；
• 若前一層的輸出（當前層輸入）爲0，則當前層權重的偏導爲0；
• 若後一層的權重$w^L$爲0，則當前層權重的偏導$\frac{\partial C}{\partial {w^{L-1}}}$爲0；

直覺上，因子項連乘可能隱含潛在的問題：$0.25^{10} = 0.00000095367431640625$，$2^{10}=1024$。對於現在動輒幾十、成百、上千層的網絡，**這些因子項的取值範圍極大地影響着權重偏導的結果：小了，經過連續相乘，結果可能接近於0，大了，結果可能超過數據類型的上界。**同時，網絡的深度讓這個問題指數級地放大了。

梯度消失與梯度爆炸

梯度爲偏導數構成的向量。

損失函數收斂至極小值時，梯度爲0（接近0），損失函數不再下降。**我們不希望在抵達極小值前，梯度就爲0了，也不希望下降過程過於震盪，甚至不收斂。**梯度消失與梯度爆炸分別對應這2種現象，

梯度消失(vanishing gradients)：指的是在訓練過程中，梯度（偏導）過早接近於0的現象，導致（部分）參數一直不再更新，整體上表現得像損失函數收斂了，實際上網絡尚未得到充分的訓練。

梯度爆炸（exploding gradients）：指的是在訓練過程中，梯度（偏導）過大甚至爲NAN（not a number）的現象，導致損失劇烈震盪，甚至發散(divergence)。

由上一節的分析可知，在梯度（偏導）計算中，主要的影響因素來自激活函數的偏導、當前層的輸入（前一層的輸出）、以及權重的數值等，這些因子連續相乘，帶來的影響是指數級的。訓練階段，權重在不斷調整，每一層的輸入輸出也在不斷變化，梯度消失和梯度爆炸可能發生在訓練的一開始、也可能發生在訓練的過程中。

因子項中當前層的輸入僅出現一次，下面着重看一下激活函數和權重的影響。

激活函數的影響

以Sigmoid和Tanh爲例，其函數與導數如下（來自鏈接），

兩者的導數均在原點處取得最大值，前者爲0.25後者爲1，在遠離原點的正負方向上，兩者導數均趨近於0，即存在飽和區。

• 原點附近：從因子項連乘結果看，Tanh比Sigmoid稍好，其在原點附近的導數在1附近，如果激活函數的輸入均在0左右，偏導連續相乘不會很小也不會很大。而sigmoid就會比較糟糕，其導數最大值爲0.25，連續相乘會使梯度指數級減小，在反向傳播時，對層數越多的網絡，淺層的梯度消失現象越明顯。
• 飽和區：一旦陷入飽和區，兩者的偏導都接近於0，導致權重的更新量很小，比如某些權重很大，導致相關的神經元一直陷在飽和區，更新量又接近於0，以致很難跳出或者要花費很長時間才能跳出飽和區。

所以，一個改善方向是選擇更好的非線性激活函數，比如ReLU，相關激活函數如下圖所示，

ReLU只在負方向上存在飽和區，正方向上的導數均爲1，因此相對更少地遭遇梯度消失，但梯度爆炸現象仍然存在。

權重矩陣的影響

假設激活函數爲線性，就像ReLU的正向部分，導數全爲1。則一個簡化版本的全連接神經網絡如下圖所示，

假設權重矩陣均爲$W$，前向傳播和反向傳播過程均涉及$W$（轉置）的反覆相乘，$t$步相當於$W^t$，若$W$有特徵值分解 $W = V diag ( \lambda ) V^{-1}$，簡單地，

$W^t = (V \ diag(\lambda) \ V^{-1})^t = V \ diag(\lambda)^t \ V^{-1}$
其中$diag(\lambda)$爲特徵值對角矩陣，如果特徵值$\lambda_i$不在1附近，大於1經過$t$次冪後會“爆炸”，小於1經過$t$次冪後會“消失”。

如果網絡初始化時，權重矩陣過小或過大，則在網絡訓練的初始階段就可能遭遇梯度消失或梯度爆炸，表現爲損失函數不下降或者過於震盪。

不良初始化

至此，一些權重不良初始化導致的問題就不難解釋了，

• 過小，導致梯度消失

• 過大，導致梯度爆炸

• 全常數初始化，即所有權重$W$都相同，則$z^{(2)}=W^1 x$相同，導致後面每一層的輸入和輸出均相同，即$a$和$z$相同，回到反向傳播的公式，每層的偏導相同，進一步導致每層的權重會向相同的方向同步更新，如果學習率只有一個，則每層更新後的權重仍然相同，每層的效果等價於一個神經元，這無疑極大限制了網絡的能力。
  

• 特別地，全0初始化，根據上式，如果激活函數$g(0) = 0$，如ReLU，則初始狀態所有激活函數的輸入$z$和輸出$a$都爲0，反向傳播時所有的梯度爲0，權重不會更新，一直保持爲0；如果激活函數$g(0) \neq 0$，則初始狀態激活層的輸入爲0，但輸出$a\neq 0$，則權重會從最後一層開始逐層向前更新，改變全0的狀態，但是每層權重的更新方向仍相同，同上。

這幾種權重初始化方法對網絡訓練過程的影響，可在Initializing neural networks進行可視化實驗，可觀察權重、梯度和損失的變化，美中不足的是隱藏層的激活函數只有ReLU，不能更換爲Sigmoid、Tanh等，如下所示，

話說回來，所以我們需要好的網絡初始化方法，以對反向傳播過程中的梯度有所控制。對反向傳播中梯度加以控制的方法，不止這裏提到的損失函數和權重初始化，還有梯度截斷（gradient clipping）、網絡模型設計方面等方法，因爲本文的重點在於權重初始化，對此按下不表。

那麼，合適的網絡初始化方法是什麼呢？我們下回分解。

參考

• Initializing neural networks
• Deep Learning Best Practices (1) — Weight Initialization
• Complete Guide of Activation Functions
• Vanishing gradient problem
• deep learning book - optimization
• Danger of setting all initial weights to zero in Backpropagation