神經網絡中參數的初始化問題

1. 爲什麼神經網絡不能初始化權重W爲0？

參考博客

2. 隨意初始化爲非零的權重是否可行?

答案肯定是不行的！
隨意的初始化權重可能會導致梯度爆炸和梯度消失。例如當神經網絡爲線性的，我們初始化所有參數W=0.1或者W=0.9，都會造成指數級影響

3. 如何解決神經網絡中參數初始化問題？

• 對於Relu函數我們一般使用0均值和方差爲2/n[l-1]的正太分佈
• 對於tanh函數，使用0均值和方差爲1/n[l-1]的正態分佈，被稱之爲Xavier初始化