CNN筆記(2)--網絡參數初始化

7網絡參數初始化

7.1 全零初始化

網絡收斂到穩定狀態時，參數（權值）在理想情況下應基本保持正負各半，期望爲0

全0初始化可以使初始化全零時參數期望爲0

但是，全0初始化不能訓練

7.2隨機初始化

仍然希望參數期望接近1

隨機參數服從高斯分佈或均勻分佈進行初始化

7.2.1.高斯分佈

高斯分佈爲均值爲0，方差爲1 的標準高斯分佈

w = 0.001 .* randn(n_in,n_out);    %0.001控制參數量綱，使參數期望保持在接近0的較小數值範圍內

即網絡輸出數據分佈的方差會隨着輸入神經元個數改變

7.2.2.Xaiver參數初始化方法

對方差大小規範化

w = (0.001 .* randn(n_in, n_out)) ./ sqrt(n);

乘上1n√$\frac{1}{\sqrt{n}}$

7.2.3.He參數初始化

乘上1n/2√$\frac{1}{\sqrt{n/2}}$

收斂效果更好

7.2.4 均勻分佈

在區間[low,high]上成規範化係數

7.3其他初始化

• 採用預訓練模型
• 數據敏感的參數初始化方式

參考文獻：解析卷積神經網絡—深度學習實踐手冊