CNN笔记(2)--网络参数初始化

7网络参数初始化

7.1 全零初始化

网络收敛到稳定状态时，参数（权值）在理想情况下应基本保持正负各半，期望为0

全0初始化可以使初始化全零时参数期望为0

但是，全0初始化不能训练

7.2随机初始化

仍然希望参数期望接近1

随机参数服从高斯分布或均匀分布进行初始化

7.2.1.高斯分布

高斯分布为均值为0，方差为1 的标准高斯分布

w = 0.001 .* randn(n_in,n_out);    %0.001控制参数量纲，使参数期望保持在接近0的较小数值范围内

即网络输出数据分布的方差会随着输入神经元个数改变

7.2.2.Xaiver参数初始化方法

对方差大小规范化

w = (0.001 .* randn(n_in, n_out)) ./ sqrt(n);

乘上1n√$\frac{1}{\sqrt{n}}$

7.2.3.He参数初始化

乘上1n/2√$\frac{1}{\sqrt{n/2}}$

收敛效果更好

7.2.4 均匀分布

在区间[low,high]上成规范化系数

7.3其他初始化

• 采用预训练模型
• 数据敏感的参数初始化方式

参考文献：解析卷积神经网络—深度学习实践手册