本文轉載於以下博客地址：https://blog.csdn.net/dss_dssssd/article/details/83959474
如有冒犯，還望見諒！
本文內容：
1. Xavier 初始化
2. nn.init 中各種初始化函數
3. He 初始化
torch.init ：https://pytorch.org/docs/stable/nn.html#torch-nn-init
1. 均勻分佈
torch.nn.init.uniform_(tensor, a=0, b=1)
服從~U(a,b)
U(a,b)
2. 正太分佈
torch.nn.init.normal_(tensor, mean=0, std=1)
服從~N(mean,std)
N(mean,std)
3. 初始化爲常數
torch.nn.init.constant_(tensor, val)
初始化整個矩陣爲常數val
4. Xavier
基本思想是通過網絡層時，輸入和輸出的方差相同，包括前向傳播和後向傳播。具體看以下博文：
爲什麼需要Xavier 初始化？
文章第一段通過sigmoid激活函數講述了爲何初始化？
在這裏插入圖片描述
簡答的說就是：
如果初始化值很小，那麼隨着層數的傳遞，方差就會趨於0，此時輸入值 也變得越來越小，在sigmoid上就是在0附近，接近於線性，失去了非線性
如果初始值很大，那麼隨着層數的傳遞，方差會迅速增加，此時輸入值變得很大，而sigmoid在大輸入值寫倒數趨近於0，反向傳播時會遇到梯度消失的問題
其他的激活函數同樣存在相同的問題。
https://prateekvjoshi.com/2016/03/29/understanding-xavier-initialization-in-deep-neural-networks/
所以論文提出，在每一層網絡保證輸入和輸出的方差相同。
2. xavier初始化的簡單推導
https://blog.csdn.net/u011534057/article/details/51673458
對於Xavier初始化方式，pytorch提供了uniform和normal兩種：
torch.nn.init.xavier_uniform_(tensor, gain=1) 均勻分佈 ~ U(−a,a)
U(−a,a)
其中， a的計算公式：a=gain×6fan_in+fan_out−−−−−−−−−−−√a=gain×fan_in+fan_out6
torch.nn.init.xavier_normal_(tensor, gain=1) 正態分佈~N(0,std)
N(0,std)
其中std的計算公式：
std=gain×2fan_in+fan_out−−−−−−−−−−−√std=gain×fan_in+fan_out2
5. kaiming (He initialization)
Xavier在tanh中表現的很好，但在Relu激活函數中表現的很差，所何凱明提出了針對於Relu的初始化方法。
Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification He, K. et al. (2015)
該方法基於He initialization,其簡單的思想是：
在ReLU網絡中，假定每一層有一半的神經元被激活，另一半爲0，所以，要保持方差不變，只需要在 Xavier 的基礎上再除以2
也就是說在方差推到過程中，式子左側除以2.
pytorch也提供了兩個版本：
torch.nn.init.kaiming_uniform_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’)， 均勻分佈 ~ U(−bound,bound)
U(−bound,bound)
其中，bound的計算公式：
bound=6(1+a2)×fan_in−−−−−−−−−√bound=(1+a2)×fan_in6
torch.nn.init.kaiming_normal_(tensor, a=0, mode=‘fan_in’, nonlinearity=‘leaky_relu’), 正態分佈~ N(0,std)
N(0,std)
其中，std的計算公式：
std=2(1+a2)×fan_in−−−−−−−−−√
std=(1+a2)×fan_in2
兩函數的參數：
a：該層後面一層的激活函數中負的斜率(默認爲ReLU，此時a=0)
mode：‘fan_in’ (default) 或者 ‘fan_out’. 使用fan_in保持weights的方差在前向傳播中不變；使用fan_out保持weights的方差在反向傳播中不變
針對於Relu的激活函數，基本使用He initialization，pytorch也是使用kaiming 初始化卷積層參數的
---------------------