Batch Normalization 与 Instance Normalization

归一化的原因:

归一化是为了加快训练网络的收敛性,可以不进行归一化处理 
归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在-1--+1之间是统计的座标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算,首先基本度量单位要统一,神经网络是以样本在事件中的统计分别机率来进行训练(概率计算)和预测的,归一化是同一在0-1之间的统计概率分布; 
当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。

 

由名字Batch normalization,就知道参与某特定样本nomalization输出计算的统计量会受到batch中其他样本的影响。

而Instance normalization则是由自己计算出的统计量。由于风格转换的图片风格之间是比较独立的,所以应使用instance normalization

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章