xavier初始化的背后原理

一般来讲,要保持方差不变,线性变换是正交变换是最好的。如果是正交变换,则要求每个滤波向量的长度为1.可以证明以xavier初始化的方式,可以保证向量长度的期望为1.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章