xavier初始化的背後原理

一般來講,要保持方差不變,線性變換是正交變換是最好的。如果是正交變換,則要求每個濾波向量的長度爲1.可以證明以xavier初始化的方式,可以保證向量長度的期望爲1.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章