深度學習中的三個重要對象(2)-----初始化對象

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/gdh756462786/article/details/79148534
 **在神經網絡層激活函數中,我們需要設置初始化,初始化對象用於隨機設定網絡層激活函數中權重值或偏置項的初始值,包括Kernel_initializer、bias_initializer。好的權重初始化值能幫助加快模型收斂速度。包括以下幾種初始化對象:**

Zeros,所有參數值都初始化爲0。
Ones,所有參數值都初始化爲1。
Constant(values=1),將所有參數都初始化爲某一個常量,比如設置爲0.5。
RandomNormal:將所有參數值都按正態分佈所生成的隨機數來初始化。均 值默認爲0,標準差認爲0.05,可以通過mean和stddev來修改。
TruncatedNormal,使用截斷正態分佈生成隨機數來初始化參數向量,均值默認爲0,標準差認爲0.05。對於均值的兩個標準差之外的隨機數會被遺忘並重新採樣。
RandomUniform,按照均勻分佈生成隨機數來初始化參數值,默認分佈最小值爲-0.05,最大值爲0.05,可以通過minval和maxval 選項分別修改。
自定義

-

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章