Tensorflow七种初始化函数

一、tf.constant_initializer(value)
作用:将变量初始化为给定的常量,初始化一切所提供的值。

二、tf.zeros_initializer()
作用:将变量设置为全0;也可以简写为tf.Zeros()

三、tf.ones_initializer()
作用:将变量设置为全1;可简写为tf.Ones()

四、tf.random_normal_initializer(mean,stddev)
作用:将变量初始化为满足正太分布的随机值,主要参数(正太分布的均值和标准差),用所给的均值和标准差初始化均匀分布。

五、tf.truncated_normal_initializer(mean,stddev,seed,dtype)
作用:将变量初始化为满足正太分布的随机值,但如果随机出来的值偏离平均值超过2个标准差,那么这个数将会被重新随机。
mean:用于指定均值;
stddev用于指定标准差;
seed:用于指定随机数种子;
dtype:用于指定随机数的数据类型。通常只需要设定一个标准差stddev这一个参数就可以。

举例:bert中初始化token_type_embeddings、embedding_table时,假设token_type_embeddings服从正态分布

六、tf.random_uniform_initializer(a,b,seed,dtype)
作用:从a到b均匀初始化,将变量初始化为满足均匀分布的随机值,主要参数(最大值,最小值)。

七、tf.uniform_unit_scaling_initializer(factor,seed,dtypr)
作用:将变量初始化为满足均匀分布但不影响输出数量级的随机值

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章