定義變量的兩種方式:
tf.Variable()
tf.get_Variable()
import tensorflow as tf var1 = tf.Variable(1., name='first_var') print('I am var1: ', var1.name) var1 = tf.Variable(2., name='first_var') print('I am var1 too: ', var1.name) var2 = tf.Variable(3.) print('I am var2: ', var2.name) var2 = tf.Variable(4.) print('I am var2 too: ', var2.name) # I am var1: first_var:0 # I am var1 too: first_var_1:0 # I am var2: Variable:0 # I am var2 too: Variable_1:0
看到上面的測試代碼,當使用 tf.Variable() 定義變量時,變量是可以重名的,只是會自動修改其名字,不指定名字時,系統自動分配。
tf.get_variable()中形參 name 必須指定
get_var1 = tf.get_variable(name='gv', shape=[])
print('I am get_var1: ', get_var1.name)
# get_var1 = tf.get_variable(name='gv', shape=[])
# print('I am get_var1 too, but I will cause a error: ', get_var1.name)
# I am get_var1: gv:0
# Traceback (most recent call last):
# ValueError: Variable gv already exists, disallowed. Did you mean to set reuse=True
# or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:
# get_var1 = tf.get_variable(name='gv', shape=[])
當使用 tf.get_Variable() 定義變量時,name 必須指定,而且不能重複,不然會報錯
collections=None, caching_device=None, partitioner=None, validate_shape=True,
use_resource=None, custom_getter=None, constraint=None)
get_variable值的初始化函數
函數 | 描述 |
tf.constant_initializer(value) | 將變量初始化爲給定的常量,初始化一切所提供的值 |
tf.random_normal_initializer(mean,stdd ev) | 將變量初始化爲滿足正太分佈的隨機值,主要參數(正太分佈的均值和標準差),用所給的均值和標準差初始化均勻分佈 |
tf.truncated_normal_initializer(mean,stddev,seed,dtype) | 將變量初始化爲滿足正太分佈的隨機值,但如果隨機出來的值偏離平均值超過2個標準差,那麼這個數將會被重新隨機 |
tf.random_uniform_initializer(a,b,seed,dtype) | 從a到b均勻初始化,將變量初始化爲滿足平均分佈的隨機值,主要參數(最大值,最小值) |
tf.uniform_unit_scaling_initializer(factor,seed,dtype) | 將變量初始化爲滿足平均分佈但不影響輸出數量級的隨機值 |
f.zeros_initializer() | 將變量設置爲全0;也可以簡寫爲tf.Zeros() |
tf.ones_initializer() | 將變量設置爲全1;可簡寫爲tf.Ones() |
tf.name_scope() 和 tf.variable_scope() 之間的區別
既然 tf.get_variable() 不允許重名,那怎麼辦? 放心吧,總會有辦法解決的。要解決這個問題,就要引入 tf.variable_scope() ,隔離開 tf.get_variable() 定義的同名變量就可以了
看個例子
with tf.variable_scope('vs1'): get_var1 = tf.get_variable(name='getVar', shape=[]) with tf.variable_scope('vs2'): get_var2 = tf.get_variable(name='getVar', shape=[]) with tf.variable_scope('vs3'): get_var3 = tf.get_variable(name='getVar', shape=[]) with tf.variable_scope('vs4'): get_var4 = tf.get_variable(name='getVar', shape=[]) print('get_var1', get_var1.name) # get_var1 vs1/getVar:0 print('get_var2', get_var2.name) # get_var2 vs2/getVar:0 print('get_var3', get_var3.name) # get_var3 vs3/getVar:0 print('get_var4', get_var4.name) # get_var4 vs3/vs4/getVar:0同名的變量在程序中共存,完美解決這個問題。
在看一些代碼的時候, 經常會看到 tf.name_scope() 和 tf.variable_scope(), 那他們兩個到底啥關係呢?
tf.name_scope() 主要是用來管理命名空間的,這樣子讓我們的整個模型更加有條理
tf.variable_scope() 的作用是爲了實現變量共享,常和 tf.get_variable() 一起完成變量共享的功能。with tf.name_scope('ns'): var1 = tf.Variable(1., tf.float32) with tf.variable_scope('vs'): var2 = tf.Variable(2., tf.float32) get_var = tf.get_variable(name='gv', shape=[]) print('var1', var1.name) # var1 ns/Variable:0 print('var2', var2.name) # var2 ns/vs/Variable:0 print('get_var', get_var.name) # get_var vs/gv:0從上面的 get_var 的作用範圍,可以看出 tf.get_variable() 不受 tf.name_scope() 的控制
下面就來看看共享變量怎麼操作的。
tf.variable_scope() 中有一個 reuse 的參數,表示使用已經定義過的變量,當然如果使用的變量未定義,就會報錯...with tf.variable_scope('vs5'): get_var5 = tf.get_variable(name='getVar_reuse', shape=[]) with tf.variable_scope('vs5', reuse=True): get_var6 = tf.get_variable(name='getVar_reuse', shape=[]) # get_var7 = tf.get_variable(name='getVar_unknown', shape=[]) print('get_var5', get_var5.name) # get_var5 vs5/getVar_reuse:0 print('get_var6', get_var6.name) # get_var6 vs5/getVar_reuse:0 # print('get_var7', get_var7.name) # 報錯
tf.variable_scope() 和 tf.get_variable() 的初始化變量功能
with tf.variable_scope('vs6', initializer=tf.constant_initializer(1.)): get_var8 = tf.get_variable(name='getVar8', shape=[1]) with tf.variable_scope('vs7'): get_var9 = tf.get_variable(name='getVar9', shape=[1]) get_var10 = tf.get_variable(name='getVar10', shape=[1], initializer=tf.constant_initializer(2.)) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) print('get_var8 = ', get_var8.eval()) print('get_var9 = ', get_var9.eval()) print('get_var10 = ', get_var10.eval()) # get_var8 = [1.] # get_var9 = [1.] # get_var10 = [2.]
從上面的測試代碼中可以看出 tf.variable_scope() 和 tf.get_variable() 都有初始化變量的功能,而且如果後者初始化的話,會覆蓋前者的初始化值。
看看下面的一個例子,怎麼使內層變量使用另一個作用於的變量
with tf.variable_scope('vs8') as vs8: get_var11 = tf.get_variable(name='getVar11', shape=[]) print('vs8: ', vs8.name) # vs8: vs8 print('getVar11', get_var11.name) # getVar11 vs8/getVar11:0 with tf.variable_scope('vs9'): get_var12 = tf.get_variable(name='getVar12', shape=[]) with tf.variable_scope(vs8, reuse=True) as vs8_: get_var13 = tf.get_variable(name='getVar13', shape=[]) print('vs8_: ', vs8.name) # vs8_: vs8 print('getVar12', get_var12.name) # getVar12 vs9/getVar12:0 print('getVar13', get_var13.name) # getVar13 vs8/getVar13:0
這樣 vs9 空間的就可以使用 vs8 中的變量了。
tf.name_scope() 使用空字符串將作用域返回到頂層
with tf.variable_scope('vs10'): get_var14 = tf.get_variable(name='getVar14', shape=[]) with tf.variable_scope('vs11'): get_var15 = tf.get_variable(name='getVar15', shape=[]) with tf.name_scope(''): get_var16 = tf.Variable(1., name='getVar16') with tf.variable_scope(''): get_var17 = tf.get_variable(name='getVar17', shape=[]) print('getVar14', get_var14.name) print('getVar15', get_var15.name) print('getVar16', get_var16.name) print('getVar17', get_var17.name) # getVar14 vs10/getVar14:0 # getVar15 vs10/vs11/getVar15:0 # getVar16 getVar16:0 # getVar17 vs10/vs11//getVar17:0 # 中間多個空層