自然語言處理學習筆記(1)遇到的常用TensorFlow函數用法說明

tf.nn.dropout(src_emb,KEEP_PROB)

tf.nn.dropout是TensorFlow裏面爲了防止或減輕過擬合而使用的函數,它一般用在全連接層

Dropout就是在不同的訓練過程中隨機扔掉一部分神經元。也就是讓某個神經元的激活值以一定的概率p,讓其停止工作,這次訓練過程中不更新權值,也不參加神經網絡的計算。但是它的權重得保留下來(只是暫時不更新而已),因爲下次樣本輸入時它可能又得工作了。

二、tf.nn.dropout函數說明

tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None,name=None) 

上面方法中常用的是前兩個參數:

第一個參數x:指輸入

第二個參數keep_prob: 設置神經元被選中的概率,在初始化時keep_prob是一個佔位符,  keep_prob = tf.placeholder(tf.float32) 。tensorflow在run時設置keep_prob具體的值,例如keep_prob: 0.5

第五個參數name:指定該操作的名字。

三、使用舉例:

1dropout必須設置概率keep_prob,並且keep_prob也是一個佔位符,跟輸入是一樣的

[python] view plain copy

1. keep_prob = tf.placeholder(tf.float32)  

2train的時候纔是dropout起作用的時候,traintest的時候不應該讓dropout起作用

[python] view plain copy

1. sess.run(train_step, feed_dict={xs: X_train, ys: y_train, keep_prob: 0.5})  

[python] view plain copy

1. train_result = sess.run(merged, feed_dict={xs: X_train, ys: y_train, keep_prob: 1})  

2. test_result = sess.run(merged, feed_dict={xs: X_test, ys: y_test, keep_prob: 1})  


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章