TensorFlow：數據讀取的三種方式

TensorFlow的系統架構，如下圖所示：

TensorFlow的系統架構分爲兩個部分：

1. 前端系統：提供編程模型，負責構造計算圖；
2. 後端系統：提供運行時環境，負責執行計算圖。

在處理數據的過程當中，由於現在的硬件性能的極大提升，數值計算過程可以通過加強硬件的方式來改善。

因此數據讀取（即IO)往往會成爲系統運行性能的瓶頸。

在TensorFlow框架中提供了三種數據讀取方式：

• Preloaded data: 預加載數據
• Feeding: placeholder, feed_dict 由佔位符代替數據，運行時填入數據
• Reading from file: 從文件中直接讀取

以上三種讀取方式各有自己的特點，在瞭解這些特點或區別之前，需要知道TensorFlow是如何進行工作的。

TF的核心是用的C++寫的，這樣的好處是運行的速度較快，但是缺點並不靈活。

而python恰好相反，所以結合了兩種語言的優勢。涉及計算的核心算子和運行框架是用的C++寫的，並提供API給python。

python調用這些API設計訓練模型（graph），再將設計好的graph給後端去執行。

簡而言之，Python的角色是Design，C++是Run。

1. Preload data: constant 預加載數據

特點：數據直接嵌入graph， 由graph傳入session中運行

import tensorflow as tf

#設計graph
x = tf.constant([1,2,3], name='x')
y = tf.constant([2,3,4], name='y')
z = tf.add(x,y, name='z')

#打開一個session，計算z
with tf.Session() as sess:
    print(sess.run(z))

運行結果如下： 
 
在設計Graph的時候，x和y就被定義成了兩個有值的列表，在計算z的時候直接取x1和x2的值。

2.Feeding: placeholder, feed_dict

特點：由佔位符代替數據，運行時填入數據

import tensorflow as tf

#設計graph，用佔位符代替
x = tf.placeholder(tf.int16)
y = tf.placeholder(tf.int16)
z = tf.add(x,y, name='z')

#打開一個session
with tf.Session() as sess:
    #創建數據
    xs = [1,2,3]
    ys = [2,3,4]
    #運行session,用feed_dict來將創建的數據傳遞進佔位符
    print(sess.run(z, feed_dict={x: xs, y: ys}))

運行結果如下： 
 

在這裏x, y只是佔位符，沒有具體的值，那麼運行的時候去哪取值呢？這時候就要用到sess.run()中的feed_dict參數。

將Python產生的數據餵給後端，並計算z。

3.Reading From File：直接從文件中讀取

前兩種方法很方便，但是遇到大型數據的時候就會很吃力，即使是Feeding，中間環節的增加也是不小的開銷，比如數據類型轉換等等。最優的方案就是在Graph定義好文件讀取的方法，讓TF自己去從文件中讀取數據，並解碼成可使用的樣本集。

這種直接從文件中讀取數據的方式需要設計成Queue的方式才能較好的解決IO瓶頸的問題。 
Queue機制有如下三個特點：

• producer-consumer pattern(生產消費模式)
• 獨立於主線程執行
• 異步IO: reader.read(queue) tf.train.batch()

在上圖中，首先由一個單線程把文件名堆入隊列，兩個Reader同時從隊列中取文件名並讀取數據，Decoder將讀出的數據解碼後堆入樣本隊列，最後單個或批量取出樣本（圖中沒有展示樣本出列）。

我們這裏通過三段代碼逐步實現上圖的數據流，這裏我們不使用隨機，讓結果更清晰。

文件準備

$ echo -e "Alpha1,A1\nAlpha2,A2\nAlpha3,A3" > A.csv  
$ echo -e "Bee1,B1\nBee2,B2\nBee3,B3" > B.csv  
$ echo -e "Sea1,C1\nSea2,C2\nSea3,C3" > C.csv  
$ cat A.csv  
Alpha1,A1  
Alpha2,A2  
Alpha3,A3  

單個Reader，單個樣本

import tensorflow as tf  
# 生成一個先入先出隊列和一個QueueRunner  
filenames = ['A.csv', 'B.csv', 'C.csv']  
filename_queue = tf.train.string_input_producer(filenames, shuffle=False)  
# 定義Reader  
reader = tf.TextLineReader()  
key, value = reader.read(filename_queue)  
# 定義Decoder  
example, label = tf.decode_csv(value, record_defaults=[['null'], ['null']])  
# 運行Graph  
with tf.Session() as sess:  
    coord = tf.train.Coordinator()  #創建一個協調器，管理線程  
    threads = tf.train.start_queue_runners(coord=coord)  #啓動QueueRunner, 此時文件名隊列已經進隊。  
    for i in range(10):  
        print example.eval()   #取樣本的時候，一個Reader先從文件名隊列中取出文件名，                               #讀出數據，Decoder解析後進入樣本隊列。  
    coord.request_stop()  
    coord.join(threads)  
# outpt  
Alpha1  
Alpha2  
Alpha3  
Bee1  
Bee2  
Bee3  
Sea1  
Sea2  
Sea3  
Alpha1  

• 單個Reader，多個樣本

import tensorflow as tf  
filenames = ['A.csv', 'B.csv', 'C.csv'] 
## filenames = tf.train.match_filenames_once('.\data\*.csv') 
filename_queue = tf.train.string_input_producer(filenames, shuffle=False)  
reader = tf.TextLineReader()  
key, value = reader.read(filename_queue)  
example, label = tf.decode_csv(value, record_defaults=[['null'], ['null']])  
# 使用tf.train.batch()會多加了一個樣本隊列和一個QueueRunner。Decoder解後數據會進入這個隊列，再批量出隊。  
# 雖然這裏只有一個Reader，但可以設置多線程，相應增加線程數會提高讀取速度，但並不是線程越多越好。  
example_batch, label_batch = tf.train.batch(  
      [example, label], batch_size=5)  
with tf.Session() as sess:  
    coord = tf.train.Coordinator()  
    threads = tf.train.start_queue_runners(coord=coord)  
    for i in range(10):  
        print example_batch.eval()  
    coord.request_stop()  
    coord.join(threads)  
# output  
# ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2']  
# ['Bee3' 'Sea1' 'Sea2' 'Sea3' 'Alpha1']  
# ['Alpha2' 'Alpha3' 'Bee1' 'Bee2' 'Bee3']  
# ['Sea1' 'Sea2' 'Sea3' 'Alpha1' 'Alpha2']  
# ['Alpha3' 'Bee1' 'Bee2' 'Bee3' 'Sea1']  
# ['Sea2' 'Sea3' 'Alpha1' 'Alpha2' 'Alpha3']  
# ['Bee1' 'Bee2' 'Bee3' 'Sea1' 'Sea2']  
# ['Sea3' 'Alpha1' 'Alpha2' 'Alpha3' 'Bee1']  
# ['Bee2' 'Bee3' 'Sea1' 'Sea2' 'Sea3']  
# ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2']  
多Reader，多個樣本

import tensorflow as tf  
filenames = ['A.csv', 'B.csv', 'C.csv']  
filename_queue = tf.train.string_input_producer(filenames, shuffle=False)  
reader = tf.TextLineReader()  
key, value = reader.read(filename_queue)  
record_defaults = [['null'], ['null']]  
example_list = [tf.decode_csv(value, record_defaults=record_defaults)  
                  for _ in range(2)]  # Reader設置爲2  
# 使用tf.train.batch_join()，可以使用多個reader，並行讀取數據。每個Reader使用一個線程。  
example_batch, label_batch = tf.train.batch_join(  
      example_list, batch_size=5)  
with tf.Session() as sess:  
    coord = tf.train.Coordinator()  
    threads = tf.train.start_queue_runners(coord=coord)  
    for i in range(10):  
        print example_batch.eval()  
    coord.request_stop()  
    coord.join(threads)  

# output  
# ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2']  
# ['Bee3' 'Sea1' 'Sea2' 'Sea3' 'Alpha1']  
# ['Alpha2' 'Alpha3' 'Bee1' 'Bee2' 'Bee3']  
# ['Sea1' 'Sea2' 'Sea3' 'Alpha1' 'Alpha2']  
# ['Alpha3' 'Bee1' 'Bee2' 'Bee3' 'Sea1']  
# ['Sea2' 'Sea3' 'Alpha1' 'Alpha2' 'Alpha3']  
# ['Bee1' 'Bee2' 'Bee3' 'Sea1' 'Sea2']  
# ['Sea3' 'Alpha1' 'Alpha2' 'Alpha3' 'Bee1']  
# ['Bee2' 'Bee3' 'Sea1' 'Sea2' 'Sea3']  
# ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2']  

tf.train.batch與tf.train.shuffle_batch'數是單個Reader讀取，但是可以多線程。tf.train.batch_join'和tf.train.shuffle_batch_join可設置多Reader讀取，每個Reader使用一個線程。至於兩種方法的效率，單Reader時，2個線程就達到了速度的極限。多Reader時，2個Reader就達到了極限。所以並不是線程越多越快，甚至更多的線程反而會使效率下降。

迭代控制

filenames = ['A.csv', 'B.csv', 'C.csv']  
filename_queue = tf.train.string_input_producer(filenames, shuffle=False, num_epochs=3)  # num_epoch: 設置迭代數  
reader = tf.TextLineReader()  
key, value = reader.read(filename_queue)  
record_defaults = [['null'], ['null']]  
example_list = [tf.decode_csv(value, record_defaults=record_defaults)  
                  for _ in range(2)]  
example_batch, label_batch = tf.train.batch_join(  
      example_list, batch_size=5)  
init_local_op = tf.initialize_local_variables()  
with tf.Session() as sess:  
    sess.run(init_local_op)   # 初始化本地變量   
    coord = tf.train.Coordinator()  
    threads = tf.train.start_queue_runners(coord=coord)  
    try:  
        while not coord.should_stop():  
            print example_batch.eval()  
    except tf.errors.OutOfRangeError:  
        print('Epochs Complete!')  
    finally:  
        coord.request_stop()  
    coord.join(threads)  
    coord.request_stop()  
    coord.join(threads)  
# output  
# ['Alpha1' 'Alpha2' 'Alpha3' 'Bee1' 'Bee2']  
# ['Bee3' 'Sea1' 'Sea2' 'Sea3' 'Alpha1']  
# ['Alpha2' 'Alpha3' 'Bee1' 'Bee2' 'Bee3']  
# ['Sea1' 'Sea2' 'Sea3' 'Alpha1' 'Alpha2']  
# ['Alpha3' 'Bee1' 'Bee2' 'Bee3' 'Sea1']  
# Epochs Complete!  

在迭代控制中，記得添加 tf.initialize_local_variables()，官網教程沒有說明，但是如果不初始化，運行就會報錯。

參考博客：https://blog.csdn.net/chengshuhao1991/article/details/78644966