②本地圖片轉TFRecord及opencv安裝

之前我們對圖片數據的讀取是通過tensorflow的mnist類直接下載和加載mnist數據集。但是更多的時候，我們想通過本地的圖片進行訓練。

import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

但是如果每次對圖片的讀取都從磁盤上進行的話，將嚴重影響程序的效率。

因此想先將本地圖片轉化成通用、高效的數據讀取方法，也就是tensorflow官方推薦的標準格式：tfrecord。

tfrecord數據文件是一種將圖像數據和標籤統一存儲的二進制文件，能更好的利用內存，在tensorflow中快速的複製，移動，讀取，存儲等。

def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

def _bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

dirPath = "F:/byxStudy/img/mnist0-9/"
sess = tf.InteractiveSession()
init = tf.global_variables_initializer()
sess.run(init)
#保存tfrecords
tfrecord_filename = 'F:\\byxStudy\\img\\mnist0_9_train.tfrecords'
fileSubDirList = os.listdir(dirPath)
with tf.python_io.TFRecordWriter(tfrecord_filename) as writer:
    # 遍歷子文件夾
    for fileSubDir in fileSubDirList:
        fileSubDirSubDir = os.listdir(dirPath + fileSubDir + "/")
        for filePath in fileSubDirSubDir:
            image_value = tf.read_file(dirPath + fileSubDir + "/" + filePath)
            img = tf.image.decode_jpeg(image_value, 1)
            img = tf.image.resize_images(img, (28, 28), method=0)
            pic2 = img.eval(session=sess)
            image_raw = pic2.tostring()
            example = tf.train.Example(
                features=tf.train.Features(
                    feature={
                        'height': _int64_feature(pic2.shape[0]),
                        'width': _int64_feature(pic2.shape[1]),
                        'depth': _int64_feature(pic2.shape[2]),
                        'label': _int64_feature(int(fileSubDir)),
                        'image_raw': _bytes_feature(image_raw)
                    }))
            writer.write(example.SerializeToString())

但是實際跑起來後發現程序運行的很慢。

通過調查得知，tensorflow運行的時候不要創建任何新的計算節點。

這樣每一次迭代都會在graph裏增加新的節點，導致memory leak，程序越來越慢，最後強行退出。

因此我想通過opencv對圖像進行簡單的預處理。opencv的安裝過程很艱辛，我嘗試了各種網上的辦法，最終才得以實現，以下是我的嘗試：

①通過pycharm直接安裝cv2及opencv-python

②通過opencv官網https://www.opencv.org/releases.html下載安裝opencv

並將..\opencv\build\python\2.7\x64\cv2.pyd文件複製粘貼到python安裝目錄..Lib\site-packages下

③pip install opencv_python-3.4.0.12-cp36-none-win_amd64.whl

④安裝VC++運行時環境，Visual C++ 2015 redistribution

⑤下載python-3.6.3-embed-amd64，並將python3.dll拷貝到python.exe目錄下

⑥配置python環境變量

安裝 opencv-contrib-python。

通過pip完成了安裝！pip install opencv-contrib-python

import cv2
import os
import tensorflow as tf

def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

def _bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

dir_path = "F:/byxStudy/img/mnist0-9/"
tfrecord_filename = 'F:\\byxStudy\\img\\mnist0_9_train.tfrecords'
dir_list = os.listdir(dir_path)
with tf.python_io.TFRecordWriter(tfrecord_filename) as writer:
    # 遍歷子文件夾
    for sub_dir in dir_list:
        sub_dir_list = os.listdir(dir_path + sub_dir + "/")
        for filePath in sub_dir_list:
            # 單通道的方式讀取圖片
            # 中文目錄無法加載圖片
            img = cv2.imread(dir_path + sub_dir + '/' + filePath, 0)
            img = cv2.resize(img, (28, 28), interpolation=cv2.INTER_CUBIC)
            image_raw = img.tostring()
            example = tf.train.Example(
                features=tf.train.Features(
                    feature={
                        'height': _int64_feature(img.shape[0]),
                        'width': _int64_feature(img.shape[1]),
                        'depth': _int64_feature(1),
                        'label': _int64_feature(int(sub_dir)),
                        'image_raw': _bytes_feature(image_raw)
                    }))
            writer.write(example.SerializeToString())