Tensorflow2.x之使用自己的數據集訓練模型
Tensorflow內置了許多數據集，但是實際自己應用的時候還是需要使用自己的數據集，這裏TensorFlow 官網也給介紹文檔，官方文檔。這裏對整個流程做一個總結（以手勢識別的數據集爲例）。
1、 收集手勢圖片
數據集下載
方法多種多樣了。我通過攝像頭自己採集了一些手勢圖片。保存成如下形式，
以同樣的形式在建立一個測試集，當然也可以不弄，在程序裏處理。
2、構建數據集
導入相關的包
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics
from tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2
import os
import pathlib
import random
import matplotlib.pyplot as plt
讀取文件
data_root = pathlib.Path('D:\code\PYTHON\gesture_recognition\Dataset')
print(data_root)
for item in data_root.iterdir():
print(item)
讀取圖片路徑到list中
all_image_paths = list(data_root.glob('*/*'))
all_image_paths = [str(path) for path in all_image_paths]
random.shuffle(all_image_paths)
image_count = len(all_image_paths)
print(image_count) ##統計共有多少圖片
for i in range(10):
print(all_image_paths[i])
label_names = sorted(item.name for item in data_root.glob('*/') if item.is_dir())
print(label_names) #其實就是文件夾的名字
label_to_index = dict((name, index) for index, name in enumerate(label_names))
print(label_to_index)
all_image_labels = [label_to_index[pathlib.Path(path).parent.name]
for path in all_image_paths]
print("First 10 labels indices: ", all_image_labels[:10])
預處理
def preprocess_image(image):
image = tf.image.decode_jpeg(image, channels=3)
image = tf.image.resize(image, [100, 100])
image /= 255.0 # normalize to [0,1] range
# image = tf.reshape(image,[100*100*3])
return image
def load_and_preprocess_image(path,label):
image = tf.io.read_file(path)
return preprocess_image(image),label
構建一個 tf.data.Dataset
ds = tf.data.Dataset.from_tensor_slices((all_image_paths, all_image_labels))
train_data = ds.map(load_and_preprocess_image).batch(16)
同樣的方式在製作一個測試集，就可以用於模型訓練和測試了。