Mnist數據集介紹

Mnist數據集已經是一個被"嚼爛"了的數據集了，很多關於神經網絡的教程都會對它下手。因此在開始深度學習之前，先對這個數據集介紹一下。

Mnist數據集圖片格式介紹

Mnist數據集分爲兩部分，分別含有60000張訓練圖片和10000張測試圖片。

每一張圖片包含28*28個像素。Mnist數據集把代表一張圖片的二維數據轉開成一個向量，長度爲28*28=784。因此在Mnist的訓練數據集中mnist.train.images是一個形狀爲[60000, 784]的張量，第一個維度數字用來索引圖片，第二個維度數字用來索引每張圖片中的像素點，圖片裏的某個像素的強度值介於0-1之間。

Mnist數據集標籤格式介紹--------獨熱編碼

Mnist數據集中的標籤是介於0~9的數字，Mnist中的標籤是用獨熱編碼(one-hot-vectors)表示的，一個one-hot向量除了某一位數字是1以外，其餘維度的數組都是0，比如標籤0用獨熱編碼表示爲([1, 0, 0, 0, 0, 0, 0, 0, 0, 0])，標籤3用獨熱編碼表示爲([0, 0, 0, 1, 0, 0, 0, 0, 0, 0])。所以，Mnist數據集中所有的標籤mnist.train.labels是一個[60000, 10]的數字矩陣。

手動提取Mnist數據集圖片

如果直接下載該數據集的話，下載下來的是.gz格式的數據，如下圖所示：

使用tensorflow是可以直接加載該數據的，但是是按照張量的格式加載的，就是說你看不到這些圖片到底是長什麼樣子的。下面就要介紹一下如何手動提取Mnist數據集中的圖片，並把它按照常用的格式存儲。

在代碼中用到了兩個第三方的包，分別爲tensorflow、PIL。如何你是用的我之前推薦的Anaconda來管理你的Python環境的話，那麼安裝這兩個包就非常的簡單了。使用下面的命令即可安裝:

conda install tensorflow-gpu
conda install Pillow

提取的代碼寫成了函數def的形式，可以非常簡單的調用。下面是提取訓練數據的代碼：

#coding: utf-8
import os
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
from PIL import Image

'''
函數功能：按照bmp格式提取mnist數據集中的圖片
參數介紹:
    mnist_dir   mnist數據集存儲的路徑
    save_dir    提取結果存儲的目錄
'''
def extract_mnist(mnist_dir, save_dir):
    rows = 28
    cols = 28

    # 加載mnist數據集
    # one_hot = True爲默認打開"獨熱編碼"
    mnist = input_data.read_data_sets(mnist_dir, one_hot=False)
    # 獲取訓練圖片數量
    shape = mnist.train.images.shape
    images_train_count = shape[0]
    pixels_count_per_image = shape[1]
    # 獲取訓練標籤數量=訓練圖片數量
    # 關閉"獨熱編碼"後，labels的類型爲[7 3 4 ... 5 6 8]
    labels = mnist.train.labels
    labels_train_count = labels.shape[0]

    if (images_train_count == labels_train_count):
        print("訓練集共包含%d張圖片，%d個標籤" % (images_train_count, labels_train_count))
        print("每張圖片包含%d個像素" % (pixels_count_per_image))
        print("數據類型爲", mnist.train.images.dtype)

        # mnist圖像數值的範圍爲[0,1], 需將其轉換爲[0,255]
        for current_image_id in range(images_train_count):
            for i in range(pixels_count_per_image):
                if mnist.train.images[current_image_id][i] != 0:
                    mnist.train.images[current_image_id][i] = 255

            if ((current_image_id + 1) % 50) == 0:
                print("已轉換%d張，共需轉換%d張" %
                      (current_image_id + 1, images_train_count))

        # 創建train images的保存目錄, 按標籤保存
        for i in range(10):
            dir = "%s/%s" % (save_dir, i)
            print(dir)
            if not os.path.exists(dir):
                os.mkdir(dir)

        # indices = [0, 0, 0, ..., 0]用來記錄每個標籤對應的圖片數量
        indices = [0 for x in range(0, 10)]
        for i in range(images_train_count):
            new_image = Image.new("L", (cols, rows))
            # 遍歷new_image 進行賦值
            for r in range(rows):
                for c in range(cols):
                    new_image.putpixel(
                        (r, c), int(mnist.train.images[i][c + r * cols]))

            # 獲取第i張訓練圖片對應的標籤
            label = labels[i]
            image_save_path = "%s/%s/%s.bmp" % (save_dir, label,
                                                indices[label])
            indices[label] += 1
            new_image.save(image_save_path)

            # 打印保存進度
            if ((i + 1) % 50) == 0:
                print("圖片保存進度: 已保存%d張，共需保存%d張" % (i + 1, images_train_count))
    else:
        print("圖片數量與標籤數量不一致!")


if __name__ == '__main__':
    mnist_dir = "E:/PythonSourceCode/TensorflowLearning/Mnist_Data"
    save_dir = "E:/PythonSourceCode/TensorflowLearning/Mnist_Data_TrainImages"
    extract_mnist(mnist_dir, save_dir)

最終提取出來的結果如下：

文件夾0下對應的圖片爲:

可以看到，各種形狀的’0’都有。提取出來的圖片在後面學習的卷積神經網絡的時候會用到，所以有興趣的可以run一下上面的代碼。

---

如果對我的推文有興趣，歡迎轉載分享。也可以推薦給朋友關注哦。只推乾貨，寧缺毋濫。