MXNet的数据格式转化为tensorflow训练用的数据格式

1 介绍

本文将mxNet的数据格式转化为tensorflow训练用的数据格式。

2 导入包

 

import mxnet as mx

import argparse

import PIL.Image

import io

import numpy as np

import cv2

import tensorflow as tf

import os

3 主函数

 

if __name__ == '__main__':

    # define parameters

    id2range = {}

    data_shape = (3, 112, 112)

    args = parse_args()

   #idx_path放的是索引;args.bin_path放的是值，读取的话imgrec是一个IO的对象，可以理解为C++里面的类对象，类对象里面有很多成员；

    # 比如有成员代表索引，成员代表索引对应的值得等。keys的len代表索引的数量

    imgrec = mx.recordio.MXIndexedRecordIO(args.idx_path, args.bin_path, 'r')#索引长度5898396，也就是idx的长度

    s = imgrec.read_idx(0)#读取最开始那个索引对应的key_value,不过s是二进制形式的

    header, _ = mx.recordio.unpack(s)#header这里存储的是分成2断的索引（key），这个时候不关心对应的数据数据，key是(5822653,5898396)的这一对索引

    #(0,5822653)(5822653,5898396)这样把数据分成两段

    print(header.label)#header.label就是(5822653,5898396)

    #下面是分成两段

    imgidx = list(range(1, int(header.label[0])))

    seq_identity = range(int(header.label[0]), int(header.label[1]))

    for identity in seq_identity:#处理后面那段数据

        s = imgrec.read_idx(identity)

        header, _ = mx.recordio.unpack(s)

        a, b = int(header.label[0]), int(header.label[1])

        id2range[identity] = (a, b)#代表的是id为identity的起始索引从a到b，[a,b)

        print('id2range', len(id2range))

    # # generate tfrecords

    mx2tfrecords(imgidx, imgrec, args)

 

 

 

4 转化函数

      

def mx2tfrecords(imgidx, imgrec, args):#从(0,5822653)的图片

    output_path = os.path.join(args.tfrecords_file_path, 'tran.tfrecords')

    writer = tf.python_io.TFRecordWriter(output_path)

    for i in imgidx:

        img_info = imgrec.read_idx(i)#取出第i张图片，包括索引和图片数据

        header, img = mx.recordio.unpack(img_info)#解封

        label = int(header.label)#取出这张图片的标签

        example = tf.train.Example(features=tf.train.Features(feature={

            'image_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img])),

            "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[label]))

        }))#把这张图片的标签和图片数据都存下来

        writer.write(example.SerializeToString())  # Serialize To String

        if i % 10000 == 0:

            print('%d num image processed' % i)

    writer.close()

5 关于数据

 

本文例子中用到的数据可以私聊我要，毕竟是需要时间成本的，随便发个红包大小随意。

欢迎大家关注和转发本公众号：facefinetune