計算pytorch標準化(Normalize)所需要數據集的均值和方差實例

摘要：本文主要介紹 輸入圖像 batch normalization ，計算自己數據集合的  mean 以及std。

一、前言

數據規範-Normalization是深度學習中我們很容易忽視，也很容易出錯的問題。我們訓練的所有數據在輸入到模型中的時候都要進行一些規範化。例如在pytorch中，有些模型是通過規範化後的數據進行訓練的，所以我們在使用這些預訓練好的模型的時候，要注意在將自己的數據投入模型中之前要首先對數據進行規範化。

我們平常輸入的圖像大部分都是三通道RGB彩色圖像，數據範圍大部分都是[0-255]，也就是通常意義上的24-bit圖(RGB三通道各8位)。在pytorch中有專門的一些模塊：transforms 模塊來對圖像進行一些預處理操作：

transform = transforms.Compose([
        transforms.RandomResizedCrop(100),
        transforms.RandomHorizontalFlip(),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ])

而且在pytorch的官方介紹中也提到了，pytorch使用的預訓練模型搭配的數據必須是： 

二、正文

pytorch做標準化利用transforms.Normalize(mean_vals, std_vals)，其中常用數據集的均值方差有：

if 'coco' in args.dataset:
  mean_vals = [0.471, 0.448, 0.408]
  std_vals = [0.234, 0.239, 0.242]
elif 'imagenet' in args.dataset:
  mean_vals = [0.485, 0.456, 0.406]
  std_vals = [0.229, 0.224, 0.225]

計算自己數據集圖像像素的均值方差：

import numpy as np
import cv2
import random
from tqdm import *
import os

# calculate means and std
train_txt_path = './data/train.txt'

CNum = 2000   # 挑選多少圖片進行計算

img_h, img_w = 224, 224
imgs = np.zeros([img_w, img_h, 3, 1])
means, stdevs = [], []

with open(train_txt_path, 'r') as f:
  lines = f.readlines()
  random.shuffle(lines)  # shuffle , 隨機挑選圖片

  for i in tqdm_notebook(range(CNum)):
    print("i=",i)
    img_path = os.path.join('./data/train_data/', lines[i].rstrip().split()[0])
    #print("img_path",img_path)
    img = cv2.imread(img_path)

    img = cv2.resize(img, (img_h, img_w))
    #cv2.imshow('e', img)
    #cv2.waitKey(0)
    img = img[:, :, :, np.newaxis]

    imgs = np.concatenate((imgs, img), axis=3)


imgs = imgs.astype(np.float32)/255.

for i in tqdm_notebook(range(3)):
  pixels = imgs[:,:,i,:].ravel() # 拉成一行
  means.append(np.mean(pixels))
  stdevs.append(np.std(pixels))

# cv2 讀取的圖像格式爲BGR，PIL/Skimage讀取到的都是RGB不用轉
means.reverse() # BGR --> RGB
stdevs.reverse()

print("normMean = {}".format(means))
print("normStd = {}".format(stdevs))
print('transforms.Normalize(normMean = {}, normStd = {})'.format(means, stdevs))

一組圖像集的均值和標準差可以很好地概括這組圖像的信息和特徵。均值就是一組數據的平均水平，而標準差代表的是數據的離散程度。

參考鏈接：

【1】計算pytorch標準化(Normalize)所需要數據集的均值和方差實例

【2】淺談深度學習訓練中數據規範化(Normalization)的重要性