Tensorflow實例：實現VGG

VGGNet探索了卷積神經網絡的深度與其性能之間的關係，通過反覆堆疊3*3的小型卷積核和2*2的最大池化層，VGGNet成功地構築了16~19層的卷積神經網絡。VGGNet的結構非常簡潔，整個網絡都使用了同樣大小的卷積核尺寸（3*3）和最大池化層（2*2）。
到目前爲止，VGGNet依然經常被用來提取圖像特徵。VGGNet訓練後的模型參數在其官網上開源了，可用來在domain specific的圖像分類任務上進行再訓練（相當於提供了非常好的初始化權重），因此被用在了很多地方。VGGNet的網絡結構如下圖所示：

在VGGNet中運用到的技巧：

1. 經常出現多個完全一樣的3*3的卷積層堆疊在一起的情況，這其實是非常有用的設計。例如2個3*3的卷積層串聯相當於1個5*5的卷積層，即一個像素會跟周圍5*5的像素產生關聯，可以說感受野大小爲5*5。而3個3*3的卷積層串聯的效果相當於一個7*7的卷積層。但是3個3*3的卷積層擁有比1個7*7的卷積層更少的參數，只有後者的3∗3∗37∗7=55 。最重要的是，3個3*3的卷積層擁有比一個7*7的卷積層更多的非線性變換，使得CNN對特徵的學習能力更強。
2. VGGNet在訓練時，先訓練級別A的簡單網絡，再複用A網絡的權重來初始化後面的幾個複雜模型，這樣訓練收斂的速度更快。
3. 在預測時，VGG採用mutil-Scale的方法，將圖像scale到一個尺寸Q，並將圖像輸入卷積網絡計算。然後在最後一個卷積層使用滑窗的方式進行分類預測，將不同窗口的分類結果平均，再將不同尺寸Q的結果平均得到最後結果，這樣可提高圖片數據的利用率並提升預測準確率。
4. VGGNet還使用了Mutil-Scale的方法做數據增強，將原始數據縮放到不同尺寸S，然後再隨機裁切224*224的圖片，這樣能增加很多數據量，對於防止模型過擬合有不錯的效果。

作者在對比各級網絡時總結了一下觀點：

1. LRN層作用不大
2. 越深的網絡效果越好
3. 1*1的卷積也是很有效的，但是沒有3*3的卷積好，大一些的卷積核可以學習更大的空間特徵。

在這裏，我們不直接使用ImageNet數據訓練一個VGGNet，而是採用跟AlexNet一樣的方式：構造出VGGNet網絡，並評測其forward（inference）耗時和backward（training）耗時。

from datetime import datetime
import math
import time
import tensorflow as tf

batch_size = 32
num_batches = 100

# 先定義一個conv_op函數，用於創建卷積層並把本層的參數存入參數列表
def conv_op(input_op, name, kh, kw, n_out, dh, dw, p):
    n_in = input_op.get_shape()[-1].value

    with tf.name_scope(name) as scope:
        kernel = tf.get_variable(scope+"w",
                                 shape=[kh, kw, n_in, n_out], dtype=tf.float32,
                                 initializer=tf.contrib.layers.xavier_initializer_conv2d())
        conv = tf.nn.conv2d(input_op, kernel, (1, dh, dw, 1), padding='SAME')
        bias_init_val = tf.constant(0.0, shape=[n_out], dtype=tf.float32)
        biases = tf.Variable(bias_init_val, trainable=True, name='b')
        z = tf.nn.bias_add(conv, biases)
        activation = tf.nn.relu(z, name=scope)
        p += [kernel, biases]
        return activation

# 下面定義全連接層創建函數fc_op
def fc_op(input_op, name, n_out, p):
    n_in = input_op.get_shape()[-1].value

    with tf.name_scope(name) as scope:
        kernel = tf.get_variable(scope+"w",
                                 shape=[n_in, n_out],
                                 dtype=tf.float32,
                                 initializer=tf.contrib.layers.xavier_initializer_conv2d())
        biases = tf.Variable(tf.constant(0.1, shape=[n_out], dtype=tf.float32), name='b')
        activation = tf.nn.relu_layer(input_op, kernel, biases, name=scope)
        p += [kernel, biases]
        return activation

# 定義最大池化層的創建函數mpool_op

def mpool_op(input_op, name, kh, kw, dh, dw):
    return tf.nn.max_pool(input_op,
                          ksize=[1, kh, kw, 1],
                          strides=[1, dh, dw, 1],
                          padding='SAME',
                          name=name)

# 開始創建VGGNet-16，主要分爲6個部分：前5部分爲卷積網絡，最後一段是全連接網絡
def inference_op(input_op, keep_prob):
    p = []
    conv1_1 = conv_op(input_op, name='conv1_1', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)
    conv1_2 = conv_op(conv1_1, name='conv1_2', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)
    pool1 = mpool_op(conv1_2, name='pool1', kh=2, kw=2, dw=2, dh=2)

    conv2_1 = conv_op(pool1, name='conv2_1', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)
    conv2_2 = conv_op(conv2_1, name='conv2_2', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)
    pool2 = mpool_op(conv2_2, name='pool2', kh=2, kw=2, dh=2, dw=2)

    conv3_1 = conv_op(pool2, name='conv3_1', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
    conv3_2 = conv_op(conv3_1, name='conv3_2', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
    conv3_3 = conv_op(conv3_2, name='conv3_3', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
    pool3 = mpool_op(conv3_3, name='pool3', kh=2, kw=2, dh=2, dw=2)

    conv4_1 = conv_op(pool3, name='conv4_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv4_2 = conv_op(conv4_1, name='conv4_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv4_3 = conv_op(conv4_2, name='conv4_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    pool4 = mpool_op(conv4_3, name='pool4', kh=2, kw=2, dh=2, dw=2)

    conv5_1 = conv_op(pool4, name='conv5_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv5_2 = conv_op(conv5_1, name='conv5_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    conv5_3 = conv_op(conv5_2, name='conv5_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
    pool5 = mpool_op(conv5_3, name='pool5', kh=2, kw=2, dh=2, dw=2)

    # 將輸出結果扁平化
    shp = pool5.get_shape()
    flattened_shape = shp[1].value * shp[2].value * shp[3].value
    resh1 = tf.reshape(pool5, [-1, flattened_shape], name="resh1")

    fc6 = fc_op(resh1, name='fc6', n_out=4096, p=p)
    fc6_drop = tf.nn.dropout(fc6, keep_prob=keep_prob, name="fc6_drop")

    fc7 = fc_op(fc6_drop, name='fc7', n_out=4096, p=p)
    fc7_drop = tf.nn.dropout(fc7, keep_prob=keep_prob, name="fc7_drop")

    fc8 = fc_op(fc7_drop, name='fc8', n_out=1000, p=p)
    softmax = tf.nn.softmax(fc8)
    predictions = tf.argmax(softmax, 1)

    return predictions, softmax, fc8, p

# 定義測評函數time_tensorflow_run()
def time_tensorflow_run(session, target, feed, info_string):
    num_steps_burn_in = 10
    total_duration = 0.0
    total_duration_squared = 0.0
    for i in range(num_batches + num_steps_burn_in):
        start_time = time.time()
        _ = session.run(target, feed_dict=feed)
        duration = time.time() - start_time
        if i >= num_steps_burn_in:
            if not i % 10:
                print('%s: step %d, duration = %.3f' % (datetime.now(), i - num_steps_burn_in, duration))
                total_duration += duration
                total_duration_squared += duration * duration
    mn = total_duration / num_batches
    vr = total_duration_squared / num_batches - mn * mn
    sd = math.sqrt(vr)
    print('%s: %s across %d steps, %.3f +/- %.3f sec / batch' % (datetime.now(), info_string,
                                                                 num_batches, mn, sd))

def run_benchmark():
    with tf.Graph().as_default():
        image_size = 224
        images = tf.Variable(tf.random_normal([batch_size,
                                               image_size,
                                               image_size, 3],
                                              dtype=tf.float32,
                                              stddev=1e-1))
        keep_prob = tf.placeholder(dtype=tf.float32)
        predictions, softmax, fc8, p = inference_op(images, keep_prob)
        init = tf.global_variables_initializer()
        sess = tf.Session()
        sess.run(init)

        time_tensorflow_run(sess, predictions, {keep_prob: 1.0}, "Forward")
        objective = tf.nn.l2_loss(fc8)
        grad = tf.gradients(objective, p)
        time_tensorflow_run(sess, grad, {keep_prob: 0.5}, "Forward-backward")

run_benchmark()

VGGNet的模型參數雖然比AlexNet多， 但反而只需要較少的迭代次數就可以收斂，主要原因是更深的網絡和更小的卷積核帶來的隱式的正則化效果。VGGNet憑藉其相對不算很高的複雜度和優秀的分類性能，成爲了一代經典的卷積神經網絡，直到現在依然被應用在很多地方。