上节实现完的精确度和loss绘制图如下。从图中可以看出，训练精度和验证精度相差很大，模型在验证集上仅达到70%左右的精度。 本节研究其问题，并尝试提高模型的整体性能。
过拟合
在上面的图中，训练精度随着时间线性增加，而验证精度在训练过程中停滞在70%左右。此外，训练和验证准确性之间的差异是显而易见的——这是过拟合的标志。 当训练样本数量较少时，模型有时会从训练样本中的噪声或不需要的细节中学习，从而对新样本的模型性能产生负面影响。这种现象被称为过拟合。这意味着该模型在新的数据集上将很难推广。 在训练过程中有多种方法来对抗过度训练。在本案例中将使用数据扩充，并在我们的模型中添加dropout。
数据扩充
过拟合通常发生在有少量训练样本的时候。解决这个问题的一种方法是扩充数据集，使其具有足够数量的训练示例。数据扩充采用从现有训练样本中产生更多训练数据的方法，通过使用产生可信图像的随机变换来扩充样本。目标是模型在训练中永远不会看到完全相同的图片两次。这有助于将模型展示给数据的更多方面，并更好地进行概括。
实现：使用在tf.keras中的ImageDataGenerator类实现这一点。将不同的转换传递给数据集，它将在训练过程中负责应用它。
扩充和可视化数据
首先对数据集应用随机水平翻转增强，并查看转换后各个图像的外观。
（1）应用水平翻转
将horizontal_flip作为参数传递给ImageDataGenerator类，并将其设置为“True”以应用此增强。
代码实现：
# 该函数将图像绘制成1行5列的网格形式，图像放置在每一列中。
def plotImages(images_arr):
fig, axes = plt.subplots(1, 5, figsize=(20, 20))
axes = axes.flatten()
for img, ax in zip(images_arr, axes):
ax.imshow(img)
ax.axis('off')
plt.tight_layout()
plt.show()
# 将horizontal_flip作为参数传递给ImageDataGenerator类，并将其设置为“True”以应用此增强。
image_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1. / 255, horizontal_flip=True)
# 在为训练和验证图像定义生成器之后，flow_from_directory方法从磁盘加载图像，应用重新缩放，并将图像调整到所需的尺寸。
train_data_gen = image_gen.flow_from_directory(batch_size=batch_size,
directory=train_dir,
shuffle=True,
target_size=(IMG_HEIGHT, IMG_WIDTH))
augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)
实现效果：
（2）随机旋转图像
观察一个不同的叫做旋转的增强，并随机地将45度旋转应用到训练例子中。
代码实现：
# 将rotation_range作为参数传递给ImageDataGenerator类，并将其设置为45。
image_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255, rotation_range=45)
# 在为训练和验证图像定义生成器之后，flow_from_directory方法从磁盘加载图像，应用重新缩放，并将图像调整到所需的尺寸。
train_data_gen = image_gen.flow_from_directory(batch_size=batch_size,
directory=train_dir,
shuffle=True,
target_size=(IMG_HEIGHT, IMG_WIDTH))
augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)
实现效果：
（3）应用缩放增量
对数据集应用缩放增强功能，将图像随机放大50%。
代码实现：
# zoom_range from 0 - 1 where 1 = 100%.
image_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1. / 255, zoom_range=0.5)
# 在为训练和验证图像定义生成器之后，flow_from_directory方法从磁盘加载图像，应用重新缩放，并将图像调整到所需的尺寸。
train_data_gen = image_gen.flow_from_directory(batch_size=batch_size,
directory=train_dir,
shuffle=True,
target_size=(IMG_HEIGHT, IMG_WIDTH))
augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)
实现效果：
把它们组合在一起
应用所有先前的增强。在此对训练图像应用了重新缩放、45度旋转、宽度移动、高度移动、水平翻转和缩放增强。
代码实现：
image_gen_train = tf.keras.preprocessing.image.ImageDataGenerator(
rescale=1. / 255,
rotation_range=45,
width_shift_range=.15,
height_shift_range=.15,
horizontal_flip=True,
zoom_range=0.5
)
# 在为训练和验证图像定义生成器之后，flow_from_directory方法从磁盘加载图像，应用重新缩放，并将图像调整到所需的尺寸。
train_data_gen = image_gen_train.flow_from_directory(batch_size=batch_size,
directory=train_dir,
shuffle=True,
target_size=(IMG_HEIGHT, IMG_WIDTH),
class_mode='binary')
augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)
实现效果：
创建验证集数据生成器
通常，只对训练示例应用数据扩充。在这种情况下，只需重新缩放验证图像，并使用ImageDataGenerator将它们转换为批处理。
# 创建验证集数据生成器
image_gen_val = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1. / 255)
val_data_gen = image_gen_val.flow_from_directory(batch_size=batch_size,
directory=validation_dir,
target_size=(IMG_HEIGHT, IMG_WIDTH),
class_mode='binary')
Dropout
另一种减少过拟合的技术是在网络中引入Dropout。这是一种正则化形式，它强制网络中的权重只取小值，这使得权重值的分布更加规则，并且网络可以减少对小训练样本的过度拟合。
当将Dropout应用到一个层时，它会在训练过程中从所应用的层中随机丢弃(设置为零)数量的输出单位。Dropout取一个分数作为它的输入值，形式如0.1、0.2、0.4等。这意味着从应用层随机放弃10%、20%或40%的输出单位。 当将0.1 D应用于某一层时，它会在每个训练周期中随机杀死10%的输出单位。 用这个新的三维特性创建一个网络体系结构，并将其应用于不同的卷积和完全连接的层。
创建一个有Dropouts的新网络
在这里，您将Dropout应用于第一个和最后一个最大池层。在每个训练期间，应用Dropout将随机设置20%的神经元为零。这有助于避免过度拟合训练数据集。
# 创建包含Dropouts的模型
model_new = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(16, 3, padding='same', activation='relu',
input_shape=(IMG_HEIGHT, IMG_WIDTH, 3)),
tf.keras.layers.MaxPooling2D(),
tf.keras.layers.Dropout(0.2),
tf.keras.layers.Conv2D(32, 3, padding='same', activation='relu'),
tf.keras.layers.MaxPooling2D(),
tf.keras.layers.Conv2D(64, 3, padding='same', activation='relu'),
tf.keras.layers.MaxPooling2D(),
tf.keras.layers.Dropout(0.2),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(512, activation='relu'),
tf.keras.layers.Dense(1)
])
编译模型：
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d (Conv2D) (None, 150, 150, 16) 448
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 75, 75, 16) 0
_________________________________________________________________
dropout (Dropout) (None, 75, 75, 16) 0
_________________________________________________________________
conv2d_1 (Conv2D) (None, 75, 75, 32) 4640
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 37, 37, 32) 0
_________________________________________________________________
conv2d_2 (Conv2D) (None, 37, 37, 64) 18496
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 18, 18, 64) 0
_________________________________________________________________
dropout_1 (Dropout) (None, 18, 18, 64) 0
_________________________________________________________________
flatten (Flatten) (None, 20736) 0
_________________________________________________________________
dense (Dense) (None, 512) 10617344
_________________________________________________________________
dense_1 (Dense) (None, 1) 513
=================================================================
Total params: 10,641,441
Trainable params: 10,641,441
Non-trainable params: 0
_________________________________________________________________
训练模型
在成功地将数据扩充引入训练样例并向网络中添加Dropout后，训练此新网络:
history = model_new.fit_generator(
train_data_gen,
steps_per_epoch=total_train // batch_size,
epochs=epochs,
validation_data=val_data_gen,
validation_steps=total_val // batch_size
)
可视化模型
想象一下训练后的新模型，你会发现过度拟合明显比以前少了。在对模型进行更多时期的训练后，精确度应该会提高。
如以下是将epochs = 15修改成epochs = 30的效果，其他效果自己尝试：
完整代码如下：
import tensorflow as tf
import os
import numpy as np
import matplotlib.pyplot as plt
"""
本教程遵循一个基本的机器学习工作流程:
-检查和理解数据
-建立输入管道
-建立模型
-训练模型
-测试模型
-改进模型并重复该过程
"""
base_dir = './dataset/'
train_dir = os.path.join(base_dir, 'train/')
validation_dir = os.path.join(base_dir, 'validation/')
train_cats_dir = os.path.join(train_dir, 'cats') # directory with our training cat pictures
train_dogs_dir = os.path.join(train_dir, 'dogs') # directory with our training dog pictures
validation_cats_dir = os.path.join(validation_dir, 'cats') # directory with our validation cat pictures
validation_dogs_dir = os.path.join(validation_dir, 'dogs') # directory with our validation dog pictures
"""
为方便起见，设置预处理数据集和训练网络时要使用的变量。
"""
batch_size = 128
epochs = 30
IMG_HEIGHT = 150
IMG_WIDTH = 150
num_cats_tr = len(os.listdir(train_cats_dir)) # total training cat images: 1000
num_dogs_tr = len(os.listdir(train_dogs_dir)) # total training dog images: 1000
num_cats_val = len(os.listdir(validation_cats_dir)) # total validation cat images: 500
num_dogs_val = len(os.listdir(validation_dogs_dir)) # total validation dog images: 500
total_train = num_cats_tr + num_dogs_tr # Total training images: 2000
total_val = num_cats_val + num_dogs_val # Total validation images: 1000
# 该函数将图像绘制成1行5列的网格形式，图像放置在每一列中。
def plotImages(images_arr):
fig, axes = plt.subplots(1, 5, figsize=(20, 20))
axes = axes.flatten()
for img, ax in zip(images_arr, axes):
ax.imshow(img)
ax.axis('off')
plt.tight_layout()
plt.show()
"""
数据准备
将图像格式化成经过适当预处理的浮点张量，然后输入网络:
- 从磁盘读取图像。
- 解码这些图像的内容，并根据它们的RGB内容将其转换成适当的网格格式。
- 把它们转换成浮点张量。
- 将张量从0到255之间的值重新缩放到0到1之间的值，因为神经网络更喜欢处理小的输入值。
幸运的是，所有这些任务都可以用tf.keras提供的ImageDataGenerator类来完成。
它可以从磁盘读取图像，并将它们预处理成适当的张量。它还将设置发生器，将这些图像转换成一批张量——这对训练网络很有帮助。
"""
image_gen_train = tf.keras.preprocessing.image.ImageDataGenerator(
rescale=1. / 255,
rotation_range=45,
width_shift_range=.15,
height_shift_range=.15,
horizontal_flip=True,
zoom_range=0.5
)
# 在为训练和验证图像定义生成器之后，flow_from_directory方法从磁盘加载图像，应用重新缩放，并将图像调整到所需的尺寸。
train_data_gen = image_gen_train.flow_from_directory(batch_size=batch_size,
directory=train_dir,
shuffle=True,
target_size=(IMG_HEIGHT, IMG_WIDTH),
class_mode='binary')
augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)
# 创建验证集数据生成器
image_gen_val = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1. / 255)
val_data_gen = image_gen_val.flow_from_directory(batch_size=batch_size,
directory=validation_dir,
target_size=(IMG_HEIGHT, IMG_WIDTH),
class_mode='binary')
# 创建模型
model_new = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(16, 3, padding='same', activation='relu',
input_shape=(IMG_HEIGHT, IMG_WIDTH, 3)),
tf.keras.layers.MaxPooling2D(),
tf.keras.layers.Dropout(0.2),
tf.keras.layers.Conv2D(32, 3, padding='same', activation='relu'),
tf.keras.layers.MaxPooling2D(),
tf.keras.layers.Conv2D(64, 3, padding='same', activation='relu'),
tf.keras.layers.MaxPooling2D(),
tf.keras.layers.Dropout(0.2),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(512, activation='relu'),
tf.keras.layers.Dense(1)
])
#
# # 编译模型
# # 这边选择ADAM优化器和二进制交叉熵损失函数。要查看每个训练时期的训练和验证准确性，请传递metrics参数。
model_new.compile(optimizer='adam',
loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
metrics=['accuracy'])
model_new.summary()
# 在成功地将数据扩充引入训练样例并向网络中添加Dropout后，训练此新网络:
history = model_new.fit_generator(
train_data_gen,
steps_per_epoch=total_train // batch_size,
epochs=epochs,
validation_data=val_data_gen,
validation_steps=total_val // batch_size
)
# 可视化模型
acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs_range = range(epochs)
plt.figure(figsize=(8, 8))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()