街景字符識別 - Datawhale學習賽（四）

在之前的學習中，構建了一個簡單的CNN模型進行訓練，本次的學習目標則與以下兩點：

• 理解驗證集的作用，並使用訓練集和驗證集完成訓練
• 學會使用pytorch環境下的模型讀取和加載，並理解調參的流程

1、驗證集的作用
在機器學習與深度學習模型的訓練過程中，模型非常容易出現過擬合的現象。因爲在模型訓練的過程中，模型只能利用訓練數據進行訓練，並不能接觸到測試集樣本，所以模型如果將訓練集學的夠好，模型就會記住訓練樣本的細節，從而導致模型在測試集上的泛化效果較差，即出現過擬合現象。與過擬合相對應的就是欠擬合，即模型在訓練集上的擬合效果也比較差。

如下圖所示，

當訓練集誤差與測試集誤差均出現較大，則爲（高偏差：紅線左側區域）欠擬合

當訓練集誤差較小，測試集誤差較大時，則爲（高方差：紅線右側區域）過擬合
 

導致模型過擬合的原因，最常見的情況就是模型複雜度太高，導致模型學習到了訓練數據的方方面面，學到了一些細枝末節的規律。

解決方法：構建一個與測試集儘可能分佈一致的驗證集，在訓練過程中不斷驗證模型在驗證集上的精度，以此來控制模型的訓練。

訓練集：模型用於訓練以及調整模型參數
驗證集：用於驗證模型精度和調整模型超參數；
測試集：驗證模型的泛化能力。

這裏要注意，在劃分驗證集時，驗證集的分佈儘量與測試集保持一致，否則模型在驗證集上的精度會失去指導意義。這裏的分佈一般是指與標籤相關的統計分佈，比如在分類任務中“分佈”指的是標籤的類別分佈，訓練集、驗證集、測試集的類別分佈大體一致；如果標籤帶有時序信息，驗證集和測試集的時間間隔應保持一致。

將驗證集從訓練集中劃分的方式有以下幾種：
 

留出法(Hold-out)
這種方法直接將訓練集分成新的訓練集與驗證集。優點是直接簡單，缺點是隻得到一份驗證集，有可能導致模型在驗證集上出現過擬合。留出法適用於數據量較大的情況。
交叉驗證法(Cross Validation)
將訓練集劃分爲K份，將其中的K-1份作爲訓練集，剩餘的一份作爲驗證集，循環K訓練。這種劃分方法使所有的訓練集都是驗證集，最終模型驗證精度都是K份平均得到。優點是驗證機京都較高，訓練K次可以得到K個有多樣性差異的模型；缺點是需要訓練K次，不適用於大數據量。
自助採樣法(BootStrap)
通過有放回的採樣方式得到新的訓練集與驗證集，每次訓練集和驗證集都有區別。此方法適用於小數據量情況

2. pytorch下的模型訓練與驗證集

1. 構造訓練集與驗證集
2. 每輪進行訓練與驗證，並根據最優驗證集精度保存模型

train_loader = torch.utils.data.DataLoader(
    train_dataset,
    batch_size=10,  #每批次抽取10個樣本
    shuffle=True,   #隨機打亂數據
    num_workers=10, #線程個數
)
    
val_loader = torch.utils.data.DataLoader(
    val_dataset,
    batch_size=10, 
    shuffle=False, 
    num_workers=10, 
)

model = SVHN_Model1()
criterion = nn.CrossEntropyLoss (size_average=False) #交叉驗證
optimizer = torch.optim.Adam(model.parameters(), 0.001)
best_loss = 1000.0
for epoch in range(20):
    print('Epoch: ', epoch)

    train(train_loader, model, criterion, optimizer, epoch)
    val_loss = validate(val_loader, model, criterion)
    
    # 記錄下驗證集精度
    if val_loss < best_loss:
        best_loss = val_loss
        torch.save(model.state_dict(), './model.pt')

其中每個Epoch的訓練代碼如下：

def train(train_loader, model, criterion, optimizer, epoch):
    # 切換模型爲訓練模式
    model.train()

    for i, (input, target) in enumerate(train_loader):
        c0, c1, c2, c3, c4, c5 = model(data[0])
        loss = criterion(c0, data[1][:, 0]) + \
                criterion(c1, data[1][:, 1]) + \
                criterion(c2, data[1][:, 2]) + \
                criterion(c3, data[1][:, 3]) + \
                criterion(c4, data[1][:, 4]) + \
                criterion(c5, data[1][:, 5])
        loss /= 6
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

每個Epoch的驗證代碼如下：

def validate(val_loader, model, criterion):
    # 切換模型爲預測模型
    model.eval()
    val_loss = []

    # 不記錄模型梯度信息
    with torch.no_grad():
        for i, (input, target) in enumerate(val_loader):
            c0, c1, c2, c3, c4, c5 = model(data[0])
            loss = criterion(c0, data[1][:, 0]) + \
                    criterion(c1, data[1][:, 1]) + \
                    criterion(c2, data[1][:, 2]) + \
                    criterion(c3, data[1][:, 3]) + \
                    criterion(c4, data[1][:, 4]) + \
                    criterion(c5, data[1][:, 5])
            loss /= 6
            val_loss.append(loss.item())
    return np.mean(val_loss)

3、模型保存與加載

在pytorch中模型的保存與加載比較常見的做法是保存和加載模型的參數：

torch.save(model_object.state_dict(), 'model.pt')
model.load_state_dict(torch.load(' model.pt'))