YOLOv3訓練過程記錄

在做YOLOv3檢測的時候，第一階段，一直使用 RMS 優化器，最多的時候訓練200輪。

"rsm_strategy": {
    "learning_rate": 0.001,
    "lr_epochs": [40, 80, 120, 160],
    "lr_decay": [1, 0.5, 0.25, 0.1, 0.02],
}

初始的學習率測試過 0.01，0.001，0.005。但效果都不好，最好的時候 loss 下降到120左右。並且經常訓練的時候會出現負數 loss 或者非常大的 loss，比如2e+22。測試效果很差，顯然模型就沒收斂…

第二階段，想起來看到文章提到用 SGD 最終會能達到更好的效果，於是改爲嘗試 SGD 優化器，訓練200輪。

"sgd_strategy": {
    "learning_rate": 0.001
}

初始學習率嘗試過 0.01，0.05，0.001。前兩個比較容易出現超大 loss 和負數 loss，證明學習率偏大。後來換 0.001 之後，比較穩定，最優的 loss 能下降到 80左右，但還是伴隨着少量的負數 loss 和偶爾出現的超大 loss。此時測試能有一定的效果，能檢測出一部分正確結果。

基於此，猜測可能是存在一定量的梯度過大導致。嘗試在模型參數中加上梯度裁剪。第一次加入全局梯度L2範數裁剪，paddle 中對應 GradientClipByGlobalNorm，設置的L2範數限制是2.0。但進去之後效果很差。猜測此時並不一定能真實限制住梯度，因爲每個數都很小，L2之後更小，除非模型參數很多，不然不太好把我限制多少合適。於是換了直接限制梯度大小的裁剪，paddle 中對應 GradientClipByValue，設置的梯度大小是 [-5, 5]。此時不容易出現極端 loss，最好 loss 能到 50。模型效果相比以前有比較好的提升。

之後又測試了在 SGD 的框架下，學習率隨着訓練輪數增多而減少。通過觀察，發現第一個減小梯度可以出現在訓練比較多輪之後。此時才容易達到一個比較小的 loss。使用的配置和相應的優化器代碼：

"sgd_strategy": {
    "learning_rate": 0.001,
    "lr_epochs": [80, 120, 160],
    "lr_decay": [1, 0.5, 0.25, 0.1]
}
 
def optimizer_sgd_setting():
    batch_size = train_parameters["train_batch_size"]
    iters = train_parameters["image_count"] // batch_size
    learning_strategy = train_parameters['sgd_strategy']
    lr = learning_strategy['learning_rate']
 
    boundaries = [i * iters for i in learning_strategy["lr_epochs"]]
    values = [i * lr for i in learning_strategy["lr_decay"]]
    logger.info("boundaries: {0}".format(boundaries))
    logger.info("values: {0}".format(values))
 
    learning_rate = fluid.layers.piecewise_decay(boundaries, values)
    optimizer = fluid.optimizer.SGD(
        learning_rate=learning_rate,
        regularization=fluid.regularizer.L2Decay(0.00005))
 
    return optimizer

這樣的配置能夠進一步提升訓練精度