提高網絡泛化能力，過擬合

方法	說明
使用更多數據	在有條件的前提下，儘可能多地獲取訓練數據是最理想的方法，更多的數據可以讓模型得到充分的學習，也更容易提高泛化能力
使用更大批次	在相同迭代次數和學習率的條件下，每批次採用更多的數據將有助於模型更好的學習到正確的模式，模型輸出結果也會更加穩定
調整數據分佈	大多數場景下的數據分佈是不均勻的，模型過多地學習某類數據容易導致其輸出結果偏向於該類型的數據，此時通過調整輸入的數據分佈可以一定程度提高泛化能力
調整目標函數	在某些情況下，目標函數的選擇會影響模型的泛化能力，如目標函數​在某類樣本已經識別較爲準確而其他樣本誤差較大的侵害概況下，不同類別在計算損失結果的時候距離權重是相同的，若將目標函數改成​則可以使誤差小的樣本計算損失的梯度比誤差大的樣本更小，進而有效地平衡樣本作用，提高模型泛化能力
調整網絡結構	在淺層卷積神經網絡中，參數量較少往往使模型的泛化能力不足而導致欠擬合，此時通過疊加捲積層可以有效地增加網絡參數，提高模型表達能力；在深層卷積網絡中，若沒有充足的訓練數據則容易導致模型過擬合，此時通過簡化網絡結構減少卷積層數可以起到提高模型泛化能力的作用
數據增強	數據增強又叫數據增廣，在有限數據的前提下通過平移、旋轉、加噪聲等一些列變換來增加訓練數據，同類數據的表現形式也變得更多樣，有助於模型提高泛化能力，需要注意的是數據變化應儘可能不破壞元數數據的主體特徵(如在圖像分類任務中對圖像進行裁剪時不能將分類主體目標裁出邊界)。
權值正則化	權值正則化就是通常意義上的正則化，一般是在損失函數中添加一項權重矩陣的正則項作爲懲罰項，用來懲罰損失值較小時網絡權重過大的情況，此時往往是網絡權值過擬合了數據樣本(如​)。
屏蔽網絡節點	該方法可以認爲是網絡結構上的正則化，通過隨機性地屏蔽某些神經元的輸出讓剩餘激活的神經元作用，可以使模型的容錯性更強。