深度學習中的Data Augmentation方法
在深度學習中，爲了避免出現過擬合（Overfitting），通常我們需要輸入充足的數據量。當數據量不夠大時候，常常採用以下幾種方法：
Data Augmentation：通過平移、 翻轉、加噪聲等方法從已有數據中創造出一批“新”的數據，人工增加訓練集的大小。
Regularization：數據量比較小會導致模型過擬合, 使得訓練誤差很小而測試誤差特別大. 通過在Loss Function 後面加上正則項可以抑制過擬合的產生。缺點是引入了一個需要手動調整的hyper-parameter。
Dropout：這也是一種正則化手段，不過跟以上不同的是它通過隨機將部分神經元的輸出置零來實現。詳見 http://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf
Unsupervised Pre-training：用Auto-Encoder或者RBM的卷積形式一層一層地做無監督預訓練, 最後加上分類層做有監督的Fine-Tuning。參考 http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.207.1102&rep=rep1&type=pdf
Transfer Learning：在某些情況下，訓練集的收集可能非常困難或代價高昂。因此，有必要創造出某種高性能學習機（learner），使得它們能夠基於從其他領域易於獲得的數據上進行訓練，並能夠在對另一領域的數據進行預測時表現優異。這種方法，就是所謂的遷移學習（transfer learning）。