《臨時筆記》一些深度學習中的英文術語的紀錄

jitter

抖動(jitter)[1]在機器學習中是一種有效的數據增廣（data augmentation）手段，其本質是在訓練模型過程中，在訓練數據中人工疊加的一些噪聲。在訓練中添加抖動可以有效地工作，提高性能，其原因在於我們通過神經網絡學習得到的假設函數（hypothesis）通常是平滑的，如Fig 1所示，而不是和Fig 2所示的這種不平滑的。
神經網絡能學習到具有非連續性的函數，不過這個函數必須是在有限區域內分段連續的，因爲我們的網絡通常是有限數量的隱藏層。
這裏的連續和平滑，意味着如果我們有兩個相似的輸入$x$和$x+\Delta x$，神經網絡的輸出應該也是相似的（在Fig 2所示的情況下顯然不成立，但是因爲我們假設我們的函數是平滑的如Fig 1所示，所以成立）。這意味着我們可以在某個訓練樣本旁邊添加一些“虛假的訓練樣本”，只需要在訓練樣本上手動添加一些足夠小的干擾信號（噪聲）就行了。通過這個數據增廣手段，可以有效地補充樣本，填充假設函數的“空隙”。
在大多數情況下，通過抖動進行數據增廣是一個簡便有效的提高性能的手段。太多的抖動也會產生“垃圾”，影響性能；而太小的抖動則可能對性能無力迴天，因此這個尺度是需要調整的。

Fig 1. 平滑的假設函數

Fig 2. 不平滑的假設函數

Reference

[1]. ftp://ftp.sas.com/pub/neural/FAQ3.html