1. 池化層的概念
池化是縮小高、長方向上的空間的運算。比如,如圖7-14 所示,進行將 2 × 2 的區域集約成 1 個元素的處理,縮小空間大小。
圖7-14 的例子是按步幅 2 進行2 × 2 的Max池化時的處理順序。Max池化
是獲取最大值的運算,“2 × 2”表示目標區域的大小。如圖所示,從 2 × 2 的區域中取出最大的元素。此外,這個例子中將步幅設爲了 2,所以
2 × 2 的窗口的移動間隔爲2 個元素。
另外,一般來說,池化的窗口大小會和步幅設定成相同的值。比如,3 × 3 的窗口的步幅會設爲 3,4 × 4 的窗口的步幅會設爲 4 等。
除了 Max
池化之外,還有 Average
池化等。相對於 Max
池化是從目標區域中取出最大值,Average
池化則是計算目標區域的平均值。在圖像識別領域,主要使用 Max
池化。
2. 池化層的特徵
2.1 沒有要學習的參數
池化層和卷積層不同,沒有要學習的參數。池化只是從目標區域中取最大值(或者平均值),所以不存在要學習的參數。
2.2 通道數不發生變化
經過池化運算,輸入數據和輸出數據的通道數不會發生變化。如圖 7-15 所示,計算是按通道獨立進行的。
2.3 對微小的位置變化具有魯棒性(健壯)
輸入數據發生微小偏差時,池化仍會返回相同的結果。因此,池化對輸入數據的微小偏差具有魯棒性。比如,3 × 3 的池化的情況下,如圖7-16 所示,池化會吸收輸入數據的偏差(根據數據的不同,結果有可
能不一致)。