【論文筆記】Filter Pruning via Geometric Median for Deep Convolutional Networks Acceleration

論文：https://arxiv.org/pdf/1811.00250.pdf
源碼：https://github.com/he-y/filter-pruning-geometric-median

本篇論文來源於CVPR2019的oral，主要提出了一種基於幾何中心剪枝的模型壓縮方法，文章分析了基於範數閾值裁剪的侷限性，提出了FPGM的裁剪方式，並經過實驗驗證證明了FPGM算法更加有效。

簡介

在這篇論文中，指出了基於範數裁剪方式的弊端，經過試驗分析作者發現基於番薯標準裁剪的效果，主要取決於兩個隱含條件： 1）權重的標準差足夠大 2）權重的最小的範數應該趨近於0。然而這兩個條件並不能保證總是滿足，爲了解決這個問題文章提出了一種基於幾何中心的裁剪方式，認爲靠近幾何中心的卷積核在划水，因此可以裁減掉這些冗餘的卷積核。

contributions

1）分析了基於範數標準裁剪方式的侷限性，兩個條件需要被滿足： 1）權重的標準差足夠大 2）權重的最小的範數應該趨近於0
2）提出了幾何中位數裁剪的FPGM方法，裁剪掉可替代的冗餘的卷積核
3）經過試驗證明FPGM真實有效

相關工作

介紹了weight pruning與filter pruning的壓縮方式
weight pruning 就是細粒度的從每個卷積核裏面一點一點減，具體到每個值
filter pruning 就是比較粗粒度一些，直接以卷積核爲單位進行裁剪
之後又介紹了二者之前的經典算法 balabala ~~~~~

方法

分析基於範數的評價標準

Figure.2 中藍色的是我們認爲的範數分佈情況，基於範數裁剪的方法在理想情況下能發揮作用，但是在真實環境下卻是綠色的分佈，因此說明傳統的基於範數裁剪的方式具有一定的侷限性。
作者預訓練了一些模型，權重分佈可視化效果圖如下所示。

基於幾何中心的評價標準FPGM

公式(1)爲幾何中心的計算法方式，假設在實數空間內存在n個點 $a^{(i)}$ $i∈[1,n]$ ，目標是求解在實數空間內找到到各個a點歐式距離最小的 $x$ ，$x^*$即爲到各點距離和最小的幾何中心

對應到本文問題上，我們當前層中的卷積核就是空間內的a點，因爲用卷積核的符號替代，重新整理的後的幾何中心求解公式即爲公式(2) $x^{GM}$就是這些卷積核的幾何中心

找到了幾何中心後，順利成章的我們就要開始找到距離幾何中心最近的卷積核了，不難思考直接遍歷每個卷積核，計算其與$x^{GM}$的歐式距離，然後找到最小的即可。如公式(3)所示

pesudocode

實驗結果

論文中分別在Cifar-10 和 ILSVRC-2012數據集上進行實驗，FPGM因爲考慮到了每個濾波器之間的關係，因此取得了較好的實驗結果。

PS：（靠近幾何中心的卷積核被認爲是冗餘的，這裏存疑，划水的卷積核就應該被裁掉麼？個人觀點，如果卷積核彼此之間相似，那麼在當前層對於該類型的featuremap就會增加，讓模型更容易注意到，這是否說明對於model來說，這種類型的卷積核所關注的特徵比較重要呢？）