[2018IJCAI F] （模型壓縮_剪枝_通道剪枝）Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks

論文：Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks （SFP）
論文鏈接：https://www.ijcai.org/proceedings/2018/0309.pdf
代碼鏈接：https://github.com/he-y/soft-filter-pruning

Title	Venue	Type	Code
Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks	IJCAI	F	github(pytorch)

Abstract

所提出的SFP使得修剪後的過濾器在對模型進行訓練時能夠得到更新。
對修剪後的模型進行訓練時更新。與以往的工作相比，SFP有兩個優勢:
(1)更大的模型容量。與將過濾器固定爲零相比，更新以前修剪過的過濾器爲我們的方法提供了更大的優化空間。因此，我們所訓練的網絡具有更大的模型學習能力。
(2)減少對預訓練模型的依賴。大容量使SFP能夠從零開始訓練，並同時修剪模型

思路

• 在模型訓練的過程中，將 $L_2$ 範數小的按照預設的剪枝比例進行裁剪（被剪掉的卷積核的值全部設置爲 0），然後按照對模型繼續進行訓練，一直重複，直到模型訓練結束。

一些關鍵詞

• 卷積核剪枝

• 迭代剪枝

• 軟剪枝

1 Introduction

目前問題

1. 模型容量降低;
2. 對預訓練模型的依賴。

方法操作對象
卷積核

總述
在第一次訓練之前，幾乎所有層的卷積核都用小的 $L_2$-norm 選擇並設置爲0。
然後利用訓練數據對修剪後的模型進行更新。
在下一個訓練時期之前，我們的SFP將修剪一組新的小 $L_2$-norm 範數的卷積核。
這些訓練過程一直持續到收斂爲止。
最後，一些卷積核將被選擇和修剪，沒有進一步的更新。
SFP算法使壓縮後的網絡具有更大的模型容量，從而達到比其他算法更高的精度

貢獻

1. SFP允許在訓練過程中對修剪後的過濾器進行更新。這種軟方式可以極大地保持模型的容量，從而獲得優異的性能。
2. 我們的加速方法可以從零開始訓練模型，與最先進的技術相比，可以獲得更好的性能。這樣就節省了調優過程和整體訓練時間。此外，使用預訓練的模型可以進一步提高我們的方法的性能，以提高最先進的模型加速。
3. 在兩個基準數據集上的廣泛實驗證明了我們的SFP的有效性和效率。與CIFAR-10相比，我們將ResNet-110的相對精度提高了約4%，提高了2倍，並且實現了最先進的解決方案

2 Related Works

• 權重剪枝
• 卷積核剪枝

3 Algorithm

硬卷積核修剪 VS 軟卷積核修剪

• 硬卷積核修剪
  我們稱之爲硬卷積核修剪。通常情況下，這些算法首先對預先訓練好的模型的單層進行濾波，然後對修剪後的模型進行微調，以彌補性能的下降。然後他們修剪下一層並再次微調模型，直到最後一層模型被修剪。然而，一旦篩選器被修剪，這些方法將不會再次更新這些篩選器

• 軟卷積核修剪
  在訓練階段不斷更新修剪後的卷積核
  好處。它既保持了深度壓縮CNN模型的原始模型容量，又避免了逐層剪枝的貪心過程，幾乎可以同時對所有層進行剪枝。我們的方法可以在從零開始的訓練過程中，或者在一個預先訓練的模型中裁剪一個模型。在每個訓練epoch中，根據訓練數據對整個模型進行優化訓練。在每個epoch之後，每個卷積覈計算所有過濾器的 $L_2$ 範數，作爲我們選擇卷積核策略的標準。然後，我們將通過設置相應的卷積核權值爲0來修剪所選的卷積核，接下來是下一個訓練epoch。最後，原來CNNs 被精簡成一個緊湊而高效的模型。

相關圖解

• 圖1.
  硬卷積核修剪 VS 軟卷積核修剪
  

• 圖2.
  SFP的概述

算法流程

1、求模型權重的 L2 範數
2、將 L2 範數結果小的置0
3、進入模型新的一輪訓練，更新全部的權重（包含被置零的卷積核全部權重。即全零卷積核，與非零卷積核）
4、直到模型全部收斂
5、完全去掉被置 0 的卷積核

4 Experiments

• 表1:CIFAR-10上修剪ResNet的比較

• 表2:ImageNet上修剪ResNet的比較。

• 表3:理論加速和實際加速的比較。
  

• 拓展閱讀

Soft Filter Pruning（SFP）算法筆記
https://blog.csdn.net/u014380165/article/details/81107032