COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level Pruning

Title	Venue	Type	Code
COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level	IJCAI	F	github(Tensorflow )

[2019IJCAI F]COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level

Abstract

Most state-of-the-art approaches prune the model in filter-level according to the “importance” of filters.
problems

1. High Redundancy（高冗餘性）。冗餘的卷積核重要性的評估是獨立的
2. 缺乏全局視角（Lack of Global Vision）。不能進行不同層的卷積核的評估，且要手動逐層指定的剪枝比例
3. 次優的修剪策略（Sub-optimal Pruning Strategy）。生成的字優化方案忽略了參數與計算量的不等價性

解決思路
我們通過全局歸一化來實現跨層過濾器的比較。增加了參數-數量和計算-成本正規化的重要性

1 Introduction

網絡修剪方法可分爲兩類

• weight-level pruning（權重剪枝）
  [Han et al., 2015; Guo et al., 2016; Dong et al., 2017]

• filter-level pruning （卷積核剪枝）：
  [Li et al., 2016; Liu et al., 2017;He et al., 2018b]

2 Related Works

Weight-level pruning

3 Algorithm

3.1 Symbols and Annotations

3.2 Overview

1. 評估去除冗餘濾波器的相關重要性
2. 將所有層的相關性規範化到相同的範圍，以便進行全局比較
3. 在重要性評價中加入參數-數量和計算-成本正則化項。

3.3 Method

• 全連接層剪枝
  $X_{m1}, X_{m2}$: 輸入節點
  $\vec{ {\omega}_{m1}}, {\vec{\omega}_{m2} }$ : 權重
  剪枝：$\vec{\omega}_{m 2} \approx \alpha \vec{\omega}_{m 1}$ $\rightarrow$ $X_{m2}$ 剪掉 $\rightarrow$ fituning時， $X_{m1}=\left(X_{m 1}+\alpha X_{m 2}\right)$
  

• 卷積核剪枝
  計算輸入輸出特徵圖的平均重要性而進行剪枝