組卷積(group convolution)的理解

分組是日常生活中一種常見現象,如基於年齡分爲幼年、兒童、青少年、青年、中年和老年等。在機器學習中,聚類算法的本質思想也是分組,即把未知數據基於一些特性分成一個個組,便於人們理解。在深度學習用到組思想的一個地方就是組卷積。

組卷積最早出現是在AleNet,當初主要採用並行訓練方式來訓練。後來研究學者基於卷積的基本計算方式廣義線性方程(或多元多項式方程)發現,當卷積網絡中卷積核個數增多時,會出現卷積冗餘現象,這種現象在線性迴歸方程中也存在,爲了緩解這個問題,研究學者嘗試把同一卷積層中的卷積核個數分成一個個不同的小組 (分而治之思想),即現在大部分學術論文稱作的組卷積,每個小組中具有不同和相同的卷積核數量。基於我個人的理解,組卷積具有以下特點:

1、降低模型的計算量(壓縮模型),可以參考Interleaved Group Convolutions for Deep Neural Networks系列論文,MobileNet系列論文;

2、提高模型精度,可以參考Aggregated Residual Transformations for Deep Neural Networks(RexNet),Selective Kernel Networks,Xception

3、模型綜合性能權衡,組卷積計算方式相當於多分支,這個方向最近也有不少論文,HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs,High-Resolution Representations for Labeling Pixels and Regions,Accurate Nuclear Segmentation with Center Vector Encoding

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章