paper地址： https://arxiv.org/abs/1911.11907
pytorch：https://github.com/iamhankai/ghostnet.pytorch
TensorFlow：https://github.com/huawei-noah/ghostnet
GhostNet: 從廉價的運算中得到更到的特徵
摘要：因爲有限的內存和計算資源，在嵌入式設備中部署卷積神經網絡(CNNs)是困難的。特徵圖的冗餘是那些成功CNNs的一個重要特徵，但是很少有關於網絡架構設計的研究。這篇論文提出了一個新穎的Ghost模型，從廉價的運算中得到更到的特徵圖。基於本徵特徵圖集，我們應用一系列低成本的線性運算去生成許多重影特徵圖，它能夠完全的揭露隱藏在本徵特徵圖下的信息。這個提出來的Ghost模塊可以當做是一個即插即拔的組件，去升級已有的卷積神經網絡。Ghost bottlenecks設計用來存儲Ghost模塊，然後就可以輕鬆地構建輕量級的GhostNet。在基準上進行的實驗表明，在基準模型中，這個提出來的Ghost模型是卷積層的一個引人注目的替代品，而且在ImgeNet ILSVRC-2012分類數據集上，我們的GhostNet用相似的計算成本可以獲得比MobileV3更高的檢測性能(即top-1 75.7%的準確率)。
1 介紹
深度卷積神經網絡在很多計算機視覺工作上顯示了卓越的性能，比如圖像識別，目標檢測和語義分割。傳統的CNNs通常需要大量的參數和浮點運算(FLOPs)去獲得一個令人滿意的精度，比如RestNet-50大約有25.6M個參數，並且需要4.1B個浮點運算處理一張尺寸爲224*224的圖片。因此，深度神經網絡設計的最新趨勢是去爲移動設備(比如智能手機和自動駕駛車)探索可移植、高效的、性能可接受的網絡架構。
在過去的幾年中，提出了一系列的方法去研究緊湊的深度神經網絡，比如網絡剪枝(network pruning)、低位量化(low-bit quantization)、知識蒸餾(knowledge distillation)等。Song Han提出在神經網絡中去剪枝不重要的權重。Hao Li使用L1正則化去修剪過濾器來獲得高效的CNNs。Mohammad Rastegari爲獲取高壓縮率和加速率，將權重和激活函數量化爲一位數據。 Geoffrey Hinton 爲了將知識從大的模型轉換成一個更小的模型，引入了知識蒸餾。但是通常被稱作是他們基線的預處理深度神經網絡所限制。
除了這些方法，有效的神經網絡架構有很大的潛力去構建參數和計算更少的、非常高效的深度網絡，而且最近獲得了很大的成功。這種類型的方法也可以爲自動研究方法提供新的研究單元。舉例來說，MobileNet使用depthwise和pointwise卷積構建了一個單元，使用更大的卷積核來逼近原始的卷積層，並且獲得了可比較的性能。ShuffleNet進一步探索了一個通道轉移操作(a channel shuffle operation)去提高輕量級模型的性能。
在訓練有素的深度神經網絡的特徵圖中，豐富甚至是冗餘的信息常常保證了對輸入數據的全面理解。舉個例子來說，圖片1提供一些由ResNet-50所生成的輸入圖像的特徵圖，而且這裏存在很多相似的特徵圖對，像彼此的重影。特徵圖中的冗餘可能是一個成功的深度神經網絡重要的特徵。我們不是避免冗餘的特徵圖，我們傾向於採用他們，但是用一個低成本的方法。
在這篇論文中，我們介紹了一個新穎的Ghost模塊，通過使用更少的參數來生成更多的特徵。特別地，在深度神經網絡中的，一個普通的卷積層會被分成兩個部分。第一個部分涉及普通的卷積，但是它們總的數量會得到嚴格地控制。根據從第一個部分得到的本徵特徵圖，之後使用一系列簡單的線性運算去生成更多的信息。Ghost模塊中，所有必要參數的數量和計算複雜度與那些在普通卷積神經網絡中的相比已經下降了，並沒有改變輸出特徵圖的尺寸。基於Ghost模塊，我們構建了一個高效的網絡架構，即GhostNet。我們首先替換了基準網絡架構中原始的卷積層，用來論證Ghost模塊的有效性，然後在一些基準視覺測試集上驗證了我們GhostNets的優越性。實驗結果表示，在保持相似識別性能的同時，提出的Ghost模型能夠減少通用卷積層的計算成本，並且GhostNets可以超越最高水準的高效深度模型，比如MobileNetV3，在移動設備上進行多種快速推理任務。
論文的剩餘部分安排如下：第二部分簡要總結了這個領域的相關工作，緊接着Ghost模型和GhostNet在第三部分，實驗和分析在第四部分，最後，總結在第五部分。
2 相關的工作
這裏，我們從兩個部分回顧現有的減輕神經網絡負擔的方法：模型壓縮和緊湊的模型設計。
2.1 模型壓縮
對於一個給定的神經網絡，模型壓縮旨在減少計算量、能源和存儲成本。剪枝連接(Pruning connections)剪掉了神經元之間不重要的連接。通道修剪(Channel pruning)進一步針對移除無用的通道，以便在實際中更容易加速。模型量化(Model quantization)代表神經網絡中的權重和激活函數，其離散值用於壓縮和計算加速。特別地，二值化方法(Binarization methods)只使用一位值，通過高效的二值運算可以極大加速模型。張量分解(Tensor decomposition)通過利用權重的冗餘和低級屬性減少參數和計算量。知識蒸餾(knowledge distillation)利用更大的模型來教導更小的模型，這能夠提升較小模型的性能。這些方法的性能通常決定於給定預訓練的模型，在這個基礎運算和架構上的提升將會讓他們走的更遠。
2.2 緊湊的模型設計
隨着在嵌入式設備上部署神經網絡的需求出現，最近幾年提出了一系列緊湊的模型。SqueeeNet使用一個bottleneck的方法達到了AlexNet級別的精度，參數比AlexNet的少了五十倍。Xception利用depthwise卷積操作，更有效的使用模型的參數。MobileNets是一系列的基於深度可分離卷積的輕量級深度神經網絡。MobileNetsV2提出了倒殘差塊，MobileNetV3進一步使用AutoML技術用更少的FLOPs獲得了更好的性能。ShuffleNet使用轉移操作改善了通道組之間的信息流交換。對於緊湊的模型設計，ShuffleNetV2進一步考慮了在目標硬件上的實際速度。儘管這些模型用更少的FLOPs獲得了更好的性能，但是他們從沒有很好的開發出特徵圖之間的相關性和冗餘。
3 研究方法
在這個部分，我們首先會介紹Ghost模塊，從原始的卷積層中使用更少的過濾器生成更多的特徵圖，然後開發了一個新的GhostNet，擁有一個非常高效的架構和優異的性能。
3.1 爲了得到更多特徵的Ghost模塊
深度卷積神經網絡通常由大量的卷積組成，這導致了大量的計算開銷。儘管最近的成果，比如MobileNet和ShuffleNet已經引入了depthwise卷積和shuffle操作，使用更小的卷積過濾器(浮點運算數量)構建高效的CNNs，但是剩下的1*1卷積核仍然佔用相當大的內存和FLOPs。
如圖1所示，考慮到主流CNNs計算得到的中間特徵圖中廣泛存在着冗餘，我們提出減少必要的資源，即減少生成它們的卷積過濾器。在實際過程中，假設輸入數據X∈𝑅𝑐×h×𝑤，其中c是輸入數據的通道數，h和w分別是輸入數據的高和寬，任意卷積層生成n個特徵圖的操作可以表示爲：
其中∗表示卷積運算，b是偏置項，Y∈𝑅h′×𝑤′×𝑛是n通道的輸出特徵圖，f∈𝑅𝑐×𝑘×𝑘×𝑛是這個層的卷積過濾器。此外h′和𝑤′分別是輸出數據的高和寬，k×𝑘是卷積過濾器f的內核尺寸。在卷積過程中，FLOPs必要的數量可以計算爲n∙h′∙𝑤′∙𝑐⋅𝑘⋅𝑘，這個結果通常成千上萬，因爲過濾器n的數量和通道數c通常非常大。
根據公式1，要優化的參數的數量(在f和b中)顯然由輸入的維度和輸出特徵圖所決定。如圖1所示，卷積層的輸出特徵圖數量經常包含很多的冗餘，有些是非常相似的。我們指出，使用大量的FLOPs和參數來一個個的生成冗餘的特徵圖是不必要的。假設用一些廉價的變換產生的輸出特徵圖是一些本徵特徵圖的“重影”，這些本徵特徵圖尺寸通常很小而且由原始卷積核產生。特別地，m個本徵映射圖𝑌′∈𝑅h′×𝑤′×h使用基本的卷積產生：
其中𝑓′∈𝑅𝑐×𝑘×𝑘×𝑚是使用的過濾器，m≤𝑛並且爲了簡單起見，偏置項忽略不計。爲了讓空間尺寸(也就是h′和𝑔′)和輸出特徵圖的一致，超參數比如過濾器的尺寸，步長，填充和那些在原始卷積的一樣(公式1)。爲了進一步獲得期望的n個特徵圖，我們提出在本徵特徵圖上𝑌′上，根據下面的函數，使用一系列廉價的線性運算來生成s個重影特徵：
其中，𝑦′是𝑌′中的第i個本徵特徵圖，在上面函數中，Φi,𝑗是第j個生成的第j個重影特徵圖𝑦𝑖,𝑗的(除了最後一個)線性運算。也就是說，𝑦′可以有一個或者多個重影特徵圖{𝑦𝑖𝑗}𝑗=1𝑠 。Φi,𝑠是恆等映射來保存像圖2的本徵特徵圖。通過使用公式3，我們可以得到n=m∙𝑠個特徵圖Y=𝑦11,𝑦12,…., 𝑦𝑚𝑠作爲像圖2(b)表示的Ghost模型的輸出數據。注意線性運算Φ在每一個通道上運行，它的計算成本比原始的卷積要低。在實際過程中，在一個Ghost模型中可以有各種各樣的線性運算，比如3*3和5*5線性內核，這個在實驗部分將會分析。
和已有方法的不同。這個提出來的Ghost模塊和已有的高效的卷積方案有着很大的不同。i）和這些廣泛使用1*1pointwise的卷積相比，Ghost模塊中的基本的運算可以有自定義的內核模塊。ii）已有的方法採用pointwise卷積去跨通道處理特徵，並且之後採用depthwise卷積去處理空間信息。相反，Ghost模塊採用原始的卷積首先生成少量的本徵特徵圖，然後利用廉價的線性運算去擴充特徵和增加通道。iii）這些去處理每個特徵圖的運算受之前高效架構裏的depthwise運算或者shift運算限制，然而Ghost模型中的線性運算有這個很大的多樣性。iv）此外，恆等映射映射等價於Ghost模塊中的線性變化，去保存本徵特徵圖。
複雜度分析。因爲我們可以使用在公式3中提出的Ghost模型去從生成和原始卷積層相同數量的特徵圖，我們可以輕鬆的將Ghost模型和現有的精心設計的網絡架構整合在一起去降低計算成本。這裏我們進一步分析了使用Ghost模塊在內存使用和理論加速上的好處。舉例來說，這裏有1個恆等映射和m∙𝑠−1=𝑛𝑠∙(𝑠−1)個線性運算，並且每個線性預算的平均內核尺寸等於d×𝑑。理論上，n∙(𝑠−1)個線性運算可以有不同的形狀和參數，但是在線推理會受到阻礙，特別是考慮到CPU和GPU顯卡的效用。爲了高效的運算，我們推薦在一個Ghost模型中使用相同的尺寸(比如3*3或者5*5)的線性運算。用Ghost模型升級普通卷積的理論加速比是：
其中d×𝑑和k×𝑘有着相似的大小，而且s⋘𝑐。相似的，參數壓縮率可以計算爲：
它等於使用提出的Ghost模型的加速比（每個線性運算的內核參數都是不同的）。
3.2 構建高效的CNNs
Ghost Bottlenecks. 利用Ghost模型的優勢，我們引入了爲小型的CNNs所設計的Ghost bottleneck(G-bneck)。如圖3顯示，這個Ghost bottleneck看起來和殘差網絡的殘差塊很類似，它整合了一些卷積層和捷徑層。這個提出的Ghost Bottlenecks主要由兩個堆疊的Ghost模型組成。第一個Ghost模塊充當着增加通道數和膨脹層的功能，我們指定輸出和輸入通道數之間的比例爲膨脹比。第二個Ghost模塊減少通道數量來匹配捷徑通道，這個捷徑連接了兩個Ghost模塊的輸入和輸出。正如MobileNetV2所示，除了在第二個Ghost模塊後不使用ReLU，批歸一化和ReLU非線性在每一層的後面都使用，上面描述的Ghost bottlenect用於步長爲1的情況。對於第二種步長爲2的情況，快捷路徑通過一個下采樣層實現，而且步長爲2的depthwise卷積插入在兩個Ghost模塊之間。實際過程中，爲了效率，在Ghost模型這裏的基本卷積是pointwise卷積。
GhostNet. 以ghost bottleneck爲基礎，我們提出瞭如表格7所示的GhostNet。我們遵循了MobileNetV3的基本架構，因爲它的優越性，而且用我們的Ghost bottlenck代替了MobileNetV3的bottleneck。GhostNet主要有一堆Ghost bottlenecks組成，它使用Ghost模塊作爲構造塊。第一層是一個標準的帶有16個過濾器的卷積層，之後跟着一系列的Ghost bottleneck逐漸增加通道數。這些Ghost bottlenecks根據他們輸入特徵圖的大小分組到不同的階段。除了每個階段的最後一個步長爲2，所有的Ghost bottleneck的步長爲1。最後，爲了最終的分類，使用一個全局平均池化層和卷積層將特徵圖轉換成1280維的特徵向量。如表格7所示，在一些ghost bottlenecks中，對殘差層也使用squeeze and excite(SE)模塊。和MobileNetV3相比，我們不適用hard-swish非線性函數，因爲它的時延高。儘管進一步的超參調節或者基於ghost模塊的自主架構搜索會進一步促進性能，但是我們提出的網絡架構只是提供了一個基本的設計參考。
Width Multiplier. 儘管在表格7中給定的模型已經可以提供低時延和可保證的精度，在一些場景下，對於特定的工作，我們可能需要更小和更快的模型或者更高的準確率。爲了定製網絡來滿足需求，我們可以簡單地在每一層均勻地乘以信道數的因子α。這個因子α叫作寬度乘法器，因爲它可以改變整個網絡的寬度。寬度控制器可以通過大約𝛼2來控制模型的尺寸以及計算成本的平方。通常越小的α會導致更低的時延和更低的性能，反之亦然。
4 實驗
在這個部分中，我們首先用提出的Ghost模型代替原始的卷積層來驗證它的有效性。之後，使用新模型構建的GhostNet架構將會進一步在圖像分類和目標檢測的基準上進行測試。
數據集和設置 爲了驗證提出的Ghost模型和Ghostnet架構的有效性，我們在一些基準視覺數據集上進行了實驗，包括CIFAR-10，ImageNet ILSVRC 2012數據集和MS COCO目標檢測基準上。
CIFAR-10數據集用於分析所提方法的性能，它由10類六萬張32*32的圖片構成，五萬張訓練圖片和一萬張測試圖片。採用通常的數據增強方案，包括隨機裁剪和鏡像(何凱明)。ImageNet是一個大規模圖像數據集，它包含1000類的超過1.2M的訓練數據和50K的驗證數據。在訓練的過程中，使用常規的數據預處理策略，包括隨機裁剪和翻轉。我們也在MS COCO數據集上進行了目標檢測試驗，我們在COCO trainval35k split上進行訓練以及在有5K章圖片的minival split上進行驗證。
4.1 Ghost模型的有效性
4.1.1 玩具試驗
我們已經在圖1中呈現了圖解，指出那裏有很多相似的特徵圖對，它可以用一些有效的線性運算高效地生成。這裏我們首先進行了玩具試驗來觀察原始特徵圖和生成的ghost特徵圖之間的重構誤差。用圖1中的三對(即紅，綠，藍)爲例，使用ResNet-50的第一個殘差塊來提取特徵。用左邊的特徵作爲輸入，另一個作爲輸出，我們使用一個小的depthwise卷積過濾器去學習特徵，即他們之間的線性運算Φ，卷積過濾器的尺寸d從1到7排序，每一對不同d的MSE(均方誤差)值在表2顯示。
在表2可以看出，所有的MES值都非常的小，這論證了深度神經網絡中特徵圖之間存在很強的相關性而且這些冗餘的特徵圖可以由一些本徵特徵圖產生。除了在上面實驗中使用的卷積，我們也可以探索一些其他的低成本的線性運算去構建Ghost模塊，比如放射變換和小波變換。但是，卷積是一個高效的運算，已經得到了當前硬件很好的支持，並且它可以涵蓋大量廣泛使用的線性運算比如平滑，模糊和移動等。關於線性運算Φ，儘管我們可以學習每個過濾器的尺寸，但是不規則的模型將會降低計算單元(比如CPU和GPU)的效率。因此，我們建議d在一個Ghost模塊中是一個定值，並且在接下來的實驗中，使用depthwise卷積去實驗公式2來構建非常高效的深度卷積網絡。
4.1.2 CIFAR-10
在CIFAR-10數據集上，我們在兩個熱門的網絡架構上驗證了提出的Ghost模型，即VGG-16和ResNet-56。因爲VGG-16原來是爲ImageNet設計，因此我們使用它的變體，它廣泛的應用於文獻上來進行下面的實驗。提出的Ghost模型會取代這兩個模型中的所有的卷積層，並且新的模型，分別記作爲Ghost-VGG-16和Ghost-ResNet-5，我們的訓練測策略緊跟何凱明RestNet的配置，包括momentum，學習率等等。我們首先分析了Ghost模型中的兩個超參數s和d的印象，兵器比較了Ghost-models和最高水平的方法。
超參數的分析 如公式3所述，爲高效的深度網絡所提出的Ghost模塊有兩個參數，即爲生成m=n/s個本徵特徵圖的s和爲了計算ghost特徵圖的線性卷積的內核尺寸d*d（即depthwise卷積過濾器的內核）。這兩個參數的影響在VGG-16架構上進行測試。
首先，我們固定s=2然後再{1,3,5,7}上調節d，然後表格3中列出了在CIFAR-10驗證集上的結果。我們可以看到，提出的Ghost模型d=3比更大的或者更小的那些表現要好。這是因爲1*1大小的內核不能夠在特徵圖上引入空間信息，然而更大的內核比如d=5或者d=7導致了過擬合和更多的計算。因此，在接下來的實驗中，爲了效果和效能，我們採用d=3。
研究了提出的Ghost模型中所使用的內核尺寸之後，我們保持d=3，在{2,3,4,5}中調節另一個參數s。事實上，s直接和最終結果網絡的計算成本相關，也就是，在公式5和公式4所示，更大的s導致了更大的壓縮和加速率。從表格4的結果看出，當我們增加s的時候，FLOPs的大量減少並且準確率逐漸降低，這和預期的一樣。特別的，但s=2的時候，這意味着壓縮VGG-16兩倍，我們的方法甚至比原始模型的要稍微好一點，這表明我們提出Ghost模型的優越性。
和最高水準的比較 我們在VGG-16和ResNet-56架構上比較了GhostNet和一些具有代表性的最高水準的模型。這個比較的方法包括不同類型的模型壓縮方法，𝑙1剪枝，SBP，通道剪枝(CP)和AMC。對於VGG-16，我們的模型能夠以兩倍的加速比獲得比原始的稍微高的準確率，這表明在VGG模型中存在相當大的冗餘。我們的Ghost-VGG-16(s=2)由於和最高性能的比較(93.7%)，但是用非常少的FLOPs。對於ResNet-56，它已經比VGG-16小多了，我們的模型可以用兩倍的加速度獲得和基準可比較的精度。我們可以看出，其他最高水準的模型用相似或者更大的計算量得到低於我們的精度。
特徵圖的可視化 如圖4所示，我們也可以可視化我們ghost模型的特徵圖。儘管生成的特徵圖來自基本的特徵圖，他們確實有很大的不同，這意味着生成的特徵足夠靈活來滿足特徵工作的需求。
4.1.3 ImageNet上的大模型
接下來我們將Ghost模型嵌入在標準的ResNet-50中，並且在大規模ImageNet數據及上進行試驗。ResNet-50大約有25.6M的參數和4.1B的FLOPs，7.8%的top-5誤差。我們使用我們的Ghost模型代替ResNet-50中所有的卷積層來獲得緊湊的模型，並且把結果和一些最高水準的方法進行比較，詳情見表格6。爲了公平比較，訓練的設置比如優化器，學習率和批量尺寸都和何凱明的一樣。
從表格6的結果中，我們可以看到我們的Ghost-ResNet-50(s=2)獲得了兩倍的加速度和壓縮率，但是卻保持着和原始的ResNet-50一樣的準確率。和最近最高水平的方法比較，包括Thinet, NISP, Versatile filters 和Sparse structure selection(SSS)，在兩倍的加速度設置下，我們的方法可以獲得非常好的性能。當我們進一步將s增加到4的時候，基於Ghost的模型有大約4倍的計算加速率，只有0.3%準確率的下降。相反，有相似權重或者FLOPs的對比方法比我們的性能要低。
4.2 在視覺基準上的GhostNet
在論證了提出的Ghost模型高效地生成特徵圖的優越性之後，我們接着驗證這個如表7所示的、精心設計的GhostNet架構分別在圖像分類和目標檢測上的性能。
4.2.1 ImageNet classification
爲了驗證所提的GhostNet的優越性，我們在ImageNet分類任務上進行了實驗。我們遵循在Shufflenet使用的大部分的訓練配置，除了在8GPUs上的時候，批量設置爲1024，初始的學習率設置爲0.4。所有的結果只顯示在ImageNet驗證集上單獨裁剪的top-1性能。對於GhostNet，我們在初級的卷積中設置內核尺寸k=1，s=2，然後爲了簡單起見，在所有的Ghost模型中d=3。
選用一些現代小型網絡架構作爲對比，包括MobileNet系列、ShuffleNet系列，IGCV3，PrixylessNAS，FBNet，MnasNet等。結果彙總在表格7中。模型分組成四個移動應用典型的計算複雜度級別，即~50,~150,和200-300MFLOPs。從結果中，我們可以看到在這些小型的網絡中，越大的FLOPs導致了更高的精度，這表明了他們的有效性。我們的GhostNet模型在各種不同的計算複雜度等級上時鐘優於其他的競爭者，因爲GhostNet更有效地利用了計算資源生成特徵圖。
實際推理速度 因爲提出的GhostNet是爲了移動應用設計的，因此我們使用TFLite工具，在一個基於ARM的移動手機上測量了GhostNet的實際推理速度。我們遵循在Mobilenets中的常規設置，使用batch爲1的單進程模型。從圖7的結果中，我們可以看到在相同的時延下，GhostNet獲得了高出MobileNetV2的0.5%的top-1準確度，而且GhostNet需要更少的運行時間獲得相似的性能。舉例來說，GhostNet僅僅需要40ms時延得到75.0%的準確度，但是MobileNetV3需要大約45ms處理一張圖片來得到相似的準確度。綜上所述，我們的模型通常優於著名的最高水準的模，也就是MobileNet系列，ProxylessNAS，FBNet和MnasNet。
4.2.2 目標檢測
爲了進一步評估GhostNet的泛化能力，我們在MS COCO數據集上進行了目標檢測試驗。遵循FPN設置，我們使用trainval35k split作爲訓練數據，然後再minival split在報告均值平均精度(mAP)。兩級的Faster R-CNN和FPN以及一級的RetinaNet都用作是我們的模型，而且GhostNet充當爲主幹特徵提取器的簡單替換器件。使用FPN所推薦的超參數得到ImageNet的預訓練權重，我們在12的epochs上使用SGD訓練所有的模型。我們將輸入圖片調整爲短邊800和不超過1333的長邊。表格8顯示了檢測結果，其中FLOPs使用224*224圖片作爲慣例計算得到。GhostNet在一級RetinaNet和兩級Faster R-CNN框架上，用非常低的計算成本得到了和MobileNetV2,MobileNetV3相似的mAP值。
5 結論
爲了減少最近的深度神經網絡的計算成本，這篇論文爲構建高校的神經網絡架構提出了一種新穎的Ghost模型。這個基本的Ghost模型將輸入卷積層分成兩個部分並且利用更少的過濾器去生成一些本徵特徵圖。之後，一定數量的廉價轉換運算將會進一步用於高效的生成重新特徵圖。在基準模型和數據集上進行的實驗論證了，提出的方法是一個即插即拔的模型，可以將原始模型轉換成緊湊的模型，同時保留着可比較的性能。此外，在效率和準確率上，使用提出的新的模型的GhostNet優於最高水準的可移植神經網絡。
歡迎和我交流