論文：MobileFaceNets: Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices
0 摘要
作者簡單分析了普通的移動式設備上部署的網絡應用於人臉驗證任務時的缺點，並克服這個缺點設計了高效、準確的人臉驗證模型MobileFaceNets。在相同的實驗條件下，MobileFaceNets和MobileNetV2識別準確率相當，但速度要快了兩倍。使用arcface loss，基於MS-Celeb-1M數據集，大小僅爲4MB的MobileFaceNets模型在LFW上取得了99.55%的人臉驗證準確率，在MegaFace上FAR=1e-6時的TAR爲92.59，這個準確率和大小爲數百MB的大模型相當。最快的一個MobileNets在手機上的推理時間僅爲18ms。綜合來看，MobileFaceNets效率比之前的移動式模型有了很大的提升。
1 核心思想
1.1 傳統的輕量化網絡用於人臉驗證任務時的弊端
輕量化網絡，如MobileNetV1，ShuffleNet和MobileNetV2，都使用了全局平均池化層GAP。對於人臉驗證和識別任務，有的論文提到使用了GAP之後識別準確率會降低，但這些論文都沒有給出理論上的解釋。這裏，作者嘗試從感受野的角度出發來解釋下這個問題。
作者使用MTCNN進行人臉檢測得到大小爲112 x 112的人臉圖像，使用提取的五個特徵點進行人臉對齊，然後對獲取的人臉圖像進行提特徵操作。提特徵時人臉圖像的預處理減去127.5的均值，除以128進行歸一化。整個處理過程如圖1所示。
作者使用MobileNetV2進行人臉特徵的提取，因爲MobileNetV2的默認輸入大小爲224 x 224，而這裏輸入的圖像大小卻爲112 x 112，所以將MobileNetV2第一個卷積層的stride從2變成了1，最後一個卷積層的輸出feature map(表示爲FMap-end)的空間尺寸爲7 x 7。雖然理論上FMap-end的中心和邊緣像素點具有相同的局部感受野，但它們對應的卻是輸入圖像的不同區域。如圖1所示，FMap-end中心點(紅點)對應的局部感受野爲圖像的中心區域，FMap-end邊緣點(綠點)對應的局部感受野位於圖像的邊緣區域。由於感受野中不同位置的像素對輸出的影響類似於高斯分佈，因此感受野中心的像素比邊緣的像素對輸出的影響更大。FMap-end的邊緣點的有效感受野區域要比中心點的有效感受野區域要小。那麼如果輸入圖像是對齊的人臉，那麼FMap-end邊緣點比中心點表達的人臉信息要少。所以，FMap-end不同位置的像素點對於提取的人臉特徵的重要性是不同的。
在MobileNetV2中，FMap-end的維度是62720，這個維度值太大不適合直接作爲人臉特徵，因此使用了GAP操作，但實驗證明GAP操作會降低識別準確率。根據上面的分析，GAP操作時把空間上的各像素點認爲是同等重要度是不合適的。如果不用GAP而是使用全連接層又會造成參數量大幅增加，自然也就制約了模型的推理速度。
3.2 全局深度卷積
作者將GAP層替換爲全局深度卷積(GDConv)，也就是卷積核的空間尺寸和輸入的尺寸一樣，pad=0，stride=1。深度卷積的輸出是：
F是輸入的feature map，尺寸是W x H x M，K是深度卷積的卷積核，尺寸是W x H x M，那麼G的尺寸就是1 x 1 x M。深度分離卷積的總的計算量是：
將用深度卷積替換了GAP的MobileNetV2網絡稱爲MobileNetV2-GDConv。在WebFace上使用arcface loss，分別使用MobileNetV2和MobileNetV2-GDConv訓練模型，在LFW和AgeDB上進行人臉驗證實驗。結果如下表：
從表的前4行可以看出，MobileNetV2-GDConv還是有很大提升的。
1.3 MobileFaceNet結構
從表2可以看出，激活函數從Relu換成PRelu，識別準確率略有提升；用了BN和batch normalization folding。
基準模型的參數量爲0.99million，計算量爲221million。爲了進一步減少計算量，作者將模型的輸入從112 x 112 減小到了 112 x 96 或 96 x 96，並且移除了最後一個1x1卷積層以進一步減少參數量，得到了網絡MobileFaceNet-M。從MobileFaceNet-M再移除GDConv前的1x1卷積層得到了MobileFaceNet-S。
從表2中可以看出MobileFaceNet族的效果和效率的優越性。
