【圖像分類】華爲雲·垃圾分類亞軍方案分享

導語

瀏覽更多內容，可訪問：http://www.growai.cn
結束比賽有幾天了，這幾天一直在處理前段時間堆積的工作，今天得空對自己的方案進行梳理總結。今年7月多結束魔鏡杯後，將之前的內容整理了一下，剛好看到華爲垃圾分類比賽，由於我的工作內容還是偏圖像，所以就想玩玩，有幸拿了一個亞軍。

這次比賽是基於華爲雲的modelArts平臺，免費的gpu硬件環境，全新的結果提交驗證方法。感謝組織方華爲雲，喜歡打比賽的小夥伴也可以多留意該平臺，會不定期舉辦各種數據類競賽。這次我們隊共有三人：謝賦(老虎）、舒欣（up)和文瑞（一休)，大家交流分工合作，才能不斷奮力前進。這次分享主要是針對決賽階段，該階段要求模型的推理時間不能大於100ms，不能使用融合和TTA。故關於模型融合和TTA技巧，本次不會涉及到，後面還會有圖像分類的專題分享。

一 解題思路

1. 拿到數據後，我們首先做了數據分析。統計數據樣本分佈，尺寸分佈，圖片形態等，基於分析可以做一些針對性的數據預處理算法，對後期的模型訓練會有很大的幫助。
2. 選擇好的baseline。需要不斷的嘗試各種現有的網絡結構，進行結果對比，挑選出適合該網絡的模型結構，然後基於該模型進行不斷的調參，調試出性能較好的參數。
3. 做結果驗證，分析badcase。將上述模型在驗證集上做結果驗證，找出錯誤樣本，分析出錯原因，然後針對性的調整網絡和數據。
4. 基於新數據和模型，再次進行模型調優

二 數據分析（EDA)

• 原始共有43個類別，共計19459張圖片。圖像類別數據不均衡，其中較少數據爲類別3(牙籤）、類別40（毛巾）和類別41（飲料盒）；數據較多的爲類別11（菜葉根)和類別21（插頭電線）。

• 圖片長寬比有一定的差異性，下圖是h/w比例數據分佈圖（只顯示該類數量大於100的比例），長寬比大多數集中於1，後來模型輸入尺寸設爲1：1

基於分析對圖像進行簡單的數據增強操作，包括圖像的等比填充縮放裁剪，水平翻轉、高斯噪聲等。其中第一項目，對結果影響較大。這裏是先將原始圖像以最大邊爲基準做等比縮放，不足的地方填充0，這裏縮放後的邊是最終輸入邊長的256/224倍，然後在進行剪切，這裏輸入模型的尺寸爲288*288。下圖是對比圖，如果不進行等比縮放，最終的結果是最右邊的圖片，最後的輸出就極易識別爲筷子。

等比縮放的代碼如下：

class Resize(object):
    def __init__(self, size, interpolation=Image.BILINEAR):
        self.size = size
        self.interpolation = interpolation

    def __call__(self, img):
        # padding
        ratio = self.size[0] / self.size[1]
        w, h = img.size
        if w / h < ratio:
            t = int(h * ratio)
            w_padding = (t - w) // 2
            img = img.crop((-w_padding, 0, w w_padding, h))
        else:
            t = int(w / ratio)
            h_padding = (t - h) // 2
            img = img.crop((0, -h_padding, w, h h_padding))

        img = img.resize(self.size, self.interpolation)

        return img

三 模型設計與訓練

首先對原始的數據進行分組，9：1的比例分爲訓練集和測試集，基於此做線下驗證。

模型結構	baseline準確率
se_resnext50_32x4d	93.10
se_resnext101_32x4d	93.59
Senet154	94.38
resnext50_32*8d	95.01
resnext101_32*16d_wsl	95.56
resnext101_32*32d_wsl	95.32
Pnasnet5large	94.38
efficientnet-b7	95.20

基於上述結果驗證，採用了resnext101_32*16d_wsl網絡作爲基本的baseline，進行結果調優，最後的網絡結構如下圖，紅色的部分爲調整的網絡部分，模型最後全連接層添加dropout降低過擬合，首層卷積添加cbam注意力機制增強特徵表徵能力，關注重要特徵抑制不必要特徵。基於此網絡，現在訓練20個epoch就能收斂到最高分，訓練時間大概5個小時左右。

在模型參數選擇和調整方面，嘗試了很多參數，針對損失函數分別嘗試了CrossEntropyLoss和focal loss， 優化函數：adabound、Radam、adam、sgd和sgd warm up， 其中adabound在起始收斂的速度較快，但是最終還是sgd的網絡精度較高。學習率優化方面使用了ReduceLROnPlateau和定值優化兩種方法，定值優化需要根據實驗選擇適合的降分點。並且也要針對不同的模型調整學習率，最終採用的參數如下：

• 使用預訓練參數
• 優化函數: sgd
• 學習率：0.001
• 學習率優化：ReduceLROnPlateau
• 自己設置的網絡層，初始學習率是預加載參數網絡的5倍

四 結果分析

在驗證集上做結果驗證，得到下圖所示的混淆矩陣。基於此分析各類別預測結果分佈，分析badcase，採取措施進行數據擴充或數據增強工作。

五 展望

• 對網絡結果中的全部殘差塊添加時間和空間注意力機制
• 對模型進行量化和剪枝，在保證精度的同時提高模型速度
• 轉化爲二分類問題，使用人臉的arcfaceloss triplet loss focal loss聯合loss優化
• 在落地的場景中增加反饋機制，收集用戶的反饋信息，對模型進行在線訓練，不斷增加訓練數據優化模型。

參考文獻

• Robustness properties of Facebook’s ResNeXtWSL models
• FaceNet: A Unified Embedding for Face Recognition and Clustering
• Focal Loss for Dense Object Detection

感悟與建議

• 想要做一件事情，要好好的堅持下去，堅持到最後都會有所收穫；
• 結束一件任務，要做好總結，無論有沒有獲得名次；
• 報着真誠的態度向別人學習，學習別人的方法。比賽這種東西，即使第一次沒有得獎，多參加兩次，多熬兩個夜就會得獎了，大多數比賽技巧性都比較強。
• 基礎知識很重要，真正的牛人基礎都會比較好，共勉！！！

如果想要獲取開源代碼，關注微信公衆號AI成長社 回覆：垃圾分類。

推薦閱讀：

如果出現出現圖片失效的情況請閱讀：https://mp.weixin.qq.com/s/7GhXMXQkBgH_JVcKMjCejQ

• 基於lightgbm實現的二分類、多分類和迴歸任務
• 基於xgboost實現的二分類、多分類和迴歸任務
• 基於keras實現的二分類、多分類和迴歸任務
• 基於pytorch實現的二分類、多分類和迴歸任務

作者的知乎：一休, 知乎專欄：ML與DL成長之路

微信公號：AI成長社：ML/DL/CV的成長聖地。