原创 爲什麼SOTA網絡在你的數據集上不行?來看看Imagnet結果的遷移能力研究

 論文通過實驗證明,ImageNet上的模型並不總能泛化到其他數據集中,甚至可能是相反的,而模型的深度和寬度也會影響遷移的效果。  如果需要參考,可選擇類別數與當前任務相似的數據集上的模型性能。論文通過大量的實驗來驗證猜想,雖然沒有研究出

原创 OREPA:阿里提出訓練也很快的重參數策略,內存減半,速度加倍 | CVPR 2022

論文提出了在線重參數方法OREPA,在訓練階段就能將複雜的結構重參數爲單卷積層,從而降低大量訓練的耗時。爲了實現這一目標,論文用線性縮放層代替了訓練時的BN層,保持了優化方向的多樣性和特徵表達能力。從實驗結果來看,OREPA在各種任務上的

原创 GIT:斯坦福大學提出應對複雜變換的不變性提升方法 | ICLR 2022

論文對長尾數據集中的複雜變換不變性進行了研究,發現不變性在很大程度上取決於類別的圖片數量,實際上分類器並不能將從大類中學習到的不變性轉移到小類中。爲此,論文提出了GIT生成模型,從數據集中學習到類無關的複雜變換,從而在訓練時對小類進行有效

原创 看看谷歌如何在目標檢測任務使用預訓練權值 | CVPR 2022

論文提出能夠適配硬件加速的動態網絡DS-Net,通過提出的double-headed動態門控來實現動態路由。基於論文提出的高性能網絡設計和IEB、SGS訓練策略,僅用1/2-1/4的計算量就能達到靜態SOTA網絡性能,實際加速也有1.62

原创 DW:優化目標檢測訓練過程,更全面的正負權重計算 | CVPR 2022

論文提出自適應的label assignment方法DW,打破了以往耦合加權的慣例。根據不同角度的一致性和非一致性指標,動態地爲anchor分配獨立的pos權重和neg權重,可以更全面地監督訓練。此外,論文還提出了新的預測框精調操作,在迴

原创 ResNet-RS:谷歌領銜調優ResNet,性能全面超越EfficientNet系列 | 2021 arxiv

論文重新審視了ResNet的結構、訓練方法以及縮放策略,提出了性能全面超越EfficientNet的ResNet-RS系列。從實驗效果來看性能提升挺高的,值得參考   來源:曉飛的算法工程筆記 公衆號 論文: Revisiting Re

原创 CA:用於移動端的高效座標注意力機制 | CVPR 2021

論文提出新穎的輕量級通道注意力機制coordinate attention,能夠同時考慮通道間關係以及長距離的位置信息。通過實驗發現,coordinate attention可有效地提升模型的準確率,而且僅帶來少量的計算消耗,十分不錯 來

原创 GWD:基於高斯Wasserstein距離的旋轉目標檢測 | ICML 2021

  論文詳細描述了當前旋轉目標檢測的主要問題,提出將旋轉回歸目標定義爲高斯分佈,使用Wasserstein距離度量高斯分佈間的距離用於訓練。目前,常規目標檢測也有很多將回歸轉化爲概率分佈函數的做法,本文有異曲同工之妙,值得閱讀 來源:曉飛

原创 GID:曠視提出全方位的檢測模型知識蒸餾 | CVPR 2021

論文提出的GID框架能夠自動選擇可辨別目標用於知識蒸餾,而且綜合了feature-based、relation-based和response-based知識,全方位蒸餾,適用於不同的檢測框架中。從實驗結果來看,效果十分不錯,值得一看 來源

原创 CAP:多重注意力機制,有趣的細粒度分類方案 | AAAI 2021

論文提出細粒度分類解決方案CAP,通過上下文感知的注意力機制來幫助模型發現細微的特徵變化。除了像素級別的注意力機制,還有區域級別的注意力機制以及局部特徵編碼方法,與以往的視覺方案很不同,值得一看 來源:曉飛的算法工程筆記 公衆號 論文:

原创 NF-ResNet:去掉BN歸一化,值得細讀的網絡信號分析 | ICLR 2021

論文提出NF-ResNet,根據網絡的實際信號傳遞進行分析,模擬BatchNorm在均值和方差傳遞上的表現,進而代替BatchNorm。論文實驗和分析十分足,出來的效果也很不錯。一些初始化方法的理論效果是對的,但實際使用會有偏差,論文通過

原创 Involution:空間不共享?可完全替代卷積的高性能算子 | CVPR 2021

其實這篇文章很早就寫好了,但作者其它論文涉及到洗稿問題,所以先放着了。目前看這篇文章沒被舉報有洗稿的嫌疑,所以就發出來了 . 來源:曉飛的算法工程筆記 公衆號 論文: Involution: Inverting the Inherenc

原创 MobileNext:打破常規,依圖逆向改造inverted residual block | ECCV 2020

論文深入分析了inverted residual block的設計理念和缺點,提出更適合輕量級網絡的sandglass block,基於該結構搭建的MobileNext。根據論文的實驗結果,MobileNext在參數量、計算量和準確率上都

原创 GFLV2:邊界框不確定性的進一步融合,提點神器 | CVPR 2021

  GFLV2基於GFLV1的bbox分佈進行改進,將分佈的統計信息融入到定位質量估計中,整體思想十分創新和完備,從實驗結果來看,效果還是挺不錯的 來源:曉飛的算法工程筆記 公衆號 論文: Generalized Focal Loss

原创 DynamicHead:基於像素級路由機制的動態FPN | NIPS 2020

論文提出了細粒度動態detection head,能夠基於路由機制動態地融合不同FPN層的像素級局部特徵進行更好的特徵表達。從設計的路由空間來看是一個十分耗時的操作,但是作者設計的高效路由器實際計算十分高效。實驗結果來看,細粒度動態det