原创 基於energy score的out-of-distribution數據檢測,LeCun都說好 | NerulPS 2020

 論文提出用於out-of-distributions輸入檢測的energy-based方案,通過非概率的energy score區分in-distribution數據和out-of-distribution數據。不同於softmax置信

原创 Hybrid-PSC:基於對比學習的混合網絡,解決長尾圖片分類 | CVPR 2021

 論文提出新穎的混合網絡用於解決長尾圖片分類問題,該網絡由用於圖像特徵學習的對比學習分支和用於分類器學習的交叉熵分支組成,在訓練過程逐步將訓練權重調整至分類器學習,達到更好的特徵得出更好的分類器的思想。另外,爲了節省內存消耗,論文提出原型

原创 YOLOF:單層特徵檢測也可以比FPN更出色 | CVPR 2021

 論文通過分析發現FPN的成功在於divide-and-conquer策略解決了目標檢測的優化問題,藉此研究設計了僅用單層特徵預測的高效檢測網絡YOLOF。YOLOF在結構上沒有很多花哨的結構,卻在準確率、推理速度和收斂速度上都有不錯的提

原创 爲什麼SOTA網絡在你的數據集上不行?來看看Imagnet結果的遷移能力研究

 論文通過實驗證明,ImageNet上的模型並不總能泛化到其他數據集中,甚至可能是相反的,而模型的深度和寬度也會影響遷移的效果。  如果需要參考,可選擇類別數與當前任務相似的數據集上的模型性能。論文通過大量的實驗來驗證猜想,雖然沒有研究出

原创 OREPA:阿里提出訓練也很快的重參數策略,內存減半,速度加倍 | CVPR 2022

論文提出了在線重參數方法OREPA,在訓練階段就能將複雜的結構重參數爲單卷積層,從而降低大量訓練的耗時。爲了實現這一目標,論文用線性縮放層代替了訓練時的BN層,保持了優化方向的多樣性和特徵表達能力。從實驗結果來看,OREPA在各種任務上的

原创 GIT:斯坦福大學提出應對複雜變換的不變性提升方法 | ICLR 2022

論文對長尾數據集中的複雜變換不變性進行了研究,發現不變性在很大程度上取決於類別的圖片數量,實際上分類器並不能將從大類中學習到的不變性轉移到小類中。爲此,論文提出了GIT生成模型,從數據集中學習到類無關的複雜變換,從而在訓練時對小類進行有效

原创 看看谷歌如何在目標檢測任務使用預訓練權值 | CVPR 2022

論文提出能夠適配硬件加速的動態網絡DS-Net,通過提出的double-headed動態門控來實現動態路由。基於論文提出的高性能網絡設計和IEB、SGS訓練策略,僅用1/2-1/4的計算量就能達到靜態SOTA網絡性能,實際加速也有1.62

原创 DW:優化目標檢測訓練過程,更全面的正負權重計算 | CVPR 2022

論文提出自適應的label assignment方法DW,打破了以往耦合加權的慣例。根據不同角度的一致性和非一致性指標,動態地爲anchor分配獨立的pos權重和neg權重,可以更全面地監督訓練。此外,論文還提出了新的預測框精調操作,在迴

原创 ResNet-RS:谷歌領銜調優ResNet,性能全面超越EfficientNet系列 | 2021 arxiv

論文重新審視了ResNet的結構、訓練方法以及縮放策略,提出了性能全面超越EfficientNet的ResNet-RS系列。從實驗效果來看性能提升挺高的,值得參考   來源:曉飛的算法工程筆記 公衆號 論文: Revisiting Re

原创 CA:用於移動端的高效座標注意力機制 | CVPR 2021

論文提出新穎的輕量級通道注意力機制coordinate attention,能夠同時考慮通道間關係以及長距離的位置信息。通過實驗發現,coordinate attention可有效地提升模型的準確率,而且僅帶來少量的計算消耗,十分不錯 來

原创 GWD:基於高斯Wasserstein距離的旋轉目標檢測 | ICML 2021

  論文詳細描述了當前旋轉目標檢測的主要問題,提出將旋轉回歸目標定義爲高斯分佈,使用Wasserstein距離度量高斯分佈間的距離用於訓練。目前,常規目標檢測也有很多將回歸轉化爲概率分佈函數的做法,本文有異曲同工之妙,值得閱讀 來源:曉飛

原创 GID:曠視提出全方位的檢測模型知識蒸餾 | CVPR 2021

論文提出的GID框架能夠自動選擇可辨別目標用於知識蒸餾,而且綜合了feature-based、relation-based和response-based知識,全方位蒸餾,適用於不同的檢測框架中。從實驗結果來看,效果十分不錯,值得一看 來源

原创 CAP:多重注意力機制,有趣的細粒度分類方案 | AAAI 2021

論文提出細粒度分類解決方案CAP,通過上下文感知的注意力機制來幫助模型發現細微的特徵變化。除了像素級別的注意力機制,還有區域級別的注意力機制以及局部特徵編碼方法,與以往的視覺方案很不同,值得一看 來源:曉飛的算法工程筆記 公衆號 論文:

原创 NF-ResNet:去掉BN歸一化,值得細讀的網絡信號分析 | ICLR 2021

論文提出NF-ResNet,根據網絡的實際信號傳遞進行分析,模擬BatchNorm在均值和方差傳遞上的表現,進而代替BatchNorm。論文實驗和分析十分足,出來的效果也很不錯。一些初始化方法的理論效果是對的,但實際使用會有偏差,論文通過

原创 Involution:空間不共享?可完全替代卷積的高性能算子 | CVPR 2021

其實這篇文章很早就寫好了,但作者其它論文涉及到洗稿問題,所以先放着了。目前看這篇文章沒被舉報有洗稿的嫌疑,所以就發出來了 . 來源:曉飛的算法工程筆記 公衆號 論文: Involution: Inverting the Inherenc