目錄
噪聲標籤建模
1. NIPS2021,FINE Samples for Learning with Noisy Labels
代碼:https://github.com/Kthyeon/FINE_official
鏈接:https://openreview.net/forum?id=QZpx42n0BWr
簡介:
存在噪聲標籤的魯棒技術可以分爲兩類:開發噪聲魯棒函數或通過檢測噪聲數據使用噪聲清除方法。噪聲標籤檢測器通常是基於啓發式而不是理論,需要一個健壯的分類器來預測帶有損耗值的噪聲數據。設計一種魯棒噪聲檢測器,介紹了FINE檢測標籤噪聲的方法。我們的主要思想是利用特徵分解產生的潛在表示的主成分。現有的檢測方法大多依賴於損失值,而這種損失可能會因分類器損壞而產生偏差。在我們的框架下,我們提出了FINE的三種應用:樣本選擇方法和半監督學習方法,並與噪聲魯棒損失函數協作。
2. ICML2021, Asymmetric Loss Functions for Learning with Noisy Labels
代碼:https://github.com/hitcszx/ALFs
鏈接:https://arxiv.org/abs/2106.03110
簡介:
魯棒損失函數對於訓練具有較強泛化能力的深度神經網絡具有重要意義。驗證了對稱損失函數對標籤噪聲的魯棒性。然而,對稱條件過於嚴格。我們提出了一種新的魯棒損失函數族,即非對稱損失函數,它對各種類型的噪聲具有適當的容錯模型。從理論上證明了包括對稱損失在內的完全不對稱損失是分類校準的,當它們是嚴格不對稱時,具有一個超額風險界。
3. ICLR2021,Robust Curriculum Learning: from clean label detection to noisy label self-correction
代碼:暫無(本文的寫作可以參考學習)
鏈接:https://openreview.net/forum?id=lmTWnm3coJJ
簡介:
現有方法通過(1)過濾掉噪聲數據,只使用乾淨數據進行訓練或(2)在訓練期間通過模型重新標記噪聲數據,或通過僅在乾淨數據集上訓練的另一個模型重新標記噪聲數據來解決這個問題。然而,前者沒有利用錯誤標記數據的特徵信息,而後者可能會對某些數據產生錯誤的僞標記,並引入額外的噪聲。在本文中,我們通過開發一種名爲魯棒課程學習(Robust curriculum learning, RoCL)的課程學習策略來解決上述噪聲標籤學習的問題。
4. ICLR 2020, Curriculum Loss: Robust Learning and Generalization against Label Corruption
代碼:暫無
鏈接:https://arxiv.org/abs/1905.10045
簡介:
提出了一種新穎的損失(即課程損失)來對抗標籤噪聲。我們證明了與傳統的基於累加的代理損失相比,我們的CL是一個更嚴格的0-1損失上界。此外,CL可以自適應地選擇樣本進行階段性訓練,在課程學習和魯棒學習之間架起了橋樑。
附加參考:
[1] ICLR2022 UnderReview, https://openreview.net/forum?id=HY6i9FYBeFG (集成各大方法優點,效果比較強)
[2] ICLR2022, UnderReivew, https://openreview.net/forum?id=ovRQmeVFbrC (探討半監督學習中噪聲標籤)
[3] ICLR2022, UnderReview ICLR: https://openreview.net/forum?id=xENf4QUL4LW, NIPS: https://openreview.net/forum?id=zGsRcuoR5-0 (樣本選擇那條線,執行Co-teaching策略)
[4] ICLR 2022, https://openreview.net/forum?id=RGrj2uWTLWY (半監督學習構圖的學習,其數據集也是和圖有關)
半監督學習
5. NIPS2021, Combating Noise: Semi-supervised Learning by Region Uncertainty Quantification
代碼:暫未找到
鏈接:https://openreview.net/forum?id=m7XHyicfGTq
簡介:
提出了一種基於區域不確定性量化的半監督學習方法用於目標檢測。具體地說,我們首先對噪聲僞標籤的影響進行了詳細的研究。我們觀察到不同類型的區域建議在面對噪聲標籤時表現出不同的敏感性。通過將變化的靈敏度與帶噪聲的僞標籤相結合,我們提出了一種定量的度量方法來度量區域的不確定性程度,並構造了一個不確定性感知的軟目標作爲學習目標。
6. ICLR2022 UnderReview, On Non-Random Missing Labels in Semi-Supervised Learning
代碼:暫無
鏈接:https://openreview.net/forum?id=6yVvwR9H9Oj
簡介:
對於半監督學習,我們提出了一個現實且具有挑戰性的標籤缺失非隨機(MNAR)問題,這在以前的工作中沒有得到廣泛的研究。我們系統地分析了非隨機缺失標籤所造成的偏差。我們提出了一個統一的雙魯棒框架,稱爲類感知雙魯棒估計器(Class-Aware double robust, CADR),通過使用類感知來消除監督模型訓練端產生的偏差。
噪聲標籤理論解釋
7. IJCAI2021, Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion
代碼:暫未找到
鏈接:https://www.ijcai.org/proceedings/2021/0340.pdf
簡介:
在過去的幾年裏,處理噪聲標籤的深度學習方法已經被開發出來,其中許多是基於小損耗準則的。然而,很少有理論分析來解釋爲什麼這些方法可以很好地學習噪聲標籤。本文從理論上解釋了廣泛應用的小損耗準則的作用機理。在此基礎上,我們重新形式化了香草小損失準則,以更好地處理噪聲標籤。實驗結果驗證了我們的理論解釋,也證明了改造的有效性。
附加:ICML2021, Wasserstein Distributional Normalization For Robust Distributional Certification of Noisy Labeled Data.
數據增強策略
8. ICLR2022, UnderReview, Noisy Feature Mixup
代碼:暫無
鏈接:https://openreview.net/forum?id=vJb4I2ANmy
簡介:
該方法將混合和流形混合作爲特例,但它還有額外的優點,包括更好地平滑決策邊界和使模型具有改進的魯棒性。我們提供了理論來理解這一點,以及隱含的正則化效應窄帶調頻。我們的理論得到了實證結果的支持,證明了NFM相對於混合混合和流形混合的優勢。