1.A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning (NIPS 2021)
鏈接：https://openreview.net/forum?id=P84bifNCpFQ (Spotlight)
代碼：暫無
簡介：對於圖像查詢，無監督對比學習將同一圖像的作物標記爲正片，將其他圖像作物標記爲負片。雖然直觀，但這種本地標籤分配策略不能揭示查詢及其正負之間的潛在語義相似性，並且會降低性能，因爲一些負負在語義上與查詢相似，甚至與查詢共享相同的語義類。在這項工作中，我們首先證明了在對比學習中，不準確的標籤分配會嚴重影響其語義辨析的泛化，而準確的標籤則有利於其泛化。在此理論的啓發下，我們提出了一種新穎的自標記細化方法用於對比學習。它通過兩個互補的模塊提高標籤質量:(i)自標記精煉廠(SLR)，以產生準確的標籤(ii)動量MixUp來增強查詢與正向查詢之間的相似性。SLR使用查詢的正數來估計查詢與正數和負數之間的語義相似度，並將估計的相似度與對比學習中的普通標籤賦值相結合，迭代地生成更準確、信息量更大的軟標籤。理論分析表明，該方法能夠準確地恢復被標籤損壞數據的真實語義標籤，並對網絡進行監督，實現分類任務的零預測誤差。
2. Self-Paced Contrastive Learning for Semi-supervised Medical Image Segmentation with Meta-labels (NIPS 2021)
鏈接：https://openreview.net/forum?id=8Uui49rOfc
代碼：暫無
簡介：識別模型在未標記數據的大數據集上進行對比預訓練，通常可以提高模型在下游任務(如圖像分類)中的性能。然而，在醫學成像等領域，收集未標記數據可能具有挑戰性，而且費用昂貴。在這項工作中，我們考慮了醫學圖像分割的任務，並將使用元標籤註釋的對比學習適應於沒有額外未標籤數據可用的場景。在獲取過程中，元標籤通常是免費的，比如3D MRI掃描中二維切片的位置。我們使用這些元標籤來預先訓練圖像編碼器，以及在一個半監督學習步驟中利用一組減少的註釋數據。提出了一種利用弱標註的自節奏學習策略，以進一步幫助學習過程，並從噪聲中識別有用的標籤。
3. How Does a Neural Network’s Architecture Impact Its Robustness to Noisy Labels? (NIPS 2021)
鏈接：https://openreview.net/forum?id=Ir-WwGboFN-
代碼：暫無
簡介：大型真實數據集中，噪聲標籤是不可避免的。在這項工作中，我們探索了先前工作的一個領域-網絡的架構如何影響其對噪聲標籤的魯棒性。我們提供了一個正式的框架，將網絡的健壯性與其架構和目標/噪聲函數之間的一致性連接起來。我們的框架通過表徵的預測能力來衡量網絡的魯棒性，即使用一組乾淨的標籤對學習到的表徵進行訓練的線性模型的測試性能。我們假設，如果一個網絡的架構與目標函數比噪聲更一致，那麼它對噪聲標籤的魯棒性就更強。爲了支持我們的假設，我們提供了各種神經網絡架構和不同領域的理論和經驗證據。我們還發現，當網絡與目標函數良好對齊時，它在表徵中的預測能力可以在測試準確性方面提高最先進的(SOTA)噪聲標籤訓練方法，甚至優於使用乾淨標籤的複雜方法。
4. Learning with instance-dependent label noise: A sample sieve approach (ICLR, 2021)
鏈接：https://openreview.net/pdf?id=2VXyy9mIyU3
代碼：https://github.com/UCSC-REAL/cores
簡介：許多文獻(除了最近的幾個例外)關注的是標籤噪聲獨立於特徵的情況。實際上，註釋錯誤往往與實例相關，並且通常取決於識別某一任務的困難程度。應用來自實例無關設置的現有結果將需要對噪聲率進行大量的估計。因此，爲基於實例的標籤噪聲的學習提供理論上嚴格的解決方案仍然是一個挑戰。在本文，我們提出了一種置信規則樣本選擇方法，可以逐步篩選出含噪聲標註的數據。其實現不需要指定噪聲率，但是我們能夠在過濾掉損壞的示例時提供有效的理論保證。這種高質量的樣品篩允許我們在訓練DNN解決方案時分別處理乾淨的樣本和損壞的樣本，這種分離在實例依賴的噪聲設置中是有利的。
5. Learning with Feature-Dependent Label Noise: A Progressive Approach (ICLR, 2021)
鏈接：https://openreview.net/forum?id=ZPa2SyGcbwh
代碼：https://github.com/pxiangwu/PLC
簡介：大多數現有的處理噪聲標籤的方法分爲兩類:要麼假設一個理想的獨立於特徵的噪聲，要麼在沒有理論保證的情況下仍然是啓發式的。在這篇論文中，我們提出了一種新的基於特徵的標籤噪聲家族，它比常用的i.i.d.標籤噪聲更爲普遍，並且包含了廣泛的噪聲模式。針對這種常見的噪聲族，我們提出了一種漸進的標籤校正算法，該算法迭代地校正標籤並改進模型。我們提供的理論保證表明，對於各種(未知)噪聲模式，使用該策略訓練的分類器收斂到與貝葉斯分類器一致。