目錄
1 PiCO: Contrastive Label Disambiguation for Partial Label Learning (ICLR 2022)
2 Clusterability as an Alternative to Anchor Points When Learning with Noisy Labels (ICML 2021)
3 Learning with Neighbor Consistency for Noisy Labels (arXiv 2022.02)
4 kNet: A Deep kNN Network To Handle Label Noise (arXiv 2021.07)
1 PiCO: Contrastive Label Disambiguation for Partial Label Learning (ICLR 2022)
動機
部分標籤學習(Partial label learning, PLL)允許每個訓練樣本使用一個粗糙的候選集進行標記, 這在現實生活場景中很常見。然而，PLL的下游分類性能常常要比採用正確標註數據的監督任務性能差。粗糙的候選集中無法確定哪一個標籤是正確的，即存在標籤歧義的問題。與此同時，現有基於特徵表示的學習方法有一個通用的假設：在特徵空間中更靠近的數據點更有可能共享相同的ground-truth標籤。
貢獻
本文提出一種由基於對比學習模塊和基於類原型標籤歧義消除模塊組成的框架PiCO, Partial label learning with COntrastive label disambiguation。具體地：
（1）基於對比學習的模塊，通過從樣本層面，擴大同類樣本之間的相似性；
（2）基於類原型標籤歧義消除模塊，通過從類別層面，指導模型獲取高質量的僞標籤；
（3）作者們還從期望最大化算法的角度對提出的框架進行了理論解釋。
我的想法
本文通過採用對比學習，促使同類間的個體樣本相互靠近；同時，通過設計基於類原型的僞標籤更新策略，依據類別原型信息來獲取更加高質量的標籤。整體的感覺，就是樣本層面促使同類更加緊促，類別層面促使獲取的乾淨標籤信息更加準確。兩者協同，促使模型在下游分類任務上表現的更好。本文提到的移動平均更新類原型的策略以及通過同類樣本進行對比學習的思想可以考慮借鑑，並思考其與聚類之間的聯繫。
（本文評分：8，8，8. Oral）
2 Clusterability as an Alternative to Anchor Points When Learning with Noisy Labels (ICML 2021)
動機
標籤噪聲轉移矩陣表徵了一個訓練實例被錯誤標註的概率，對於設計帶噪聲標籤的學習模型至關重要。
現有的工作嚴重依賴於尋找“錨點”或它們的近似值，這些近似值被定義爲幾乎肯定屬於某個特定類的實例。儘管如此，尋找定位點仍然是一項不平凡的任務，而且估計精度也常常受到可用定位點數量的限制。
雖然錨點方法觀察到大量的成功，但它也有一些侷限性:
1)當標籤類數量較大時，準確擬合噪聲分佈具有挑戰性;
2)錨點個數限制了估計精度;
3)它缺乏擴展到更復雜的噪音設置的靈活性。
貢獻
提出了一種不求解錨點的方法來估計噪聲轉移矩陣T值。我們需要的唯一要求是可聚性，即訓練示例和示例本身的兩個最近鄰表示屬於同一個真實標籤類。
具體地：
基於可聚性條件，作者們提出了一種新的通過利用鄰域表示的噪聲標籤之間的一組高階一致性信息來實現T估計。與使用錨點的方法相比，我們的估計器使用了更大的訓練示例集，並受益於更好的樣本複雜度。
我的想法
本文把聚類最近鄰的兩點具有標籤一致性，用理論進行了證明和分析，並基於特徵表示進行噪聲轉移矩陣的估計，該策略和理論分析，到時可以學習和應用。並且，本文還可以作爲採用KNN進行標籤糾正和樣本選擇的理論支撐文章。
3 Learning with Neighbor Consistency for Noisy Labels (arXiv 2022.02)
代碼：暫無
動機
深度神經網絡模型的訓練依賴於大型標記數據集，然而標註的成本往往較高。
Neighbor Consistency Regularization (NCR)的出發點在於標註錯誤的標籤在相鄰的表示空間上面能夠被削弱，其假設的前提是標籤噪聲足夠弱或者不會高於正確標註的標籤。此外，很好有相關工作考慮採用最近鄰來生產僞標籤。
與此同時，標籤傳播通常是在整個數據集層面進行，往往導致構建基於圖的標籤傳播結構計算複雜度高
貢獻
提出了一種針對噪聲標籤的深度學習網絡模型，該模型利用了特徵空間中訓練示例之間的相似性，鼓勵每個示例與它的最近鄰之間進行相互靠近。
具體地：
① 引入了額外的一致性損失，鼓勵每個示例與相鄰示例有相似的預測。
② 鄰居一致性損失懲罰每個例子的預測偏離其鄰居的預測的加權組合，權重由它們在特徵空間中的相似度決定。
我的想法
本文的前提假設：能夠獲得訓練數據的適當特徵表示，並在模型訓練前 進行了5次epoch 預熱設定。
本文采用最近鄰的信息來對噪聲標籤的交叉熵進行平滑修正，沒有進行構圖的格式，並在實驗中取得了很好的效果，關於本文的論述和實驗思路，以及可視化方面的理解，屆時可以參考學習一下。
另外，本文的正則化損失策略，屆時可以實驗復現看看。
4 kNet: A Deep kNN Network To Handle Label Noise (arXiv 2021.07)
代碼：暫無
動機
深度神經網絡的訓練需要大量的標記數據。按比例收集這些數據不可避免地會引起標籤噪聲。因此，需要開發魯棒的學習算法來去除噪聲標籤。
近年來，基於K近鄰(kNN)的方法是一個可行的解決方案。但相關方法往往需要一個巨大的內存佔用來存儲所有的訓練樣本，並需要一個高級的數據結構來允許快速檢索相關的例子，給定一個查詢樣本。
貢獻
提出了一個神經網絡，稱爲kNet，學習執行kNN。一旦訓練完畢，我們就不再需要存儲訓練數據，並且可以把處理查詢樣例當作是一個簡單的推理問題。
在使用kNet時，我們首先在數據集上訓練一個初始網絡，然後在初始網絡的倒數第二層訓練kNet。
5 Deep k-NN for Noisy Labels (ICML 2020)
代碼：暫無
動機
現有的深度學習模型通常是在帶有噪音標籤的例子上進行訓練的，這些噪音標籤會影響性能，而且很難識別錯誤標註的樣本。
貢獻
提供了一項實證研究，表明在初始深度神經網絡模型的logit層上採用簡單的K近鄰過濾方法可以去除錯誤標記的訓練數據，併產生比許多最近提出的方法更準確的模型。
主要貢獻有:
- 實驗表明，在初步深度神經網絡模型的中間層上執行KNN來過濾可疑標籤的示例，其效果與處理噪聲標籤的最新方法一樣好或更好，並且對k的選擇具有魯棒性。
- 理論上表明，只有當一個訓練示例的標籤是貝葉斯最優標籤時，它纔會被識別爲乾淨。此外，理論表明即使最初的神經網絡是用錯誤的標籤訓練，它仍然產生了對KNN過濾有用的中間表示。
除了較強的經驗性能外，深度KNN濾波還有幾個優點。首先，許多方法需要一套乾淨的樣品，其標籤是可信的。在這裏，我們證明了基於KNN的方法是有效的，無論是存在還是不存在一組乾淨的樣本。