目錄
1 On Non-Random Missing Labels in Semi-Supervised Learning (ICLR 2022)
2 Multi-Objective Interpolation Training for Robustness to Label Noise (CVPR 2021)
3 Learning from Web Data with Self-Organizing Memory Module (CVPR 2020)
4 Deep Self-Learning From Noisy Labels (ICCV 2019)
5 CleanNet: Transfer Learning for Scalable Image Classifier Training with Label Noise (CVPR 2018)
1 On Non-Random Missing Labels in Semi-Supervised Learning (ICLR 2022)
動機：
① 現有的半監督學習模型一般是首先採用有標記的數據對模型訓練，然後採用模型對未標記數據預測得到僞標籤，最後聯合標記數據和僞標記數據進一步改進模型的性能。
② 與此同時，半監督學習從根本上講可以認爲是一個標籤缺失問題，其中標籤非隨機缺失（MNAR）問題與現有的基於MCAR問題相比，MNAR問題更具有現實意義和挑戰性，並且其服從有標籤和無標籤數據共享同一類分佈的隨機假設。
③ 此外，現有的半監督學習方法忽略了“類“在造成非隨機性方面的誤差。例如，用戶更有可能給一些流行的類別貼上標籤，導致類別不平衡問題加劇。
貢獻：
1) 提出了一種傾向標註數據的類別感知模塊(Class-Aware Propensity for Labeled Data)，利用標註信息對分類模型進行訓練，並通過整體數據分佈來獲取每個類別的判別概率分佈信息；
2) 提出了一種用於無標註數據標籤填補的類別感知模塊(Class-Aware Imputation for Unlabeled Data)，通過模型給每個類別設定動態的閾值，獲取對應類別無標註數據的僞標籤；
3) 利用雙向魯棒估計器，優雅地講1）和2）模塊結合起來，並添加了一個L_supp補充損失函數，用於半監督學習建模。
我的想法：
本文整體創新和NIPS2021的FlexMatch核心創新比較類似，NIPS2021從課程學習的角度來討論半監督學習建模，而本文則從數據的MNAR缺失角度來討論半監督學習，並且重點分析了類別不平衡的問題，即本文提出的模型在類別不平衡問題上的建模效果更好。
對於本文的類別感知設計思想可以考慮在時間序列數據分類上運用看看。（本文評分：8，6，6）
2 Multi-Objective Interpolation Training for Robustness to Label Noise (CVPR 2021)
動機：
採用標準交叉熵損耗訓練的深度神經網絡能夠記憶噪聲標籤，從而降低其性能。爲了減少這種記憶，大多數研究都提出了新的魯棒分類損失函數。
然而，以前的大多數方法只依賴於分類損失，很少有工作將相似度學習框架結合起來，即直接學習圖像表示，而不是通過標籤類別輔助表示學習。
在標籤噪聲的背景下，有一些工作嘗試用簡單的相似學習損失進行訓練，但據我們所知，還沒有研究採用最近的對比學習損失的工作。
貢獻：
提出了一種多目標插值訓練(MOIT)方法，該方法聯合利用對比學習和半監督分類相互協作的關係，提高模型對標籤噪聲的魯棒性。
具體地：
① 提出一種多目標插值訓練(MOIT)框架，其中有監督對比學習和半監督學習相互幫助，在單一超參數配置下，合成和網絡標籤噪聲都存在。
② 提出一種插值對比學習(ICL)損失，它對輸入和對比學習損失施加線性關係，以減輕在監督對比學習損耗中導致模型的性能退化問題。
③ 提出一種基於K近鄰搜索的標籤噪聲檢測策略，能夠依據ICL損失學習的魯棒性特徵表示推斷每個樣本的標籤分佈。
④ 結合乾淨數據提出了一種預訓練微調策略（MOIT+），能夠進一步提到含噪聲標籤的模型魯棒性。
我的想法：
MOIT的核心思想是將監督對比學習和分類結合起來，使它們對噪聲的標註都具有魯棒性。插值對比學習正則化可以學習標籤噪聲魯棒表示，用於估計與原始標籤一致的軟標籤分佈（MixUp），從而可以識別正確標記的樣本。
3 Learning from Web Data with Self-Organizing Memory Module (CVPR 2020)
代碼：暫無
動機：
近年來，從網絡數據中學習吸引了大量的研究興趣。然而，爬行的網絡圖像通常含有兩類噪聲，即標籤噪聲和背景噪聲，這給有效利用這些噪聲帶來了額外的困難。現有的方法要麼依賴於人的監督，要麼忽略背景噪聲。
貢獻：
提出了一種基於自組織記憶模塊的方法，在不需要人工標註的情況下，可以同時處理標籤噪聲和背景噪聲。
具體地：
① 在多實例學習框架下使用內存模塊處理web數據的標籤/背景噪聲，採用類似K-means的聚類模塊來實現該功能。
② 提出了自組織記憶模塊來穩定訓練過程和結果，將聚類模塊和分類過程聯合一起，形成一個端到到的模型。
我的想法：
本文采用當前特徵表示與最近的簇以及最遠的簇分數相乘的結果，來表示類原型的分數，從而參與分類過程。也就是說，類原型分數越高，越有可能是乾淨標籤。最後，本文選取權重分數的前10%作爲乾淨標註進行問題建模。
在靠近最近的類中心的同時，加強與其它類別之間的差異和距離。這個思想可以劃分爲兩個不同的損失函數。
在圖像ROI領域，本文依據聚類模塊選取的前10%僞標籤，對訓練的預測結果添加閾值進行交叉熵訓練，這樣的過程到時可以實驗分析看看。
4 Deep Self-Learning From Noisy Labels (ICCV 2019)
動機：
當從乾淨的數據中進行訓練時，卷積神經網絡可以獲得良好的效果，但是從嘈雜的標籤中進行學習會顯著降低性能，並且仍然具有挑戰性。
貢獻：
提出了一種新的深度自學習框架，在沒有額外監督的情況下，在真實的有噪聲數據集上訓練魯棒網絡。
1）提出了一個迭代學習框架SMP（ Self-Learning with Multi-Prototypes）來重新標記有噪聲的樣本，並在真正有噪聲的數據集上訓練卷積神經網絡，而不使用額外的乾淨監督。
2）SMP對於從噪聲數據中學習產生了有趣的發現。例如，與已有工作不同，我們表明單個原型可能不足以表示一個含有噪聲標註的類。通過爲一個類別提取多個原型，我們證明了越多的原型就能更好地表示一個類別，並獲得更好的標籤校正結果。
我的想法：
本文的動機中，對於同一類採用兩個類原型來確定不同類別分佈間的邊界。即兩個類別間的邊界採用曲線比直接採用一刀切的直線要更好。
在本文中，作者們提出了一種迭代的自學習框架工作，用於在真實的有噪聲數據集上進行學習，並證明了單一原型不足以表示類的分佈，而多原型是必要的。
5 CleanNet: Transfer Learning for Scalable Image Classifier Training with Label Noise (CVPR 2018)
動機：
在圖像分類模型中包含標籤噪聲的的學習問題中，現有依賴於人的監督的方法通常是不能擴展的，因爲人工識別正確或錯誤的標籤是耗時的，而不依賴於人的監督的方法是可擴展的，但效果較差。
貢獻：
爲了減少人工監督標籤噪聲清洗的工作量，我們引入了一種聯合神經嵌入網絡CleanNet，它只需要人工驗證部分類來提供標籤噪聲的知識，可以轉移到其他類。
具體貢獻如下：
(1)引入了“標籤清潔網絡”(Clean-Net)，這是爲這種設置設計的一種新穎的神經結構。首先，我們開發了一個參考集編碼器，它採用了注意機制，將一個類的參考圖像集編碼爲一個表示該類的嵌入向量。
(2)在參考集嵌入的同時，我們還爲每一幅圖像構建了一個查詢嵌入向量，並在訓練中施加一個匹配約束，要求查詢嵌入與類嵌入相似，如果查詢與類相關的話。
CurriculumNet (CVPR2018) 很自然地認爲，一組標籤正確的乾淨圖像往往具有相對相似的視覺外觀，並且這些圖像相互之間的投影非常緊密，導致局部密度值很大。
課程學習：一種依賴於直覺的學習策略——任務按照難度的增加進行排序，訓練是按照從簡單任務到困難任務的順序進行的。
我的想法：
採用聚類選擇乾淨樣本時，最好討論分析一下歐式距離、餘弦相似度和DTW距離的優劣。
ECCV2018提到一個自然的直覺：乾淨的標籤其特徵分佈更加精密，類似小損失準則。
距離類簇中心越近的點，其標註正確的概率就越大。
此外，ECCV2018還發現，最後添加的高噪聲數據，並不會對模型的性能造成很大影響，反而會提高模型的泛化性。