目錄
1 S3: Supervised Self-supervised Learning under Label Noise (ICLR 2022 reject)
2 PI-GNN: Towards Robust Graph Neural Networks against Label Noise (ICLR 2022 reject)
3 Unifying Graph Convolutional Neural Networks and Label Propagation (ICLR 2021 reject)
4 Unified Robust Training for Graph Neural Networks against Label Noise (arXiv 2021)
5 NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily (KDD 2021)
1 S3: Supervised Self-supervised Learning under Label Noise (ICLR 2022 reject)
代碼：暫無
儘管神經網絡的監督學習取得了很大的進展，但在獲取高質量、大規模和準確標記的數據集方面仍存在重大挑戰。在這種背景下，本文討論了在標籤噪聲存在的情況下的分類問題，更具體地說，在關閉集和開集標籤噪聲存在的情況下，即一個樣本的真標籤可能屬於，也可能不屬於給定標籤的集合的問題。
針對圖像領域存在的閉集和開集標籤噪聲的問題，提出了一種監督(Supervised)-自監督(Self-Supervised)的S3方法用於噪聲標籤問題建模.
具體步驟：
① 基於樣本最近鄰（餘弦相似度）投票，選取可信度高的樣本進行分類訓練（未用到標籤傳播）
② 由於最近鄰選取的置信度高的樣本會引入自我確認偏差，採用分類器的預測結果進行樣本重標註
③ 採用MixUp機制進行數據增強，並通過增強後負樣本的餘弦相似度進行自監督學習
簡單地總結：
① 樣本選擇（KNN）和重標註（分類器，用到了小Loss）
② 監督分類和無監督餘弦相似度一致性學習
模型框架圖如下：
審稿意見：
（1）創新性不足，都是已有噪聲標籤建模工作中策略的整合。此外，實驗部分並沒有對最近鄰投票、分類器樣本重標註以及無監督學習的創新點進行印證和分析
（2）核心創新點沒有分析清楚，在實驗部分也未得到印證，難以讓評委信服
2 PI-GNN: Towards Robust Graph Neural Networks against Label Noise (ICLR 2022 reject)
代碼：暫無
半監督節點分類是圖學習中的一個基本問題，它利用未標記節點和一小部分標記節點進行訓練。現有的方法嚴重依賴於高質量的標籤，然而，在現實世界的應用中，獲得高質量的標籤是昂貴的，因爲在標籤過程中不可避免地涉及到某些噪聲。因此，如何使學習算法具有良好的泛化性是一個不可避免的挑戰。
基於相鄰兩個節點大概率是同一類的直覺假設，提出了一種基於圖神經網絡的pairwise interactions（PI，成對交互）的標籤糾正方法。
具體地：
① 與傳統的魯棒訓練方法不同的是，PI明確地迫使持有正PI標籤的節點對的嵌入彼此接近，這可以應用於標記和未標記的節點。
② 此外，設計了幾個基於圖結構和節點類標籤的PI標籤實例，並進一步提出了一種新的不確定性感知訓練技術來緩解次優PI標籤的負面影響。
簡單地總結：
本文采用GNN的標籤傳播思想來做標籤糾正，並且增加了一個點對之間的損失函數，具體地表現爲：同類點之間靠近，不同類點之間遠離。
模型框架圖：
3 Unifying Graph Convolutional Neural Networks and Label Propagation (ICLR 2021 reject)
代碼：暫無
大量的標註數據被用於深度神經網絡的訓練，因此標註噪聲成爲其中的一個重要問題。雖然近年來噪聲標籤學習在圖像數據集上取得了很大的進展，但關於利用GNN對圖節點進行分類的研究還沒有開展。
基於圖結構數據的特殊屬性：圖中相鄰節點往往具有相同的標籤的直接假設：
具體地：
① 標籤傳播。基於兩個相鄰連接節點具有相同標籤的標籤平滑性，從而將鄰居節點標籤進行加權平均並與該節點的真標籤進行對比分析，從而得到一個新標籤。
② 基於標籤聚合的元學習。類似MixUp的機制，將傳播後的僞標籤和給定的標籤進行加權聚合得到新的標籤。
模型框架圖：
4 Unified Robust Training for Graph Neural Networks against Label Noise (arXiv 2021)
代碼：暫無
圖神經網絡(gnn)在圖的節點分類方面已經達到了最先進的性能。現有的絕大多數作品都假設爲訓練總是提供真正的節點標籤。然而，如何在有標籤噪聲的情況下提高gnn的魯棒性的研究還很少。
然而圖學習的建模面臨標籤稀疏性和標籤依賴的兩個問題：
(1）標籤稀疏性: 節點相互連接的圖結構數據比單個圖像更難以進行數據標註。通常，圖是稀疏標記的，只有一小部分標記節點用於訓練。因此，我們不能像之前使用“小損失技巧”的方法那樣，簡單地刪除帶有損壞標籤的“壞節點”。
(2) 標籤依賴: 圖節點數據表現出很強的標籤依賴，因此結構接近度高(直接或間接連接)的節點往往具有相似的標籤。這就迫切需要在訓練抗標籤噪聲的魯棒模型時充分利用圖拓撲和稀疏節點標籤。
本文提出了一種採用標籤聚合策略的樣本重加權和標籤糾正的方法，具體分爲：
1）標籤聚合：具體來說，我們執行隨機漫步來收集具有更高階接近度的上下文節點。然後，採用上述策略選取的節點，組成一個支持集。
2）樣本加權：我們根據每個節點所給定標籤的可靠性，設計了一個重新加權的方案，使得在梯度更新過程中，可靠標籤的丟失可以起到更大的作用。
3）標籤糾正：在含標籤數據訓練有限的情況下，我們還通過糾正有噪聲的標籤來增加標記節點的集合。
模型框架圖：
5 NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily Labeled Graphs (KDD 2021)
圖神經網絡(GNN)已經在圖的半監督學習任務中取得了很好的結果，例如節點分類。儘管GNN取得了巨大的成功，但現實世界中的許多圖往往是稀疏且帶噪聲的標記，這可能會嚴重降低GNN的性能，因爲噪聲信息會通過圖結構傳播到無標記的節點。因此，開發一種抗標籤噪聲的GNN對半監督節點分類具有重要意義。
爲了減輕標籤噪聲的負面影響，我們提出將無標籤節點與特徵相似度高的有標籤節點連接，以帶來更多幹淨的標籤信息。此外，該策略可以獲得準確的僞標籤，提供更多的監督，進一步降低標籤噪聲的影響。
本文中，我們研究了在稀疏和帶噪聲標記的圖上學習抗噪聲GNN的一個新問題。從本質上講，我們面臨兩個挑戰:
(1) 如何有效地將無標記節點與有標記節點連接起來，以緩解標記噪聲的影響，有利於預測?
(2) 對於標籤有噪聲和限制的圖，如何獲得準確的僞標籤?
模型框架圖：
