目錄
1 A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020)
2 Supervised Contrastive Learning (NIPS 2020)
3 Decoupled Contrastive Learning (ICLR 2022 Reject)
5 Self-supervised Co-training for Video Representation Learning (NIPS 2020)
1 A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020)
動機：
在沒有人類監督的情況下學習有效的視覺表示是一個長期存在的難題。大多數主流的方法可分爲兩類:生成式（Generative）的或判別式（Discriminative）的。
(1) 生成方法學習在輸入空間中生成或建模像素。然而，像素級生成的計算成本很高，可能不是表示學習所必需的。
(2) 判別方法使用類似於監督學習的目標函數來學習表示，但訓練網絡執行pretext任務，其中輸入和標籤都來自於一個未標記的數據集。
在embedding空間中，基於對比學習的判別方法最近顯示出巨大的希望，取得了最先進的結果。
貢獻：
在這項工作中，我們介紹了一個簡單的框架的對比學習的視覺表徵，我們稱之爲SimCLR。SimCLR不僅超越了之前的工作，但它也更簡單，不需要特殊的架構或者記憶存儲模塊，具體如下：
（1）在定義產生有效表示的對比預測任務時，多個數據增強操作的組合至關重要。此外，非監督對比學習得益於比監督學習更強的數據增廣。
（2）在表示和對比損失之間引入一種可學習的非線性變換，可以大大提高學習表示的質量。稱爲nonlinear projection head。
（3）具有對比交叉熵損失的表示學習受益於標準化嵌入和適當調整的溫度參數。
（4）對比學習與監督式學習相比，更大的批處理規模和更長的培訓時間有利於對比學習。與監督學習一樣，對比學習得益於更深入更廣泛的網絡。
2 Supervised Contrastive Learning (NIPS 2020)
動機：
對比學習在自我監督表徵學習中的應用近年來又有了新的發展，在深度圖像模型的無監督訓練中取得了良好的成績。現代批處理對比方法包含或顯著優於傳統的對比損失，如三元組 (triplet)、最大邊際(max-margi)和n對損失(N-pairs loss)。
貢獻：
提出了一種基於對照性監督學習的對比學習損失，這種監督學習利用了標籤信息。來自同一個類的標準化嵌入比來自不同類的嵌入更緊密。
3 Decoupled Contrastive Learning (ICLR 2022 Reject)
動機：
對比學習(CL)是自我監督學習(SSL)最成功的範例之一。原則上，它認爲同一幅圖像的兩個增強“視圖”(即positive)被拉近，而所有其他的negative圖像被推得更遠。然而，在基於cl的技術令人印象深刻的成功背後，它們的配方往往依賴於大量的計算設置，包括大樣本批次、廣泛的訓練時間等。
貢獻：
提出了一種解耦的對比學習(DCL)目標函數，顯著提高無監督學習效率。
① 提供了理論分析和實證證據，表明基於infone的對比學習梯度中存在負正向耦合;
② 引入了一種新的解耦對比學習(DCL)目標，該目標克服了對比學習中正樣本和負樣本之間的耦合現象，顯著提高了訓練效率;此外，提出的DCL目標對幾個重要超參數的敏感性較低;
③ 對大型和小型視覺基準進行廣泛的實驗和分析來演示我們的方法，並對標準SimCLR基準進行優化配置，使其在對比方法中具有競爭力的性能。這導致即插即用的改進，廣泛採用的InfoNCE對比學習方法。
4 With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations (ICCV 2021)
動機：
基於實例辨別的自監督學習算法使編碼器對同一實例的預定義變換保持不變。雖然大多數方法將相同圖像的不同視圖作爲對比損失的正面處理，但我們感興趣的是使用數據集中其他實例的正例。
貢獻：
提出了最近的視覺表徵的鄰居對比學習(NNCLR)，從潛在空間的數據中採樣最近的鄰居，並將它們視爲正例。這提供了比預定義轉換更多的語義變化。
5 Self-supervised Co-training for Video Representation Learning (NIPS 2020)
動機和貢獻：
在本文中，我們針對自監督視頻表示學習，提出一個問題:實例判別是否充分利用了數據?我們從兩個方面表明，答案是否定的:
(1) 我們證明了在自我監督訓練中hard positives被忽略了，如果這些hard positives被包括在內，那麼學習表徵的質量就會顯著提高。
(2) 我們提出了一種自我監督的共同訓練方法，稱爲CoCLR，即“共同訓練: 視覺表徵的對比學習”，目的是通過使用數據的其他補充視圖來挖掘正樣本，即取代先知的角色。