如何進一步提高自我監督學習的魯棒性是計算機視覺領域的一大難題，Google Brain的研究人員就此問題發表了一篇論文，本文爲 AI 前線第 105 篇論文導讀，我們將對這篇論文的具體方法和效果進行解讀。
近日，Google Brain研究人員發表了一篇關於“如何提高自我監督學習的魯棒性方法”的新研究。研究中提出了一個自動刪除快捷方式特徵的通用框架，該框架能使自我監督的模型優於以傳統方式訓練的模型。
摘要
在自我監督的視覺表現學習中，特徵提取器在一個“預置任務”（Pretext task可以理解爲是一種爲達到特定訓練任務而設計的間接任務或預置任務）上進行訓練，因爲可以快速生成標籤。這種方法存在的一個主要問題是，特徵提取器在快速學習過程中關注於低級視覺特徵（low-level visual features），例如色差或水印，無法學習有用的語義表示。
爲解決這一問題，研究人員提出了一個自動刪除快捷特徵的通用框架。我們的主要假設是，那些最初被用來解決預置任務的特徵也是在經過對抗訓練後最容易成爲增加任務難度的特徵。我們通過訓練“鏡頭”網絡進行微小的圖像更改，從而最大程度降低預置任務的性能，證明了這種假設適用於常見的預置任務和數據集。在所有測試中，使用修改過的圖像學習的表現都優於未使用修改過的圖像學習的表現。此外，鏡頭所做的修改揭示了預置任務和數據集的選擇如何影響自我監督學習的特徵。
方法
我們建議使用一個輕量級的圖像-圖像轉換網絡（或稱“鏡頭”）來處理圖像，以提高自我監督的視覺表現，該網絡通過對抗訓練來弱化特徵提取網絡在預置任務上的性能。在本研究中，我們首先定義了“快捷”視覺特徵的概念。
直觀地說，根據預置任務和學習表現的下游應用，快捷特徵可以定義爲（i）能夠通過關注低級視覺特徵快速、準確解決預置任務的特徵；（ii）對下游應用程序是無用的，且能阻止學習有用的語義表示。
圖注：旋轉預測預置任務的自動快捷刪除示例。鏡頭學會了刪除預置任務更容易解決的特徵（具體來說，它在這個例子中隱藏了水印）。快捷刪除迫使網絡學習更高級的特性來解決預置任務，提高了語義表示質量。
我們首先規範化基於預置任務的SSL的一般設置，然後描述如何修改這個設置來防止快捷特徵。
對於分類預置任務，我們可以訓練鏡頭，使預測的類概率偏向於可能性最小的類。因此損失函數變成：
具體方法可以歸結爲：
- 提出一個簡單而通用的自動刪除快捷方式的方法，幾乎可以適用於任何預置任務。
- 我們在大量的預置任務和兩個不同的訓練數據集（ImageNet和YouTube-8M frames)上驗證了所提出的方法，在所有方法、上游訓練數據集和兩個下游/評估數據集（ImageNet和Places205）上顯示出均有改善。特別需要注意的是，我們的方法可以替代那些人工手動刪除快捷特徵的預處理過程。
- 我們使用鏡頭來比較不同預置任務和數據集之間的快捷特徵。
實驗
在實驗中，研究人員在開源數據集CIFAR-10上訓練了一種自我監督模型，並對其進行預測，以預測稍微旋轉的圖像的正確方向。爲了測試鏡頭，他們在輸入圖像上添加了帶有方向信息的快捷特徵，這些快捷特徵使模型無需學習目標級特徵即可解決旋轉任務。研究人員在報告中稱，從合成的快捷特徵中學習的模型（沒有鏡頭）的語義表示表現不佳，而戲劇性的是，從鏡頭中學習的特徵提取器總體上表現更好。
圖注：模型示意圖。在本文的實驗中，我們對鏡頭L使用U-Net框架，對特徵提取器F使用ResNet50 v2框架。
圖注：使用不同的自我監督預置任務對ImageNet上訓練的模型的表示進行評估。這些分數在邏輯迴歸模型中是準確的（以%爲單位）。以粗體表示的值在0.05的顯著性水平上優於次佳的方法。訓練圖像按照各自的原始文件進行預處理。
圖注：頂部：三張來自ImageNet的示例圖像，由經過不同預置任務訓練的鏡頭處理。輸入圖像上的虛線方塊顯示了用於基於補丁的任務的區域；底部：從測試集中隨機選擇的1280張圖像的平均重建損失函數值。爲了顯示方便，截取了第95個百分位數。
在第二項測試中，該團隊在開源語料庫ImageNet中的一百萬幅圖像上訓練了一個模型，並讓其預測了圖像中包含的一個或多個補丁的相對位置。研究人員稱，對於所有已測試的任務，增加鏡頭可以使baseline得到改善。
結論
研究人員總結稱：“結果表明，使用經過對抗訓練的鏡頭自動刪除快捷方式的好處可廣泛應用於所有預置任務和數據集。此外，我們發現，各種類型的特徵提取器都具備這種能力。除了提高表示方法外，我們的方法使我們能更直觀地看到通過自我監督學習的特徵，並能對這些特徵進行量化和比較。我們確認，這種方法可以檢測並弱化先前工作中出現的快捷特徵。”
在未來的研究中，Google Brain研究團隊計劃探索新的鏡頭架構，並探究該技術是否可以應用於進一步改進監督學習算法的問題上。
論文地址：
https://arxiv.org/pdf/2002.08822.pdf
參考鏈接：
https://venturebeat.com/2020/02/26/researchers-method-improving-self-supervised-ai-model-robustness/