【導讀】10月5日，瑞士洛桑理工授予Facebook首席AI科學家Yan Lecun榮譽博士學位，同時Yan Lecun做了名爲《Self-supervisedlearning: could machines learn like humans?》的報告。
LeCun 表示人工智能革命的未來不會是有監督學習，也不會是單純的強化學習，而是需要學習一個具備常識推理與預測能力的世界模型。LeCun 認爲自監督學習是實現這一目標的一個潛在研究方向。他認可現有的有監督學習和強化學習技術可以使人類在自動駕駛、醫療診斷、機器翻譯、客服機器人、信息檢索等領域中取得不錯的進展，但他認爲僅僅依靠現有技術，無法實現常識推理、智能個人助理、智能聊天機器人、家庭機器人以及通用人工智能。
在這樣的背景下，LeCun 認爲自監督學習是有望突破有監督學習與強化學習現狀、學習世界模型的一個潛在研究方向。自監督學習將輸入和輸出當成一個完整的整體，它通過挖掘輸入數據本身提供的弱標註信息，基於輸入數據的某些部分預測其它部分。在達到預測目標的過程中，模型可以學習到數據本身的語義特徵表示，這些特徵表示可以進一步被用於其他任務當中。當前自監督學習的發展主要體現在視頻、圖像處理領域。例如，在空間層面上包括圖像補全、圖像語義分割、灰度圖像着色等，在時間層面上包括視頻幀預測、自動駕駛等。
Yan Lecun在報告中指出自監督學習(Self-supervised learning)可以作爲強化學習的一種潛在解決方案，因爲自監督學習將輸入和輸出都當成完整系統的一部分，使得它在諸如圖像補全，圖像遷移，時間序列預測等任務上都非常有效。此外自監督模型的複雜度隨着額外反饋信息的加入而增加，可以在很大程度上減少計算過程中人爲的干預。
深度學習方法在計算機視覺領域所取得的巨大成功，要歸功於大型訓練數據集的支持。這些帶豐富標註信息的數據集，能夠幫助網絡學習到可區別性的視覺特徵。然而，收集並標註這樣的數據集通常需要龐大的人力成本，而所標註的信息也具有一定的侷限性。作爲替代，使用完全自監督方式學習並設計輔助任務來學習視覺特徵的方式，已逐漸成爲計算機視覺社區的熱點研究方向。
簡言之，自監督學習是一種特殊目的的無監督學習。不同於傳統的AutoEncoder等方法，僅僅以重構輸入爲目的，而是希望通過surrogate task學習到和高層語義信息相關聯的特徵。
請關注專知公衆號（掃一掃最下面專知二維碼，或者點擊上方藍色專知）
- 後臺回覆“SSL” 就可以獲取全文報告 PPT下載鏈接~
參考文獻：
1. The Presentation given by Yann LeCun in theOpening of IJCAI 2018: We Need a World Model
http://ir.hit.edu.cn/~zyli/papers/lecun_ijcai18.pdf
2. 自監督學習近期進展
https://zhuanlan.zhihu.com/p/30265894
3. 報告鏈接：
https://memento.epfl.ch/event/self-supervised-learning-could-machines-learn-like/
報告視頻
個人主頁：
http://yann.lecun.com
報告PPT
