[CVPR 2018] Unsupervised Feature Learning via Non-Parametric Instance Discrimination


1. 動機

在這裏插入圖片描述
研究者認爲,標籤監督的網絡對目標的預測並不是根據語義相似性而是視覺相似性。以獵豹圖片爲例,網絡輸出的幾個最高響應類都是視覺相關的,例如美洲豹和獵豹。數據本身的表面相似性而非語義標籤,使得某些類比其他類更加接近。 研究者將類監督發展到極端的實例監督,並學習了辨別各個單獨實例的特徵表示。

特徵學習針對什麼任務?

在分類任務上驗證算法的思想。

爲什麼選擇實例監督?

觀察發現,監督學習得到的特徵表示的判別力來自視覺性而不是語義性。將視覺性的區分性發揮到極致,忽略語義性,得到的特徵可能更有判別力。

什麼是非參數化訓練?

什麼是實例級判別?

一個實例視爲一個類。在監督學習種,一個類對應多個實例。一對一的關係,使得每個實例對應一個標籤。

怎麼實現實例級判別?


2. 思考

觀察現有小樣本學習模型的分類結果在視覺性和語義性上的特點。


3. 重要鏈接

  1. 論文地址
  2. 官方代碼
  3. 論文博客
  4. 機器之心:非參數化方法實現的極端無監督特徵學習
  5. 噪音對比估計(NCE)
  6. 二項分佈的對數似然函數與交叉熵(cross entropy)損失函數的聯繫
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章