【論文研讀】Self-supervised:AMDIM, DIM

一、DIM(Deep InfoMAX)

Title:Learning deep representations by mutual information estimation and maximization(2019ICLR)

Author:R Devon Hjelm(MSR Montreal

Method:

主要使用最大化互信息的思想,同一張圖的局部特徵和全局特徵應高度相關,另一張的局部特徵不相關。採用NCEloss得到score

實際操作中的兩種方法:

           

 

二、AMDIM

Title:Learning Representations by Maximizing Mutual Information Across Views(2019Nips)

Author:Philip Bachman(Microsoft Research

Method:

我的理解是在DeepInfoMAX的基礎上加了一個multi-scale,即不同尺度上的feature也可以組成正負pair。

 

目前看來這兩種自監督方法的效果超過了其他方法:

數據來源:A survey on Semi-, Self- and Unsupervised Techniques in Image Classifification

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章