【论文研读】Self-supervised:AMDIM, DIM

一、DIM(Deep InfoMAX)

Title:Learning deep representations by mutual information estimation and maximization(2019ICLR)

Author:R Devon Hjelm(MSR Montreal

Method:

主要使用最大化互信息的思想,同一张图的局部特征和全局特征应高度相关,另一张的局部特征不相关。采用NCEloss得到score

实际操作中的两种方法:

           

 

二、AMDIM

Title:Learning Representations by Maximizing Mutual Information Across Views(2019Nips)

Author:Philip Bachman(Microsoft Research

Method:

我的理解是在DeepInfoMAX的基础上加了一个multi-scale,即不同尺度上的feature也可以组成正负pair。

 

目前看来这两种自监督方法的效果超过了其他方法:

数据来源:A survey on Semi-, Self- and Unsupervised Techniques in Image Classifification

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章