一、DIM(Deep InfoMAX)
Title:Learning deep representations by mutual information estimation and maximization(2019ICLR)
Author:R Devon Hjelm(MSR Montreal)
Method:
主要使用最大化互信息的思想,同一張圖的局部特徵和全局特徵應高度相關,另一張的局部特徵不相關。採用NCEloss得到score
實際操作中的兩種方法:
二、AMDIM
Title:Learning Representations by Maximizing Mutual Information Across Views(2019Nips)
Author:Philip Bachman(Microsoft Research)
Method:
我的理解是在DeepInfoMAX的基礎上加了一個multi-scale,即不同尺度上的feature也可以組成正負pair。
目前看來這兩種自監督方法的效果超過了其他方法:
數據來源:A survey on Semi-, Self- and Unsupervised Techniques in Image Classifification