一、Virtual Adversarial Training (VAT)
原文：Virtual adversarial training: a regularization method for supervised and semi-supervised learning.（2018PAMI）
作者：T. Miyato, S.-i. Maeda （Kyoto University, Kyoto, Japan）
1、對抗訓練
希望在對x的每個維度添加微小擾動的情況下，模型得到的預測值仍然爲y。對於網絡，有p(x),p(x+r)，p爲網絡中間層，則對抗目標是最大化兩者的距離。
目標攻擊：原圖爲狗，加擾動使其收斂到label 貓
詳情參考：https://zhen8838.github.io/2020/01/31/ssl-vat/
2、VAT+semi
idea：把所有數據進行對抗訓練得到對抗損失函數；標籤數據得到監督損失
其中，對於有標籤數據，p的網絡輸出代表其真實標籤；無標籤數據的p爲網絡對其的預測標籤
參考：https://zhuanlan.zhihu.com/p/66389797
二、II-Model and Temporal ensembling
原文：Temporal Ensembling for Semi-Supervised Learning. （2017ICLR）
作者：Samuli Laline、Timo Aila.（nvidia）
1. 雙模型
作者讓同一個圖片輸入網絡兩次，由於有一些隨機的因素（dropout, augmentation等），會使得兩次的隱藏層的輸出（也就是z）會不一樣，作者把兩個不同的z做差，然後求l2，作爲loss的一部分，當然loss的另一部分就是那些有標籤數據的交叉熵(cross entropy)。另外，由於模型最開始時是很不準確的，所以產生的z可能沒有多大意義，所以需要先對有label的數據進行訓練，也就是需要把兩次不同的z比較的loss進行屏蔽。作者這裏設置了一個隨時間變化的變量w(t)，在t=0時，設置w(t)爲0，也是z比較的loss權重爲0，然後w(t)隨着時間增大而增大。
2. Temporal ensembling model
和雙模型的不同點：比較的z來源不同。在雙模型中，兩個z都是來自同一迭代時間內產生的兩次結果。但在時序組合模型中，一個z來自上次迭代週期產生的結果，一個z來自當前迭代時間內產生的結果。使用z是歷史z的加權和
參考：https://www.cnblogs.com/huangshiyu13/p/6634215.html
三、MixMatch
文章：MixMatch: A Holistic Approach to Semi-Supervised Learning（NIPS2019）
作者：David Berthelot（Google Research）
主要idea就是mixup上的擴展。對於無標籤數據用預測值替代。該文還有對預測值的處理也比較關鍵。
別人寫的太好無法超越，直接參考：https://zhuanlan.zhihu.com/p/66281890
四、S4L
文章：S4L: Self-Supervised Semi-Supervised Learning（ICCV2019）
作者：Xiaohua Zhai（Google）
they combine self-supervised rotation prediction, VAT, entropy minimization, Pseudo-Labels and fifine-tuning into a single model with multiple training steps.
效果：超過VAT
五、UDA
文章：Unsupervised Data Augmentation for Consistency Training（2019cvpr）
作者：Qizhe Xie...（Carnegie Mellon University ，Google Research）
key idea：有針對性的數據增強效果明顯優於無針對性的數據增強
針對最先進的半監督策略：Minimize a divergence metric between the two distributions。此過程強制使模型對噪聲不敏感，因此相對於輸入（或隱藏）空間的變化更平滑。 從另一個角度來看，將一致性損失降至最低會逐漸將標籤信息從已標記的數據傳播到未標記的數據。
1. AutoAugment
圖像分類：“自動增強”，即使用強化學習來搜索圖像增強的“最優”組合，其性能明顯優於任何人工設計的優化方法。
文本分類：把一個樣本（語言A）轉換成另一個語言B再轉換回來，以此得到增強樣本
2， TSA(Training Signal Annealing)——針對有標籤和無標籤的不平衡
它會在訓練過程中逐步釋放有標籤樣本的"training signals"，如果這個樣本在第t步訓練時正確預測其標籤的概率值大於閾值，那麼就把它從loss function中移除，從而減少過擬合現象。
參考：https://www.jianshu.com/p/5d4e18b8de04
六、IIC
文章：Invariant Information Clustering for Unsupervised Image Classifification and Segmentation
作者：Xu Ji...（University of Oxford）
idea：兩個loss。第一個，圖像和變化後的圖像之間的最大化互信息。第二個，和先前聚類產生的虛擬標籤的差異。
目前的simi-supervised 的方法對比：MixMatch和UDA好像比較好
數據來源：A survey on Semi-, Self- and Unsupervised Techniques in Image Classifification
