寫在最前面： 因爲疫情的原因，遲遲不能開學。在家裏雖然也在看論文，但之前有別的事情在做，但是沒有堅持繼續寫博客，現在繼續拾起來。把之前看的幾篇比較有意思的論文做個總結，在我後面需要用的時候也是個參考。
不能打敗你的，都將使你更強大。
2020CVPR：高斯過程+半監督學習+遷移學習
這篇文章是2020CVPR的一篇文章，主要提出了一種基於高斯過程的半監督學習方法。
論文地址： https://arxiv.org/abs/2006.05580
代碼地址：https://github.com/rajeevyasarla/Syn2Real
主要參考論文：2019CVPR：Semi-supervised transfer learning for image rain removal.
現有方法所存缺陷：
• 只能在有標註的數據集上進行訓練
• 同時獲取真實的有雨和無雨圖像存在困難
• 導致在合成數據上訓練的模型在真實場景中泛化能力較差
2019CVPR-SIRR方法存在問題：
1、作者假設可以使用GMM對雨的多模態特性進行建模，但是隻有真正的雨的殘
差被用來計算GMM參數時，纔是正確的。但如果初始迭代中對真實未標記圖像訓
練得到的GMM參數不太準確，在後期使用相同的模型預測殘差可能性能不佳。
2、文中作者使用了KL散度來約束訓練，目的是使合成雨的分佈更接近真實雨的
分佈。但還是如果預測的實際雨紋殘差在早期階段預測不準確，一味的減少兩種
分佈的差異並不合適。
3、使用GMM對雨紋殘差建模需要選擇混合成分的數目。
文章主要創新之處：
• 1、使用一種非參數方法來生成對未標記圖像數據的監督，在訓練中整合進未標記的真
實圖像，提出了一種半監督學習方法。
• 2、首先使用高斯過程對網絡中的中間潛在空間進行建模，然後使用高斯過程對未
標記數據生成僞GT，並使用僞GT對未標記數據進行監督。
僞標記方法
對於有標記數據的訓練，通常我們使用有監督的損失函數像均方誤差、交叉熵等來約束訓練。
對於無標記數據的訓練，則是通過執行一致正則化、對抗損失及僞標記方法來約束訓練。
SIRR是使用GMM高斯混合模型進行建模得到一組參數，本文則是使用了僞標記方法。
僞標記方法主要是基於假設:
• 未標記的圖像，當投影到潛在空間時，可以表示爲標記數據特徵的加權組合，其
中的權重由核函數確定。
• 這些權重表示標記數據點用於表示未標記數據點的不確定性。
• 因此，最小化未標記數據投影與僞GT之間的誤差可以減少方差，從而使網絡權值
自動適應未標記數據的域。
高斯過程GP
網絡結構
整體結構是一個U-Net形狀的EncoderDecoder，裏面具體的小塊採用了Res2Block。
大致思想是：首先是利用高斯過程對有標記的數據進行建模，得到一個僞GT，用於監督無標記數據的訓練。
損失函數
損失函數這裏，僞標記方法部分的損失函數有點複雜，沒看太懂，後面需要再看一下。
實驗部分
最後
再讀一遍。