目錄
- [1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie
- [2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint
- [3] CVPR2020_Cogradient Descent for Bilinear Optimization
- [4] CVPR2020_Adaptive Subspaces for Few-Shot Learning
- [5] CVPR2020_Learning to Forget for Meta-Learning
- [6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss
- 總結
[1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie
- 低秩在圖像處理中應用廣泛，可以看做是一種約束
- 利用核範數做鬆弛，在低秩中應用比較廣泛
- 國內低秩方面做的比較好的學者 西工大聶飛平 北大林宙辰 浙大蔡登
[2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint
- 傳統方法中，壓縮比率是超參數，通過黑盒優化，自動完成壓縮比率的搜索
- 本文方法：剪枝、自動、端到端、沒有黑盒優化、沒有新的超參數
- 本文的建模方法非常值得學習，將網絡壓縮建模爲約束求解，並轉換爲0-1揹包問題
[3] CVPR2020_Cogradient Descent for Bilinear Optimization
- 雙線性優化中，假設兩個變量相互獨立，非同步收斂，計算梯度時易出現梯度消失
- 本文假設兩個變量是相互耦合的，更新時分兩種情況，當非同步收斂時使用一種（投影函數方法），否則使用相互獨立的方法，最終達到相同收斂速度。
[4] CVPR2020_Adaptive Subspaces for Few-Shot Learning
- 提出了更合適的度量方法
- 動態變化分類？
- subspace是根據樣本確定的，整個模型的訓練過程，訓練的是backbone的參數，想讓類間距離變大、類內距離變小，給我的感覺就是一個參數化的聚類算法。
- 爲啥要用subspace？文中其實沒給出一個合理的解釋。
[5] CVPR2020_Learning to Forget for Meta-Learning
- 大部分方法都是學一個初始化，本文認爲不同任務之間存在衝突，初始化可能不合理。
- 本文選擇遺忘一些初始化，對不同任務，生成不同的初始化點。
- 寫論文時，可以可視化motivation，比單純的文本描述更清晰。
[6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss
- metric learning中，比較重要的概念是margin。比如，相同類別的margin應小於一個閾值，不同類別的margin應大於一個閾值。
- 本文的想法是，不同類之間的margin不應是固定的、預設的。如爲了更好地分類“狗”和“貓”，訓練時，這兩類之間的margin應該更大。本文方法會對不同的類別對，生成不同的margin。
總結
多看論文多思考，解決的問題要清晰、明確。