目录
- [1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie
- [2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint
- [3] CVPR2020_Cogradient Descent for Bilinear Optimization
- [4] CVPR2020_Adaptive Subspaces for Few-Shot Learning
- [5] CVPR2020_Learning to Forget for Meta-Learning
- [6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss
- 总结
[1] CVPR2020_A Unified Optimization Framework for Low-Rank Inducing Penaltie
- 低秩在图像处理中应用广泛，可以看做是一种约束
- 利用核范数做松弛，在低秩中应用比较广泛
- 国内低秩方面做的比较好的学者 西工大聂飞平 北大林宙辰 浙大蔡登
[2] CVPR2020_Automatic Neural Network Compression by Sparsity-Quantization Joint
- 传统方法中，压缩比率是超参数，通过黑盒优化，自动完成压缩比率的搜索
- 本文方法：剪枝、自动、端到端、没有黑盒优化、没有新的超参数
- 本文的建模方法非常值得学习，将网络压缩建模为约束求解，并转换为0-1揹包问题
[3] CVPR2020_Cogradient Descent for Bilinear Optimization
- 双线性优化中，假设两个变量相互独立，非同步收敛，计算梯度时易出现梯度消失
- 本文假设两个变量是相互耦合的，更新时分两种情况，当非同步收敛时使用一种（投影函数方法），否则使用相互独立的方法，最终达到相同收敛速度。
[4] CVPR2020_Adaptive Subspaces for Few-Shot Learning
- 提出了更合适的度量方法
- 动态变化分类？
- subspace是根据样本确定的，整个模型的训练过程，训练的是backbone的参数，想让类间距离变大、类内距离变小，给我的感觉就是一个参数化的聚类算法。
- 为啥要用subspace？文中其实没给出一个合理的解释。
[5] CVPR2020_Learning to Forget for Meta-Learning
- 大部分方法都是学一个初始化，本文认为不同任务之间存在冲突，初始化可能不合理。
- 本文选择遗忘一些初始化，对不同任务，生成不同的初始化点。
- 写论文时，可以可视化motivation，比单纯的文本描述更清晰。
[6] CVPR2020_Boosting Few-Shot Learning with Adaptive Margin Loss
- metric learning中，比较重要的概念是margin。比如，相同类别的margin应小于一个阈值，不同类别的margin应大于一个阈值。
- 本文的想法是，不同类之间的margin不应是固定的、预设的。如为了更好地分类“狗”和“猫”，训练时，这两类之间的margin应该更大。本文方法会对不同的类别对，生成不同的margin。
总结
多看论文多思考，解决的问题要清晰、明确。