CVPR之網絡設計（Related to Networks）（RePr）

1、RePr: Improved Training of Convolutional Filters
作者：Aaditya Prakash, James Storer, Dinei Florencio, Cha Zhang
論文鏈接：https://arxiv.org/abs/1811.07275

文章解讀：https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247487556&idx=2&sn=34b41d2500564348c3b63c6ee71d8c28&chksm=ec1ffdbddb6874abbf4c02658126d031457702fc43165bc3ff1c58a32000260ba6bbc7fe8afb&token=65056564&lang=zh_CN#rd

簡要說明：針對卷積神經網絡的訓練方法，方法比較簡單，文章通過大量的分析和實驗，驗證了提出的訓練方法非常有效。

主要思路：新的訓練方法RePr，訓練過程先訓練整個網絡，根據metric drop掉30%的filter，再訓練剩下的網絡，再把drop的filter拿回來，用於現有filters正交的方式初始化。迭代這個過程N次。

算法中最重要的其實這個metric，即如何選出需要drop的filters。

文章寫的很明白，一個layer的多個卷積核可以用一個matrix表示，也就是 ，先對歸一化，再與自己的轉置相乘得到 ,這是一個 大小的matrix，第i行表示其他filter對第i個filter的projection，可以看成是相關性，如果是正交性的越大，那麼這個值就越小，一行的數值之和越小，說明其他filter與這個filter相關性越低。因此可以通過這個sum來對filter進行rank。

同時文章還說明了，計算這個metric是在一個layer內，但rank是在所有layer進行的，目的是爲了不讓layer這個因數影響filter的rank，避開layer的差異性，同時也不引入過多的超參。

---

待續...