最近在查看论文《Towards Flops-constrained Face Recognition》时,发现作者使用了AdaBN的技巧,我很好奇AdaBN是什么操作,为甚么没有看见相应的博文介绍,下面是我自己整理的资料。
论文链接:https://arxiv.org/pdf/1603.04779.pdf
原文中的算法:
通俗理解:
把model设成训练模式,然后是做前向计算,不做反向更新,相当于只更新global mean和global variance;
将所有测试样本跑一遍,得到的最终的BN层的参数用于test测试样本;
注意:有人建议做迁移时,要将global mean 和 global var 初始成 0 (因为涉及到batchsize的大小);
使用场景:
训练样本分布和测试样本分布不一致,模型迁移学习时使用;
参考:
1.https://www.zhihu.com/question/340407548/answer/795027833
2.http://www.doc88.com/p-9932882215443.html
附赠信息:
原作者:https://www.zhihu.com/people/naiyan-wang/answers,关于“论文投稿被拒2次,再找第三家的时候突然想放弃怎么办?”的回答;