AdaBN(Adaptive Batch Normalization)使用

最近在查看论文《Towards Flops-constrained Face Recognition》时,发现作者使用了AdaBN的技巧,我很好奇AdaBN是什么操作,为甚么没有看见相应的博文介绍,下面是我自己整理的资料。



论文链接:https://arxiv.org/pdf/1603.04779.pdf

原文中的算法:

 通俗理解:

把model设成训练模式,然后是做前向计算,不做反向更新,相当于只更新global mean和global variance;

将所有测试样本跑一遍,得到的最终的BN层的参数用于test测试样本;

注意:有人建议做迁移时,要将global mean 和 global var 初始成 0 (因为涉及到batchsize的大小);

使用场景:

训练样本分布和测试样本分布不一致,模型迁移学习时使用;

参考:

1.https://www.zhihu.com/question/340407548/answer/795027833

2.http://www.doc88.com/p-9932882215443.html

附赠信息:

原作者:https://www.zhihu.com/people/naiyan-wang/answers,关于“论文投稿被拒2次,再找第三家的时候突然想放弃怎么办?”的回答;

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章