《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》（ICML2019）
重新考慮卷積網絡的模型尺度
作者：Mingxing Tan Quoc V. Le（谷歌大腦）
摘要：
卷積網絡通常在固定預算資源上開發，如果有更多資源可依賴就可以獲得更好的精確度。此篇文章中系統研究了模型尺度並且確認平衡好網絡深度、寬度和分辨率可以得到更好的性能。基於這個觀察，提出一個新的縮放方法，此方法使用簡單高效的複合係數均勻的縮放深度、寬度、分辨率的所有尺寸。證明了這種方法在擴展MobileNets和ResNet方面的有效性。
進一步，使用神經網絡結構搜索設計一個新的baseline network，並通過縮放得到一組模型，稱爲EfficientNets，這些模型比之前的ConvNets得到了更好的精確度和有效性。特殊的，EfficientNet-B7在ImageNet上精確度top-1上達到84.4%，top-5達到97.1%，推斷時比最好現存的ConvNet更小（8.4xsmaller）、更快（6.1xfaster）。EfficientNets遷移效果好，在CIFAR-100上精確度爲91.7%，Flowers爲98.8%，和其他3個遷移數據集，參數量少了一個數量級。
source code：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.
問題：
提高卷積網絡的性能
方法：
考慮網絡模型尺度的影響，提出一個新的縮放方法，此方法使用簡單高效的複合係數均勻的縮放深度、寬度、分辨率的所有尺寸。
效果：
EfficientNet-B7在ImageNet上精確度top-1上達到84.4%，top-5達到97.1%；
推斷時比最好現存的ConvNet更小（8.4xsmaller）、更快（6.1xfaster）；
EfficientNets遷移效果好，在CIFAR-100上精確度爲91.7%，Flowers爲98.8%，和其他3個遷移數據集，參數量少了一個數量級。
內容：
很好平衡網絡的深度、寬度、分辨率可以提高網絡性能，並且可以通過一個常數比完成簡單縮放實現平衡，基於觀察提出簡單高效的複合縮放方法。此方法用一組固定的縮放係數統一地縮放網絡寬度，深度和分辨率。
