我們都知道Transformers相對於CNN的架構效率並不高，這導致在一些邊緣設備進行推理時延遲會很高，所以這次介紹的論文EfficientFormer號稱在準確率不降低的同時可以達到MobileNet的推理速度。
Transformers能否在獲得高性能的同時，跑得和MobileNet一樣快?爲了回答這個問題，作者首先回顧了基於vit的模型中使用的網絡架構和運算，並說明了一些低效的設計。然後引入一個維度一致的純Transformer(沒有MobileNet塊)作爲設計範例。最後以延遲爲目標進行優化設計，獲得一系列稱爲EfficientFormer的最終模型。最後還設計了EfficientFormerV2。
https://avoid.overfit.cn/post/eb0e56c5753942cf8ee70d78e2cd7db7