ConvNext論文提出了一種新的基於卷積的架構，不僅超越了基於 Transformer 的模型（如 Swin），而且可以隨着數據量的增加而擴展！今天我們使用Pytorch來對其進行復現。下圖顯示了針對不同數據集/模型大小的 ConvNext 準確度。
作者首先採用衆所周知的 ResNet 架構，並根據過去十年中的新最佳實踐和發現對其進行迭代改進。作者專注於 Swin-Transformer，並密切關注其設計。這篇論文我們在以前也推薦過，如果你們有閱讀過，我們強烈推薦閱讀它:)
下圖顯示了所有各種改進以及每一項改進之後的各自性能。
論文將設計的路線圖分爲兩部分：宏觀設計和微觀設計。宏觀設計是從高層次的角度所做的所有改變，例如架構的設計，而微設計更多的是關於細節的，例如激活函數，歸一化等。
下面我們將從一個經典的 BottleNeck 塊開始，並使用pytorch逐個實現論文中說到的每個更改。
完整文章：
https://avoid.overfit.cn/post/1fd17e7520134996b532ecd50de9672f