Residual, BottleNeck, Inverted Residual, MBConv的解釋和Pytorch實現

上篇ConvNext的文章有小夥伴問BottleNeck,Inverted Residual的區別,所以找了這篇文章,詳細的解釋一些用到的卷積塊,當作趁熱打鐵吧

在介紹上面的這些概念之間,我們先創建一個通用的 conv-norm-act 層,這也是最基本的卷積塊。

  1. fromfunctoolsimportpartial
  2. fromtorchimportnn
  3. classConvNormAct(nn.Sequential):
  4. def__init__(
  5. self,
  6. in_features: int,
  7. out_features: int,
  8. kernel_size: int,
  9. norm: nn.Module = nn.BatchNorm2d,
  10. act: nn.Module = nn.ReLU,
  11. **kwargs
  12. ):
  13. super().__init__(
  14. nn.Conv2d(
  15. in_features,
  16. out_features,
  17. kernel_size=kernel_size,
  18. padding=kernel_size//2,
  19. ),
  20. norm(out_features),
  21. act(),
  22. )
  23. Conv1X1BnReLU = partial(ConvNormAct, kernel_size=1)
  24. Conv3X3BnReLU = partial(ConvNormAct, kernel_size=3)
  25. importtorch
  26. x = torch.randn((1, 32, 56, 56))
  27. Conv1X1BnReLU(32, 64)(x).shape
  28. #torch.Size([1, 64, 56, 56])

殘差連接

ResNet 中提出並使用了殘差連接, 這個想法是將層的輸入與層的輸出相加,輸出 = 層(輸入)+ 輸入。下圖可以幫助您將其可視化。但是,它只使用了一個 + 運算符。殘差操作提高了梯度在乘法器層上傳播的能力,允許有效地訓練超過一百層的網絡。

在PyTorch中,我們可以輕鬆地創建一個ResidualAdd層

  1. fromtorchimportnn
  2. fromtorchimportTensor
  3. classResidualAdd(nn.Module):
  4. def__init__(self, block: nn.Module):
  5. super().__init__()
  6. self.block = block
  7. defforward(self, x: Tensor) ->Tensor:
  8. res = x
  9. x = self.block(x)
  10. x += res
  11. returnx
  12. ResidualAdd(
  13. nn.Conv2d(32, 32, kernel_size=1)
  14. )(x).shape

捷徑 Shortcut

有時候殘差沒有相同的輸出維度,所以無法將它們相加。所以就需要使用conv(帶+的黑色箭頭)來投影輸入,以匹配輸出的特性

完整文章

https://avoid.overfit.cn/post/af49b27f50bb416ca829b4987e902874

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章