常見用的深度學習框架-----Resnet 殘差網絡

目錄

 

Resnet 殘差網絡

爲什麼提出該網絡？

什麼是殘差?

網絡結構

resnet-18 pytorch 代碼：

參考：

---

Resnet 殘差網絡

深度殘差網絡（Deep residual network, ResNet）論文地址：https://arxiv.org/abs/1512.03385

爲什麼提出該網絡？

ResNet在2015年被提出，在ImageNet比賽classification任務上獲得第一名。隨着網絡的加深，出現了訓練集準確率下降的現象，我們可以確定這不是由於Overfit過擬合造成的(過擬合的情況訓練集應該準確率很高)；所以作者針對這個問題提出了一種全新的網絡，叫深度殘差網絡。

                                

對於“隨着網絡加深，準確率下降”的問題，Resnet提供了兩種選擇方式，也就是identity mapping和residual mapping，如果網絡已經到達最優，繼續加深網絡，residual mapping將被push爲0，只剩下identity mapping，這樣理論上網絡一直處於最優狀態了，網絡的性能也就不會隨着深度增加而降低了。

什麼是殘差?

對於一個堆積層結構（幾層堆積而成）當輸入爲  時其學習到的特徵記爲  ，現在我們希望其可以學習到殘差  ，這樣其實原始的學習特徵是  。之所以這樣是因爲殘差學習相比原始特徵直接學習更容易。當殘差爲0時，此時堆積層僅僅做了恆等映射，至少網絡性能不會下降，實際上殘差不會爲0，這也會使得堆積層在輸入特徵基礎上學習到新的特徵，從而擁有更好的性能。殘差學習的結構如圖所示。這有點類似與電路中的“短路”，所以是一種短路連接（shortcut connection）。

                                                                 

 

網絡結構

ResNet網絡是參考了VGG19網絡，在其基礎上進行了修改，並通過短路機制加入了殘差單元，如圖5所示。變化主要體現在ResNet直接使用stride=2的卷積做下采樣，並且用global average pool層替換了全連接層。ResNet的一個重要設計原則是：當feature map大小降低一半時，feature map的數量增加一倍，這保持了網絡層的複雜度。ResNet相比普通網絡每兩層間增加了短路機制，這就形成了殘差學習，其中虛線表示feature map數量發生了改變。對於18-layer和34-layer的ResNet，其進行的兩層間的殘差學習，當網絡更深時，其進行的是三層間的殘差學習，三層卷積核分別是1x1，3x3和1x1。

不同深度的殘差網絡：

              

上面一共提出了5中深度的ResNet，分別是18，34，50，101和152，首先看錶2最左側，我們發現所有的網絡都分成5部分，分別是：conv1，conv2_x，conv3_x，conv4_x，conv5_x，之後的其他論文也會專門用這個稱呼指代ResNet50或者101的每部分。 
拿101-layer那列，我們先看看101-layer是不是真的是101層網絡，首先有個輸入7x7x64的卷積，然後經過3 + 4 + 23 + 3 = 33個building block，每個block爲3層，所以有33 x 3 = 99層，最後有個fc層(用於分類)，所以1 + 99 + 1 = 101層，確實有101層網絡； 
注：101層網絡僅僅指卷積或者全連接層，而激活層或者Pooling層並沒有計算在內； 
 

ResNet使用兩種殘差單元，如圖所示。左圖對應的是淺層網絡（18層與34層網絡），而右圖對應的是深層網絡（50、101、152層網絡）。對於短路連接，當輸入和輸出維度一致時，可以直接將輸入加到輸出上。但是當維度不一致時（對應的是維度增加一倍），這就不能直接相加。有兩種策略：

（1）採用zero-padding增加維度，此時一般要先做一個downsamp，可以採用strde=2的pooling，這樣不會增加參數；

（2）採用新的映射（projection shortcut），一般採用1x1的卷積，這樣會增加參數，也會增加計算量。短路連接除了直接使用恆等映射，當然都可以採用projection shortcut。

                                

 

一般稱整個結構爲一個”building block“。其中右圖又稱爲”bottleneck design”，目的一目瞭然，就是爲了降低參數的數目，第一個1x1的卷積把256維channel降到64維，然後在最後通過1x1卷積恢復，整體上用的參數數目：1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632，而不使用bottleneck的話就是兩個3x3x256的卷積，參數數目: 3x3x256x256x2 = 1179648，差了16.94倍。 

resnet-18 pytorch 代碼：

import torch
import torch.nn as nn
import torch.nn.functional as F

class ResidualBlock(nn.Module):#resnet網絡的殘差網絡結構圖
    def __init__(self, inchannel, outchannel, stride=1):
        super(ResidualBlock, self).__init__()
        self.left = nn.Sequential(
            nn.Conv2d(inchannel, outchannel, kernel_size=3, stride=stride, padding=1, bias=False),
            nn.BatchNorm2d(outchannel),
            nn.ReLU(inplace=True),
            nn.Conv2d(outchannel, outchannel, kernel_size=3, stride=1, padding=1, bias=False),
            nn.BatchNorm2d(outchannel)
        )
        self.shortcut = nn.Sequential()
        if stride != 1 or inchannel != outchannel: #如果短路通道的通道數與殘差模塊的通道數不相等的話，進行卷積操作使得通道數相同，便於之後的聯合。
            self.shortcut = nn.Sequential(
                nn.Conv2d(inchannel, outchannel, kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(outchannel)
            )

    def forward(self, x): #將兩個模塊的特徵進行結合，並使用ReLU激活函數得到最終的特徵。
        out = self.left(x)
        out += self.shortcut(x)
        out = F.relu(out)
        return out

class ResNet(nn.Module):
    def __init__(self, ResidualBlock, num_classes=10):
        super(ResNet, self).__init__()
        self.inchannel = 64
        self.conv1 = nn.Sequential( #用3個3x3的卷積核代替7x7的卷積核，減少模型參數
            nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1, bias=False),
            nn.BatchNorm2d(64),
            nn.ReLU(),
        )
        self.layer1 = self.make_layer(ResidualBlock, 64,  2, stride=1)
        self.layer2 = self.make_layer(ResidualBlock, 128, 2, stride=2)
        self.layer3 = self.make_layer(ResidualBlock, 256, 2, stride=2)
        self.layer4 = self.make_layer(ResidualBlock, 512, 2, stride=2)
        self.fc = nn.Linear(512, num_classes)

    def make_layer(self, block, channels, num_blocks, stride):
        strides = [stride] + [1] * (num_blocks - 1)   #strides=[1,1]
        layers = []
        for stride in strides:
            layers.append(block(self.inchannel, channels, stride))
            self.inchannel = channels
        return nn.Sequential(*layers)

    def forward(self, x):
        out = self.conv1(x)
        out = self.layer1(out)
        out = self.layer2(out)
        out = self.layer3(out)
        out = self.layer4(out)
        out = F.avg_pool2d(out, 4)
        out = out.view(out.size(0), -1)
        out = self.fc(out)
        return out


def ResNet18():

    return ResNet(ResidualBlock)

基於cifar10數據集的訓練代碼：

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
import argparse
from resnet import ResNet18

# 定義是否使用GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 參數設置,使得我們能夠手動輸入命令行參數，就是讓風格變得和Linux命令行差不多
parser = argparse.ArgumentParser(description='PyTorch CIFAR10 Training')
parser.add_argument('--outf', default='./model/', help='folder to output images and model checkpoints') #輸出結果保存路徑
parser.add_argument('--net', default='./model/Resnet18.pth', help="path to net (to continue training)")  #恢復訓練時的模型路徑
args = parser.parse_args()
# 超參數設置
EPOCH = 135   #遍歷數據集次數
pre_epoch = 0  # 定義已經遍歷數據集的次數
BATCH_SIZE = 128      #批處理尺寸(batch_size)
LR = 0.1        #學習率



# 準備數據集並預處理
transform_train = transforms.Compose([
    transforms.RandomCrop(32, padding=4),  #在隨機位置裁剪給定的PIL圖像。提供長度爲4的序列，則它用於分別填充左，上，右，下邊界。先四周填充0，再把圖像隨機裁剪成32*32
    transforms.RandomHorizontalFlip(0.5),  #圖像一半的概率翻轉，一半的概率不翻轉。圖像被翻轉的概率。默認值爲0.5
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), #用平均值和標準偏差歸一化張量圖像。參數（2個）：mean（sequence） - 每個通道的均值序列。std（sequence） - 每個通道的標準偏差序列。此變換將標準化輸入的每個通道，這裏是標準化原始圖像RGB三個通道。
 # 注意與normalize函數區分。
])

transform_test = transforms.Compose([ #參數 ：transforms (list of Transform objects) – list of transforms to compose.
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=False, transform=transform_train) #訓練數據集
trainloader = torch.utils.data.DataLoader(trainset, batch_size=BATCH_SIZE, shuffle=True, num_workers=2)   #生成一個個batch進行批訓練，組成batch的時候順序打亂取
#num_workers，從註釋可以看出這個參數必須大於等於0，0的話表示數據導入在主進程中進行，其他大於0的數表示通過多個進程來導入數據，可以加快數據導入速度。
testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=False, transform=transform_test)
testloader = torch.utils.data.DataLoader(testset, batch_size=100, shuffle=False, num_workers=2)
# Cifar-10的標籤
classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

# 模型定義-ResNet
net = ResNet18().to(device)

# 定義損失函數和優化方式
criterion = nn.CrossEntropyLoss()  #損失函數爲交叉熵，多用於多分類問題
# optim 函數：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-optim/
optimizer = optim.SGD(net.parameters(), lr=LR, momentum=0.9, weight_decay=5e-4) #優化方式爲隨機梯度下降算法mini-batch momentum-SGD，並採用L2正則化（權重衰減） 學習率爲0.1，權重衰減爲5e-4

# 訓練
if __name__ == "__main__":
    best_acc = 85  #2 初始化best test accuracy
    print("Start Training, Resnet-18!")  # 定義遍歷數據集的次數
    with open("acc.txt", "w") as f:#每一輪結束之後的準確率寫入文本文件
        with open("log.txt", "w")as f2:#每訓練1個batch就將訓練結果寫入文本記錄
            for epoch in range(pre_epoch, EPOCH):
                print('\nEpoch: %d' % (epoch + 1))
                net.train()#train模式
                sum_loss = 0.0
                correct = 0.0
                total = 0.0
                for i, data in enumerate(trainloader, 0):#用於將一個可遍歷的數據對象(如列表、元組或字符串)組合爲一個索引序列，同時列出數據和數據下標，下標起始位置爲0，返回 enumerate(枚舉) 對象。
                    # 準備數據
                    length = len(trainloader)#128
                    inputs, labels = data
                    inputs, labels = inputs.to(device), labels.to(device)
                    optimizer.zero_grad() #清空梯度

                    # forward + backward 優化過程
                    outputs = net(inputs)
                    loss = criterion(outputs, labels)
                    loss.backward()
                    optimizer.step() #一旦梯度被如backward()之類的函數計算好後，用該方法更新所有的參數。

                    # 每訓練1個batch打印一次loss和準確率
                    sum_loss += loss.item()
                    _, predicted = torch.max(outputs.data, 1)#選出每一列中最大的值作爲預測結果
                    total += labels.size(0)
                    correct += predicted.eq(labels.data).cpu().sum() #正確率計算
                    print('[epoch:%d, iter:%d] Loss: %.03f | Acc: %.3f%% '
                          % (epoch + 1, (i + 1 + epoch * length), sum_loss / (i + 1), 100. * correct / total))
                    f2.write('%03d  %05d |Loss: %.03f | Acc: %.3f%% '
                          % (epoch + 1, (i + 1 + epoch * length), sum_loss / (i + 1), 100. * correct / total))
                    f2.write('\n')
                    f2.flush()

                # 每訓練完一個epoch測試一下準確率
                print("Waiting Test!")
                with torch.no_grad():#測試階段不需要計算梯度
                    correct = 0
                    total = 0
                    for data in testloader:
                        net.eval() #evaluation模式，僅僅當模型中有Dropout和BatchNorm是纔會有影響。因爲訓練時dropout和BN都開啓，而一般而言測試時dropout被關閉，BN中的參數也是利用訓練時保留的參數，所以測試時應進入評估模式。不然的話，一旦test的batch_size過小，很容易就會被BN層導致生成圖片顏色失真極大！
                        images, labels = data
                        images, labels = images.to(device), labels.to(device)
                        outputs = net(images)
                        # 取得分最高的那個類 (outputs.data的索引號)
                        _, predicted = torch.max(outputs.data, 1)
                        total += labels.size(0)
                        correct += (predicted == labels).sum()
                    print('測試分類準確率爲：%.3f%%' % (100 * correct / total))
                    acc = 100. * correct / total
                    # 將每次測試結果實時寫入acc.txt文件中
                    print('Saving model......')
                    torch.save(net.state_dict(), '%s/net_%03d.pth' % (args.outf, epoch + 1))
                    f.write("EPOCH=%03d,Accuracy= %.3f%%" % (epoch + 1, acc))
                    f.write('\n')
                    f.flush()
                    # 記錄最佳測試分類準確率並寫入best_acc.txt文件中
                    if acc > best_acc:
                        f3 = open("best_acc.txt", "w")
                        f3.write("EPOCH=%d,best_acc= %.3f%%" % (epoch + 1, acc))
                        f3.close()
                        best_acc = acc
            print("Training Finished, TotalEPOCH=%d" % EPOCH)

 

參考：

https://zhuanlan.zhihu.com/p/31852747

https://blog.csdn.net/lanran2/article/details/79057994 ResNet解析