pytorch模型加載方法彙總

Pytorch有很多方便易用的包,今天要談的是torchvision包,它包括3個子包,分別是: torchvison.datasets ,torchvision.models ,torchvision.transforms ,分別是預定義好的數據集(比如MNIST、CIFAR10等)、預定義好的經典網絡結構(比如AlexNet、VGG、ResNet等)和預定義好的數據增強方法(比如Resize、ToTensor等)。這些方法可以直接調用,簡化我們建模的過程,也可以作爲我們學習或構建新的模型的參考。

本文,我們講述的是models,且只談模型的加載。models這個包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用的網絡結構,並且提供了預訓練模型,可以通過簡單調用來讀取網絡結構和預訓練模型。

參考地址:https://blog.csdn.net/weixin_41519463/article/details/103205665?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

模型地址:https://github.com/pytorch/vision/tree/master/torchvision/models

官方文檔:https://pytorch.org/docs/master/torchvision/models.html

我將加載的方法簡單總結爲以下四種:

1.直接加載預訓練模型
import torchvision.models as models
 
resnet50 = models.resnet50(pretrained=True)
這樣就導入了resnet50的預訓練模型了。

如果只需要網絡結構,不需要用預訓練模型的參數來初始化,那麼就是:

model =torchvision.models.resnet50(pretrained=False)
或者把resnet複製到自己的目錄下,新建個model文件夾

可以參考下面的貓狗大戰入門算法入門

https://github.com/JackwithWilshere/Kaggle-Dogs_vs_Cats_PyTorch

2.修改某一層
 以resnet爲例,默認的是ImageNet的1000類,比如我們要做二分類,分類貓和狗

resnet.fc = nn.Linear(2048, 2) 
resnet 第一層卷積的卷積核是7,我們可能想改成5,那麼可以通過以下方法修改:

#未經試驗,修改需要有理論依據,計算featuremap維度使之匹配。
resnet.conv1 = nn.Conv2d(3, 64,kernel_size=5, stride=2, padding=3, bias=False)
3.加載部分預訓練模型
對於具體的任務,很難保證模型和公開的模型完全一樣,但是預訓練模型的參數確實有助於提高訓練的準確率,爲了結合二者的優點,就需要我們加載部分預訓練模型。

#加載model,model是自己定義好的模型
resnet50 = models.resnet50(pretrained=True) 
model =Net(...) 
 
#讀取參數 
pretrained_dict =resnet50.state_dict() 
model_dict = model.state_dict() 
 
#將pretrained_dict裏不屬於model_dict的鍵剔除掉 
pretrained_dict =  {k: v for k, v in pretrained_dict.items() if k in model_dict} 
 
# 更新現有的model_dict 
model_dict.update(pretrained_dict) 
 
# 加載我們真正需要的state_dict 
model.load_state_dict(model_dict)  
4. 加載自己的模型
其實這個是保存和恢復模型,比如我們訓練好的模型保存,然後加載用於測試。

方法一(推薦):

第一種方法也是官方推薦的方法,只保存和恢復模型中的參數。

使用這種方法,我們需要自己導入模型的結構信息。

(1)保存

torch.save(model.state_dict(), PATH)
 
#example
torch.save(resnet50.state_dict(),'ckp/model.pth')    
(2)恢復

model = ModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
 
#example
resnet=resnet50(pretrained=True)
resnet.load_state_dict(torch.load('ckp/model.pth'))
方法二:

使用這種方法,將會保存模型的參數和結構信息。

(1)保存

torch.save (model, PATH)
(2)恢復

model = torch.load(PATH)
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章