Pytorch-Model Fintune

Model Finetune

Transfer Learning:機器學習分支，研究源域的只是如何應用到目標域

模型微調

首先要加載模型參數

resnet18_ft = models.resnet18() 
path_pretrained_model = os.path.join(BASEDIR, "resnet18-5c106cde.pth")
state_dict_load = torch.load(path_pretrained_model)                                    
resnet18_ft.load_state_dict(state_dict_load)                                           

在加載了模型參數之後，需要替換期中的全連接層爲我們當前項目的需求

#我們替換resnet18最後的全連接層
num_ftrs = resnet18_ft.fc.in_features
resnet18_ft.fc = nn.Linear(num_ftrs, classes)

兩種微調方法

#微調方法1
for param in resnet18_ft.parameters():
    param.requires_grad = False
    print("conv1.weights[0, 0, ...]:\n {}".format(resnet18_ft.conv1.weight[0, 0, ...]))

#微調方法2
fc_params_id = list(map(id, resnet18_ft.fc.parameters()))     # 返回的是parameters的 內存地址
    base_params = filter(lambda p: id(p) not in fc_params_id, resnet18_ft.parameters())
    optimizer = optim.SGD([
        {'params': base_params, 'lr': LR*0},   # 0
        {'params': resnet18_ft.fc.parameters(), 'lr': LR}], momentum=0.9)

device選擇的方法
torch.device('cuda' if torch.cude.is_available() else "cpu")