Pytorch model中的遍歷模型的參數

model.named_parameters()

return : 返回model的所有參數的(name, tensor)的鍵值對。可以修改參數的requires_grad屬性。
用法 : 常用於對網絡的參數進行一些特殊的處理（比如 fine-tuning）。

no_decay = ['bias', 'LayerNorm.weight']
optimizer_grouped_parameters = [
        {'params': [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], 'weight_decay': 1e-2},
        {'params': [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], 'weight_decay': 0.0}
]

# AdamW是實現了權重衰減的優化器
optimizer = AdamW(optimizer_grouped_parameters, lr=1e-5)

model.parameters()

return : 返回model的所有參數的tensor。可以修改參數的requires_grad屬性。
用法 : 主要提供給optimizer。

optimizer = torch.optim.Adam(model.parameters(), args.learning_rate, betas=(args.momentum, 0.999))

model.state_dict()

return : 返回model的參數的(name, tensor)的鍵值對字典，參數的requires_grad=false，不可以修改參數的requires_grad屬性。
用法 ： 常用於保存模型和加載模型的時候使用。

torch.save(model.state_dict(),"model.path") # 保存參數
model = model() # 代碼中創建網絡結構
params = torch.load("model.path") # 加載參數
model.load_state_dict(params) # 應用到網絡結構中