Pytorch model中的遍历模型的参数

model.named_parameters()

return : 返回model的所有参数的(name, tensor)的键值对。可以修改参数的requires_grad属性。
用法 : 常用于对网络的参数进行一些特殊的处理（比如 fine-tuning）。

no_decay = ['bias', 'LayerNorm.weight']
optimizer_grouped_parameters = [
        {'params': [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], 'weight_decay': 1e-2},
        {'params': [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], 'weight_decay': 0.0}
]

# AdamW是实现了权重衰减的优化器
optimizer = AdamW(optimizer_grouped_parameters, lr=1e-5)

model.parameters()

return : 返回model的所有参数的tensor。可以修改参数的requires_grad属性。
用法 : 主要提供给optimizer。

optimizer = torch.optim.Adam(model.parameters(), args.learning_rate, betas=(args.momentum, 0.999))

model.state_dict()

return : 返回model的参数的(name, tensor)的键值对字典，参数的requires_grad=false，不可以修改参数的requires_grad属性。
用法 ： 常用于保存模型和加载模型的时候使用。

torch.save(model.state_dict(),"model.path") # 保存参数
model = model() # 代码中创建网络结构
params = torch.load("model.path") # 加载参数
model.load_state_dict(params) # 应用到网络结构中