Pytorch-学习率调整策略Scheduler

class_LRScheduler

主要方法

• step():更细你下一个epoch的学习率
• get_lr():虚函数，计算下一个epoch的学习率

学习率调整

1.StepLR 等间隔调整学习率

2.MultiStepLR 按给定间隔调整学习率

3.按照指数衰减调整学习率

4.CosineAnnealingLR
诡异的学习率


5.ReduceLRonPlateau

这个和keras的ReduceLearningRate很像

需要注意的是，在scheduler_lr的step方法中必须输入要监控的值

scheduler_lr=optim.lr_scheduler.ReduceLROnPlateau(optimizer,factor=0.1,mode='min',patience=10,cooldown=10,min_lr=1e-4,verbose=True)
scheduler_lr.step(loss.val)

关于mode的说明，min表示观察是否下降，max模式表示观察是否上升，所以Min通常用来表示loss,max通常用来表示accuracy

6.LambdaLR

lambda1=lambda epoch:0.1**(epoch//20)
lambda2=lambda epoch:0.95** epoch

scheduler=torch.optim.lr_scheduler.LambdaLR(optimizer,lr_lambda=[lambda1,lambda2])
#在之后的训练循环中执行
scheduler.step()

学习率调整小结

1. 有序调节：Step,MultiStep,Exponential,CosineAnnealing
2. 自适应调整:ReduceLROnPleatu
3. 自定义调整:Lambda

搜索最大学习率