說明幾點
1.model.zerp_grad()和optimzer.zero_grad(model.parameter())等效
2.optimzer只會優化model.parameter()的權值
3.遇到require_grad=False或者violatile=True的則由於根本就不求梯度，所以也不優化
pytorch optimzer的幾點說明
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
說明幾點
1.model.zerp_grad()和optimzer.zero_grad(model.parameter())等效
2.optimzer只會優化model.parameter()的權值
3.遇到require_grad=False或者violatile=True的則由於根本就不求梯度，所以也不優化