pytorch-dropout相关

今天在修改代码时,发现对dropout的inplace操作不太明白,所以有了此文,介绍一下pytorch的dropout函数

Dropout layers

在pytorch的doc中nn.dropout类如下,与functional.dropout函数一致:

CLASS: torch.nn.Dropout(p=0.5, inplace=False)
Input: Any. Input can be of any shape
Output: Same. Output is of the same shape as input

两个参数:

  • p为对于input中各个元素zero out的概率,也就是说当p=1时,output为全0。
  • inplace参数,示例如下,就是是否对tensor本身操作:

inplace为True时:

在这里插入图片描述
inplace为False时
在这里插入图片描述

Dropout2d or 3d

除此之外,pytorch还定义了Dropout2d和Dropout3d两个变种,其实也相对简单,Dropout2d要求输入数据为4维,它针对feature map进行zero out操作,也就是说:比如一个abmn的input,对它的每个mn的feature map,也就是input[i, j]进行zero out。示例如下:

在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章