今天在修改代码时,发现对dropout的inplace操作不太明白,所以有了此文,介绍一下pytorch的dropout函数
Dropout layers
在pytorch的doc中nn.dropout类如下,与functional.dropout函数一致:
CLASS: torch.nn.Dropout(p=0.5, inplace=False)
Input: Any. Input can be of any shape
Output: Same. Output is of the same shape as input
两个参数:
- p为对于input中各个元素zero out的概率,也就是说当p=1时,output为全0。
- inplace参数,示例如下,就是是否对tensor本身操作:
inplace为True时:
inplace为False时:
Dropout2d or 3d
除此之外,pytorch还定义了Dropout2d和Dropout3d两个变种,其实也相对简单,Dropout2d要求输入数据为4维,它针对feature map进行zero out操作,也就是说:比如一个abmn的input,对它的每个mn的feature map,也就是input[i, j]进行zero out。示例如下: