Module.named_parameters()、Module.named_children()與Module.named_modules()的區別

在代碼裏面輸出一下子:

import torch
import torch.nn as nn


class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(3, 4)
        self.relu1 = nn.ReLU()
        self.fc2 = nn.Linear(4, 1)
        self.sequence = nn.Sequential(
            nn.Linear(5, 4),
            nn.MaxPool2d(2, 2)
        )

    def forward(self, x):
        o = self.fc1(x)
        o = self.relu1(o)
        o = self.fc2(o)
        return o


net = Net()

# Parameter類是在Tensor上封裝起來的,也有is_leaf的bool值
print('parameter start')
for name, parameter in net.named_parameters():
    print(name)
    print(type(parameter))
    print(parameter.is_leaf)
print('parameter end')

print('****************************************************')

print(isinstance(torch.nn.parameter.Parameter, torch.Tensor))
print(type(net.fc1))

print('module start')
# module類(包裹Conv2d等),是模型類不是張量,不存在is_leaf函數
for name, module in net.named_modules():
    print(name)
    print(type(module))
print('module end')

print('****************************************************')

# Conv2d及Linear類,是模型類不是張量,不存在is_leaf函數
print('child start')
for name, child in net.named_children():
    print(name)
    print(type(child))
print('child end')

輸出結果爲:

parameter start
fc1.weight
<class 'torch.nn.parameter.Parameter'>
True
fc1.bias
<class 'torch.nn.parameter.Parameter'>
True
fc2.weight
<class 'torch.nn.parameter.Parameter'>
True
fc2.bias
<class 'torch.nn.parameter.Parameter'>
True
sequence.0.weight
<class 'torch.nn.parameter.Parameter'>
True
sequence.0.bias
<class 'torch.nn.parameter.Parameter'>
True
parameter end
****************************************************
False
<class 'torch.nn.modules.linear.Linear'>
module start

<class '__main__.Net'>
fc1
<class 'torch.nn.modules.linear.Linear'>
relu1
<class 'torch.nn.modules.activation.ReLU'>
fc2
<class 'torch.nn.modules.linear.Linear'>
sequence
<class 'torch.nn.modules.container.Sequential'>
sequence.0
<class 'torch.nn.modules.linear.Linear'>
sequence.1
<class 'torch.nn.modules.pooling.MaxPool2d'>
module end
****************************************************
child start
fc1
<class 'torch.nn.modules.linear.Linear'>
relu1
<class 'torch.nn.modules.activation.ReLU'>
fc2
<class 'torch.nn.modules.linear.Linear'>
sequence
<class 'torch.nn.modules.container.Sequential'>
child end

可見,named_parameters()輸出模型中每一個參數的名稱(字符串)與這個參數(Parameter類);而named_modules()與named_children()則輸出的是每一塊模型的名稱(字符串)與這個模型(Conv2d、Linear、Sequence或者是'__main.Net'類)。

其中modules與children又有區別:modules會迭代式地找到每一個模型(例如<class '__main__.Net'>或者是sequential的內部),而children則只會找到直接的子模型,不包含自己(<class '__main__.Net'>)或是孫子模型(sequential內部的)。

torch.nn.Conv2d、torch.nn.BatchNorm2d等等,都是torch.nn.Module類的子類:

issubclass(torch.nn.Conv2d, torch.nn.Module)

>> True

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章