3.7 softmax回归的简洁实现 动手学深度学习——pytorch1.10

学了本文你能学到什么？仅供学习，如有疑问，请留言。。。

注：红色是小结，     紫色是重点，能像被课文一样背诵

目录

3.7.1 获取和读取数据

3.7.2 定义和初始化模型

3.7.3 softmax和交叉熵损失函数

3.7.4 定义优化算法

3.7.5 训练模型

---

小结
可以使用softmax回归做多类别分类。与训练线性回归相比，你会发现训练softmax回归的步骤和它非常相似：获取并读取数据、定义模型和损失函数并使用优化算法训练模型。
事实上，绝大多数深度学习模型的训练都有着类似的步骤。

PyTorch提供的函数往往具有更好的数值稳定性。
可以使用PyTorch更简洁地实现softmax回归。

import torch
from torch import nn
from torch.nn import init
import numpy as np
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l

 

# 3.7.1 获取和读取数据

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

 

# 3.7.2 定义和初始化模型

 

"""
softmax回归的输出层是一个全连接层，所以我们用一个线性模块就可以了。
因为前面我们数据返回的每个batch样本x的形状为(batch_size, 1, 28, 28), 所以我们要先用view()将x的形状转换成(batch_size, 784)才送入全连接层。
"""

num_inputs = 784
num_outputs = 10

class LinearNet(nn.Module):
    def __init__(self, num_inputs, num_outputs):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(num_inputs, num_outputs)
    def forward(self, x): # x shape: (batch, 1, 28, 28)
        y = self.linear(x.view(x.shape[0], -1))
        return y

net = LinearNet(num_inputs, num_outputs)
#变形

class FlattenLayer(nn.Module):
    def __init__(self):
        super(FlattenLayer, self).__init__()
    def forward(self, x): # x shape: (batch, *, *, ...)
        return x.view(x.shape[0], -1)

"然后，我们使用均值为0、标准差为0.01的正态分布随机初始化模型的权重参数。"
init.normal_(net.linear.weight, mean=0, std=0.01)
init.constant_(net.linear.bias, val=0)

#3.7.3 softmax和交叉熵损失函数

"PyTorch提供了一个包括softmax运算和交叉熵损失计算的函数。它的数值稳定性更好。"
loss = nn.CrossEntropyLoss()

# 3.7.4 定义优化算法

"我们使用学习率为0.1的小批量随机梯度下降作为优化算法。"
optimizer = torch.optim.SGD(net.parameters(), lr=0.1)

 

# 3.7.5 训练模型

num_epochs = 5
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None, None, optimizer)