3.7 softmax迴歸的簡潔實現 動手學深度學習——pytorch1.10

學了本文你能學到什麼？僅供學習，如有疑問，請留言。。。

注：紅色是小結，     紫色是重點，能像被課文一樣背誦

目錄

3.7.1 獲取和讀取數據

3.7.2 定義和初始化模型

3.7.3 softmax和交叉熵損失函數

3.7.4 定義優化算法

3.7.5 訓練模型

---

小結
可以使用softmax迴歸做多類別分類。與訓練線性迴歸相比，你會發現訓練softmax迴歸的步驟和它非常相似：獲取並讀取數據、定義模型和損失函數並使用優化算法訓練模型。
事實上，絕大多數深度學習模型的訓練都有着類似的步驟。

PyTorch提供的函數往往具有更好的數值穩定性。
可以使用PyTorch更簡潔地實現softmax迴歸。

import torch
from torch import nn
from torch.nn import init
import numpy as np
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l

 

# 3.7.1 獲取和讀取數據

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

 

# 3.7.2 定義和初始化模型

 

"""
softmax迴歸的輸出層是一個全連接層，所以我們用一個線性模塊就可以了。
因爲前面我們數據返回的每個batch樣本x的形狀爲(batch_size, 1, 28, 28), 所以我們要先用view()將x的形狀轉換成(batch_size, 784)才送入全連接層。
"""

num_inputs = 784
num_outputs = 10

class LinearNet(nn.Module):
    def __init__(self, num_inputs, num_outputs):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(num_inputs, num_outputs)
    def forward(self, x): # x shape: (batch, 1, 28, 28)
        y = self.linear(x.view(x.shape[0], -1))
        return y

net = LinearNet(num_inputs, num_outputs)
#變形

class FlattenLayer(nn.Module):
    def __init__(self):
        super(FlattenLayer, self).__init__()
    def forward(self, x): # x shape: (batch, *, *, ...)
        return x.view(x.shape[0], -1)

"然後，我們使用均值爲0、標準差爲0.01的正態分佈隨機初始化模型的權重參數。"
init.normal_(net.linear.weight, mean=0, std=0.01)
init.constant_(net.linear.bias, val=0)

#3.7.3 softmax和交叉熵損失函數

"PyTorch提供了一個包括softmax運算和交叉熵損失計算的函數。它的數值穩定性更好。"
loss = nn.CrossEntropyLoss()

# 3.7.4 定義優化算法

"我們使用學習率爲0.1的小批量隨機梯度下降作爲優化算法。"
optimizer = torch.optim.SGD(net.parameters(), lr=0.1)

 

# 3.7.5 訓練模型

num_epochs = 5
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None, None, optimizer)