動手學習深度學習（pytorch）-線性迴歸

# 本節介紹使用pytorch來搭建線性迴歸模型
# 1、生成數據集
import torch
from IPython import display
from matplotlib import pyplot as plt
import numpy as np
import random
import torch.nn as nn


num_inputs = 2  # 樣本的特徵數量
num_examples = 1000  # 樣本數量
true_w = [2,-3.4]  # 參數w
true_b = 4.2  # 參數b
features = torch.tensor(np.random.normal(0,1,(num_examples,num_inputs)),dtype=torch.float)  # 特徵數
labels = true_w[0] * features[:,0] + true_w[1] * features[:,1] + true_b
labels += torch.tensor(np.random.normal(0,0.01,size = labels.size()),dtype=torch.float)

# 讀取數據
import torch.utils.data as Data
batch_size = 10
# 將訓練數據的特徵和標籤組合
dataset = Data.TensorDataset(features,labels)
# 隨機讀取小批量數據
data_iter = Data.DataLoader(dataset,batch_size,shuffle=True)

# 讀取並打印第一個小批量數據樣本
for X,Y in data_iter:
    print(X,Y)
    break
"""
tensor([[-3.0391e+00,  2.4009e-01],
        [ 5.3108e-01,  1.1738e+00],
        [-6.4292e-01, -2.7932e-01],
        [-2.2719e-03,  6.5884e-01],
        [ 4.5355e-01,  1.3269e+00],
        [ 7.3476e-01, -3.0537e-02],
        [ 3.1508e-01, -1.1509e+00],
        [ 8.6587e-02,  1.3892e+00],
        [-1.2793e+00, -8.5319e-02],
        [-2.8471e-01, -1.0173e+00]]) tensor([-2.6953,  1.2816,  3.8702,  1.9493,  0.5765,  5.7743,  8.7348, -0.3593,
         1.9270,  7.0863])
"""

# 定義模型
"""
pytorch定義了很多神經網絡，我們不需要自己去設計，直接調用即可。導入torch.nn模塊，該模塊定義了大量神經網絡的層。
nn的核心數據結構就是Module，它是一個抽象概念，既可以表示神經網絡中的某個層，也可以表示一個包含很多層的神經網絡。在實際應用中
通常是繼承nn.Module，撰寫自己的網絡/層。
"""
# class LinearNet(nn.Module):
#     def __init__(self,n_feature):
#         super(LinearNet, self).__init__()
#         super.linear = nn.Linear(n_feature,1)
#     # forward定義前向傳播
#     def forward(self,X):
#         Y = self.linear(X)
#         return Y
#
# net = LinearNet(num_inputs)
# print(net) # 使用print打印出網絡的結構


# 事實上我們還可以通過nn.Sequential來更加方便的搭建網絡，Sequential是一個有序的容器，網絡層將會按照在傳入Sequential
# 的順序依次被添加到計算圖中
# 寫法一：
net = nn.Sequential(nn.Linear(num_inputs,1)# 此處還可以傳入其他層
)

# 寫法二
net = nn.Sequential()
net.add_module('linear',nn.Linear(num_inputs,1))
# net.add_module...

# 寫法三：
from collections import OrderedDict
net = nn.Sequential(OrderedDict([
    ('linear',nn.Linear(num_inputs,1))
    # ....
]))
print(net)
"""
Sequential(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)
"""
print(net[0])
"""
Linear(in_features=2, out_features=1, bias=True)
"""

# 可以通過net.parameters()來查看模型所有的可學習參數，此函數將會返回一個生成器
for param in net.parameters():
    print(param)
"""
Parameter containing:
tensor([[-0.1717, -0.1062]], requires_grad=True)
Parameter containing:
tensor([0.0345], requires_grad=True)
"""

# 注意：torch.nn僅支持輸入一個batch的樣本不支持單個樣本輸入，如果只有單個樣本，可使用input.unsqueeze()來添加一維


# 初始化模型參數
"""
pytorch在init模塊中提供了多種參數初始化方法，我們通過init_normal_將權重參數每個元素初始化爲隨機採樣於均值爲0，
標準差爲0.01的正太分佈，偏差會初始化爲0
"""

from torch.nn import init
init.normal_(net[0].weight,mean = 0,std = 0.01)
init.constant_(net[0].bias,val = 0)  # 也可以直接修改表示的data：net[0].bias.data.fill_(0)

# 定義損失函數--直接調用，無需自己定義
loss = nn.MSELoss()

# 定義優化算法
"""
我們無需自己實現小批量隨機梯度下降算法。torch.optim模塊提供了很多常用的優化算法，例如：SGD，Adam和RMSPro等
下面我們創建一個用於優化net所有參數的優化器實例，並指定學習率爲0.03的小批量隨機梯度下降（SGD）爲優化算法
"""
import torch.optim as optim
optimizer = optim.SGD(net.parameters(),lr = 0.03)
print(optimizer)
"""
SGD (
Parameter Group 0
    dampening: 0
    lr: 0.03
    momentum: 0
    nesterov: False
    weight_decay: 0
)
"""

# 還可以爲不同的子網絡設置不同的學習率，這在finetune時經常用到
# optimizer = optim.SGD([
#     # 如果對某個參數不指定學習率，就使用最外層的默認學習率
#     {'params':net.subnet1.parameters()},# lr = 0.03
#     {'params':net.subnet2.parameters(),'lr':0.01}
# ],lr = 0.03)


# 有時候不想讓學習率固定爲一個參數，有兩種做法：
"""
1、修改optimizer.param_groups中對應的學習率
2、另外一種更加簡單和高效的做法是：新建優化器
"""
# 調整學習率
for param_group in optimizer.param_groups:
    param_group['lr'] *= 0.1  # 學習率爲之前的0.1倍


# 訓練模型
# 在使用Gluon訓練模型時，我們通過調用optim實例的step函數來迭代模型參數。按照小批量隨機梯度下降的定義，我們在step函數中指明批量
# 大小，從而對批量中樣本梯度求平均
num_epochs = 3
for epoch in range(1,num_epochs + 1):
    for X,Y in data_iter:
        out_put = net(X)
        l = loss(out_put,Y.view(-1,1))
        optimizer.zero_grad()  # 梯度清零
        optimizer.step()
    print('epoch %d,loss:%f' % (epoch,l.item()))
"""
epoch 1,loss:28.709951
epoch 2,loss:26.306438
epoch 3,loss:39.618736
"""

# 比較學習得到的參數和真實的參數模型
dense = net[0]
print(true_w,dense.weight)
print(true_b,dense.bias)
"""
[2, -3.4] Parameter containing:
tensor([[-0.0102, -0.0031]], requires_grad=True)
4.2 Parameter containing:
tensor([0.], requires_grad=True)
"""

# 注：這裏我的網路有問題，所以得到的參數不準