小熊飛槳練習冊-01手寫數字識別
簡介
小熊飛槳練習冊-01手寫數字識別,本項目開發和測試均在 Ubuntu 20.04 系統下進行。
項目最新代碼查看主頁:小熊飛槳練習冊
百度飛槳 AI Studio 主頁:小熊飛槳練習冊-01手寫數字識別
Ubuntu 系統安裝 CUDA 參考:Ubuntu 百度飛槳和 CUDA 的安裝
文件說明
文件 | 說明 |
---|---|
train.py | 訓練程序 |
test.py | 測試程序 |
report.py | 報表程序 |
get-data.sh | 獲取數據到 dataset 目錄下 |
check-data.sh | 檢查 dataset 目錄下的數據是否存在 |
mod/lenet.py | LeNet 網絡模型 |
mod/dataset.py | MNIST 手寫數據集解析 |
mod/utils.py | 雜項 |
mod/config.py | 配置 |
mod/report.py | 結果報表 |
dataset | 數據集目錄 |
params | 模型參數保存目錄 |
log | VisualDL 日誌保存目錄 |
數據集
數據集來源於百度飛槳公共數據集:經典MNIST數據集
獲取數據
如果運行在本地計算機,下載完數據,文件放到 dataset 目錄下,在項目目錄下運行下面腳本。
如果運行在百度 AI Studio 環境,查看 data 目錄是否有數據,在項目目錄下運行下面腳本。
bash get-data.sh
檢查數據
獲取數據完畢後,在項目目錄下運行下面腳本,檢查 dataset 目錄下的數據是否存在。
bash check-data.sh
網絡模型
網絡模型使用 LeNet 網絡模型 來源百度飛槳教程和網絡
LeNet 網絡模型 參考: 百度飛槳教程
import paddle
import paddle.nn as nn
import paddle.nn.functional as F
# LeNet 網絡模型
class LeNet(nn.Layer):
def __init__(self, num_classes=10):
super(LeNet, self).__init__()
if num_classes < 1:
raise Exception("分類數量 num_classes 必須大於 0: {}".format(num_classes))
self.num_classes = num_classes
self.conv1 = nn.Conv2D(
in_channels=1, out_channels=6, kernel_size=5, stride=1)
self.max_pool1 = nn.MaxPool2D(kernel_size=2, stride=2)
self.conv2 = nn.Conv2D(
in_channels=6, out_channels=16, kernel_size=5, stride=1)
self.max_pool2 = nn.MaxPool2D(kernel_size=2, stride=2)
self.conv3 = nn.Conv2D(
in_channels=16, out_channels=120, kernel_size=4, stride=1)
self.fc1 = nn.Linear(in_features=120, out_features=64)
self.fc2 = nn.Linear(in_features=64, out_features=num_classes)
def forward(self, x):
x = self.conv1(x)
x = F.relu(x)
x = self.max_pool1(x)
x = self.conv2(x)
x = F.relu(x)
x = self.max_pool2(x)
x = self.conv3(x)
x = F.relu(x)
x = paddle.flatten(x, start_axis=1, stop_axis=-1)
x = self.fc1(x)
x = F.relu(x)
x = self.fc2(x)
return x
數據集解析
數據集解析方法來源百度飛槳教程和網絡,和百度飛槳 MNIST 數據集稍有不同
import paddle
import os
import struct
import numpy as np
class MNIST(paddle.io.Dataset):
"""
MNIST 手寫數據集解析, 繼承 paddle.io.Dataset 類
"""
def __init__(self,
images_path: str,
labels_path: str,
transform=None,
):
"""
構造函數,定義數據集大小
Args:
images_path (str): 圖像集路徑
labels_path (str): 標籤集路徑
transform (Compose, optional): 轉換數據的操作組合, 默認 None
"""
super(MNIST, self).__init__()
self.images_path = images_path
self.labels_path = labels_path
self._check_path(images_path, "數據路徑錯誤")
self._check_path(labels_path, "標籤路徑錯誤")
self.transform = transform
self.images, self.labels = self.parse_dataset(images_path, labels_path)
def __getitem__(self, idx):
"""
獲取單個數據和標籤
Args:
idx (Any): 索引
Returns:
image (float32): 圖像
label (int64): 標籤
"""
image, label = self.images[idx], self.labels[idx]
# 這裏 reshape 是2維 [28 ,28]
image = np.reshape(image, [28, 28])
if self.transform is not None:
image = self.transform(image)
# label.astype 如果是整型,只能是 int64
return image.astype('float32'), label.astype('int64')
def __len__(self):
"""
數據數量
Returns:
int: 數據數量
"""
return len(self.labels)
def _check_path(self, path: str, msg: str):
"""
檢查路徑是否存在
Args:
path (str): 路徑
msg (str, optional): 異常消息
Raises:
Exception: 路徑錯誤, 異常
"""
if not os.path.exists(path):
raise Exception("{}: {}".format(msg, path))
@staticmethod
def parse_dataset(images_path: str, labels_path: str):
"""
數據集解析
Args:
images_path (str): 圖像集路徑
labels_path (str): 標籤集路徑
Returns:
images: 圖像集
labels: 標籤集
"""
with open(images_path, 'rb') as imgpath:
# 解析圖像集
magic, num, rows, cols = struct.unpack('>IIII', imgpath.read(16))
# 這裏 reshape 是1維 [786]
images = np.fromfile(
imgpath, dtype=np.uint8).reshape(num, rows * cols)
with open(labels_path, 'rb') as lbpath:
# 解析標籤集
magic, n = struct.unpack('>II', lbpath.read(8))
labels = np.fromfile(lbpath, dtype=np.uint8)
return images, labels
配置模塊
可以查看修改 mod/config.py 文件,有詳細的說明
開始訓練
運行 train.py 文件,查看命令行參數加 -h
python3 train.py
--cpu 是否使用 cpu 計算,默認使用 CUDA
--learning-rate 學習率,默認 0.001
--epochs 訓練幾輪,默認 2 輪
--batch-size 一批次數量,默認 128
--num-workers 線程數量,默認 2
--no-save 是否保存模型參數,默認保存, 選擇後不保存模型參數
--load-dir 讀取模型參數,讀取 params 目錄下的子文件夾, 默認不讀取
--log 是否輸出 VisualDL 日誌,默認不輸出
--summary 輸出網絡模型信息,默認不輸出,選擇後只輸出信息,不會開啓訓練
測試模型
運行 test.py 文件,查看命令行參數加 -h
python3 test.py
--cpu 是否使用 cpu 計算,默認使用 CUDA
--batch-size 一批次數量,默認 128
--num-workers 線程數量,默認 2
--load-dir 讀取模型參數,讀取 params 目錄下的子文件夾, 默認 best 目錄
查看結果報表
運行 report.py 文件,可以顯示 params 目錄下所有子目錄的 report.json。
加參數 --best 根據 loss 最小的模型參數保存在 best 子目錄下。
python3 report.py
report.json 說明
鍵名 | 說明 |
---|---|
id | 根據時間生成的字符串 ID |
loss | 本次訓練的 loss 值 |
acc | 本次訓練的 acc 值 |
epochs | 本次訓練的 epochs 值 |
batch_size | 本次訓練的 batch_size 值 |
learning_rate | 本次訓練的 learning_rate 值 |
VisualDL 可視化分析工具
- 安裝和使用說明參考:VisualDL
- 訓練的時候加上參數 --log
- 如果是 AI Studio 環境訓練的把 log 目錄下載下來,解壓縮後放到本地項目目錄下 log 目錄
- 在項目目錄下運行下面命令
- 然後根據提示的網址,打開瀏覽器訪問提示的網址即可
visualdl --logdir ./log