第二週、Dataset與Dataloader

一、數據讀取流程

在這裏插入圖片描述

二、數據讀取流程數據提取流程

讀那些:Sampler輸出的Index
從哪讀:Dataset中的data_dir
讀什麼:Dataset中的getitem

三、DataLoader

torch.utils.data.DataLoader
功能:構建可迭代的數據裝載器
dataset: Dataset類,決定數據從哪讀取及如何讀取
batchsize :批大小
num_works:是否多進程讀取數據
shuffle:每個epoch是否亂序
drop_ last:當樣本數不能被batchsize整除時,
           是否捨棄最後一批數據

在這裏插入圖片描述

Epoch:所有訓練樣本都已輸入到模型中,稱爲一個Epoch
Iteration:一批樣本輸入到模型中,稱之爲一個Iteration
Batchsize:批大小,決定一個Epoch有多少個Iteration
樣本總數: 80,Batchsize: 8
1 Epoch = 10 Iteration

樣本總數: 87   Batchsize: 8
1 Epoch = 10 Iteration ? drop_last=True
1 Epoch = 11 Iteration ? drop_last=False

四、Dataset

torch.utils.data.Dataset
功能: Dataset抽象類,所有自定義的Dataset需要繼承它並複寫
_getitem_()
getitem :接收一個索引,返回一個樣本

在這裏插入圖片描述

二級目錄

三級目錄

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章