第二周、Dataset与Dataloader

一、数据读取流程

二、数据读取流程数据提取流程

读那些：Sampler输出的Index
从哪读：Dataset中的data_dir
读什么：Dataset中的getitem

三、DataLoader

torch.utils.data.DataLoader
功能:构建可迭代的数据装载器
dataset: Dataset类，决定数据从哪读取及如何读取
batchsize :批大小
num_works:是否多进程读取数据
shuffle:每个epoch是否乱序
drop_ last:当样本数不能被batchsize整除时，
           是否舍弃最后一批数据

Epoch:所有训练样本都已输入到模型中，称为一个Epoch
Iteration:一批样本输入到模型中，称之为一个Iteration
Batchsize:批大小，决定一个Epoch有多少个Iteration
样本总数: 80，Batchsize: 8
1 Epoch = 10 Iteration

样本总数: 87   Batchsize: 8
1 Epoch = 10 Iteration ? drop_last=True
1 Epoch = 11 Iteration ? drop_last=False

四、Dataset

torch.utils.data.Dataset
功能: Dataset抽象类,所有自定义的Dataset需要继承它并复写
_getitem_()
getitem :接收一个索引，返回一个样本

二级目录

三级目录