EasyCV DataHub 提供多領域視覺數據集下載，助力模型生產

簡介： 在人工智能廣泛應用的今天，深度學習技術已經在各行各業起到了重要的作用。在計算機視覺領域，深度學習技術在大多數場景已經替代了傳統視覺方法。如果說深度學習是一項重要的生產工具，那麼數據就是不可或缺的生產資料，巧婦難爲無米之炊，數據對於視覺模型生產起到了至關重要的作用。

作者：伝跡 謙言 夕陌  臨在

在人工智能廣泛應用的今天，深度學習技術已經在各行各業起到了重要的作用。在計算機視覺領域，深度學習技術在大多數場景已經替代了傳統視覺方法。如果說深度學習是一項重要的生產工具，那麼數據就是不可或缺的生產資料，巧婦難爲無米之炊，數據對於視覺模型生產起到了至關重要的作用。

EasyCV是阿里雲機器學習平臺團隊開源的基於Pytorch的all-in-one視覺算法建模工具，搭建了豐富完善的自監督算法體系，提供了效果SOTA的視覺Transformer預訓練模型，modelzoo覆蓋圖像自監督訓練、圖像分類、度量學習、物體檢測、實例分割、語義分割、關鍵點檢測等領域。

EasyCV提供了不同數據源(data_source)的抽象，支持直接讀取多種開源數據集格式例如Cifar、ImageNet、CoCo等，同時也支持PAI智能標註平臺Itag標註格式和Tfrecord格式數據。 TFrecord格式數據支持使用DALI進行數據處理加速，Itag標註格式圖片支持通過緩存機制加速數據讀取。

爲了方便EasyCV的用戶進行模型指標復現、在實際場景訓練使用模型，EasyCV彙總了不同領域的常用數據集的介紹和下載地址，當前涵蓋圖像分類、目標檢測、圖像分割、姿態估計等方向， 並針對較大且常用的數據集例如imagenet在原許可證允許的情況下提供了國內網盤地址，方便用戶快速下載數據集進行論文指標對齊、模型效果對比、以及實際場景下的模型訓練。

主要數據集介紹

下面按領域介紹一下EasyCV當前整理提供的數據集， 其中加粗部分的數據集可以通過網盤鏈接下載。

datahub的使用細節可參考：https://github.com/alibaba/EasyCV/blob/master/docs/source/data_hub.md

圖像分類

數據集彙總： ImageNet1K、ImageNet21K、Cifar10、Cifar100、MNIST、Fashion-MNIST、Flower102、Caltech101、Caltech256

ImageNet

官網鏈接：https://image-net.org/download.php

網盤鏈接：

ImageNet1k https://pan.baidu.com/s/13pKw0bJbr-jbymQMd_YXzA 提取碼：0zas

ImageNet1k TFrecord https://pan.baidu.com/s/153SY2dp02vEY9K6-O5U1UA 提取碼：5zdc

ImageNet21k https://pan.baidu.com/s/1eJVPCfS814cDCt3-lVHgmA 提取碼:kaeg

ImageNet是市場上最大、最受歡迎的開源數據集之一。ImageNet擁有超過1400萬張已手動標註的圖像。數據庫按WordNet層次結構予以組織，對象級標註通過邊界框完成。

目標檢測

數據集彙總：COCO2017、VOC2007、VOC2012、LVIS、Cityscapes、Object365、CrowdHuman、OpenImages、WIDER FACE、DeepFashion、Fruit Images、Oxford-IIIT Pet、Arthropod Taxonomy Orders、African Wildlife、AI-TOD航空圖、TinyPerson、WiderPerson、Caltech Pedestrian Dataset、DOTA

COCO2017

官網鏈接：https://cocodataset.org/#home

網盤鏈接：https://pan.baidu.com/s/14rO11v1VAgdswRDqPVJjMA 提取碼:bcmm

COCO 是一個大型圖像數據集，其被用於機器視覺領域的對象檢測與分割、人物關鍵點檢測、填充分割與字幕生成。該數據集以場景理解爲主，圖像中的目標則通過精確的分割進行位置標定。

該數據集具有目標分割、情景感知和超像素分割三個特徵，其包含 33 萬張圖像、150 萬目標實例、80 個目標類、91 個物品類以及 25 萬關鍵點人物。

LVIS

官網鏈接：https://www.lvisdataset.org/dataset

網盤鏈接：https://pan.baidu.com/s/1UntujlgDMuVBIjhoAc_lSA 提取碼:8ief

大規模的詞彙實例分割數據集(Large Vocabulary Instance Segmentation,LVIS )，包含了164k圖像，並針對超過1000類物體進行了約200萬個高質量的實例分割標註。由於數據集中包含自然圖像中的物體分佈天然具有長尾屬性。

Objects365

官網鏈接：https://www.objects365.org/overview.html

該數據集總共包含63萬張圖像，覆蓋365個類別，高達1000萬框數，具有規模大、質量高、泛化能力強的特點，遠超Pascal VOC、COCO等傳統數據集。

分割

數據集彙總：VOC2007、VOC2012、Pascal Context、COCO-Stuff 10K、Cityscapes、ADE20K

Cityscapes

官網鏈接：https://www.cityscapes-dataset.com/

該數據集拍攝了國外多個城市街道場景圖片，構建數據集，其分爲三個部分，包括訓練集，驗證集和測試集，一共 19 個類別。

ADE20K

官網鏈接：http://groups.csail.mit.edu/vision/datasets/ADE20K/

網盤鏈接：https://pan.baidu.com/s/1ZuAuZheHHSDNRRdaI4wQrQ 提取碼:dqim

ADE20K涵蓋了場景、對象、對象部分的各種註釋，在某些情況下甚至是部分的部分。有25k張複雜日常場景的圖像，其中包含自然空間環境中的各種對象。每個圖像平均有19.5個實例和10.5個對象類。

姿態估計

數據集彙總： COCO2017、MPII、CrowdPose、OCHuman

MPII

官網鏈接：http://human-pose.mpi-inf.mpg.de/

網盤鏈接：https://pan.baidu.com/s/1uscGGPlUBirulSSgb10Pfw 提取碼:w6af

MPII人體姿態數據集是評價關節人體姿態估計的最先進的基準。該數據集包括大約25K張圖片，其中包括超過40K名帶有標註身體關節的人。這些圖像是根據人類日常活動的既定分類系統收集的。總體而言，數據集涵蓋410項人類活動，每張圖像都有活動標籤。每張圖片都是從YouTube視頻中提取的，並提供了前後未註釋的幀。

 

EasyCV數據集接口使用示例

設計思路

EasyCV抽象了data_source來封裝不同格式的數據集，data_source輸出圖像相關的信息，然後通過指定dataset_type來創建不同任務類型的數據集對象進行訓練。其中data_source類型包括ClsSourceImageList、DetSourceCoco、DetSourceVOC、PoseTopDownSourceCoco和SegSourceRaw等等，dataset_type類型包括RawDataset、ClsDataset、DetDataset和SegDataset等等。

以ImageNet數據集爲例：

# 1. 配置imagenet數據集的config
dataset_type = 'ClsDataset'
data_train_list = 'data/imagenet_raw/meta/train_labeled.txt'
data_train_root = 'data/imagenet_raw/train/'
data_test_list = 'data/imagenet_raw/meta/val_labeled.txt'
data_test_root = 'data/imagenet_raw/val/'

dataset_type = 'ClsDataset'
data = dict(
    imgs_per_gpu=32,
    workers_per_gpu=4,
    train=dict(
        type=dataset_type,
        data_source=dict(
            list_file=data_train_list,
            root=data_train_root,
            type='ClsSourceImageList'),
        pipeline=train_pipeline),
    val=dict(
        type=dataset_type,
        data_source=dict(
            list_file=data_test_list,
            root=data_test_root,
            type='ClsSourceImageList'),
        pipeline=test_pipeline))

# 2. config實例化 
cfg = mmcv_config_fromfile(args.config)

# 3. 數據集實例化
distributed = torch.cuda.is_available(
) and torch.distributed.is_initialized()
default_args = dict(
    batch_size=cfg.data.imgs_per_gpu,
    workers_per_gpu=cfg.data.workers_per_gpu,
    distributed=distributed)
dataset = build_dataset(cfg.data.train, default_args)

其他和Imagenet格式相似的數據集，都可以通過替換data_train_list、data_train_root、data_test_list和data_test_root進行配置使用，詳細的config配置方式可參考https://github.com/alibaba/EasyCV/blob/master/configs/classification/imagenet/resnet/resnet50_b32x8_100e_jpg.py。

 

項目開源地址：https://github.com/alibaba/EasyCV

 

EasyCV往期分享

• EasyCV帶你復現更好更快的自監督算法-FastConvMAE
• YOLOX-PAI:加速YOLOX,比YOLOV6更快更強
• 基於EasyCV復現DETR和DAB-DETR，Object Query的正確打開方式
• 基於EasyCV復現ViTDet：單層特徵超越FPN
• MAE自監督算法介紹和基於EasyCV的復現
• EasyCV開源｜開箱即用的視覺自監督+Transformer算法庫

原文鏈接：

https://click.aliyun.com/m/1000361566/

 

 本文爲阿里雲原創內容，未經允許不得轉載。