目標檢測 SSD: Single Shot MultiBox Detector - SSD在MMDetection中的實現

目標檢測 SSD: Single Shot MultiBox Detector - SSD在MMDetection中的實現

flyfish

目標檢測 SSD: Single Shot MultiBox Detector - 綜述
目標檢測 SSD: Single Shot MultiBox Detector - 目標的座標表示方法
目標檢測 SSD: Single Shot MultiBox Detector - 全連接層是如何轉到卷積層的？或者說如何將全連接層重新參數化爲卷積層？
目標檢測 SSD: Single Shot MultiBox Detector - VGG16的魔改
目標檢測 SSD: Single Shot MultiBox Detector - MobileNet v3的魔改
目標檢測 SSD: Single Shot MultiBox Detector - EfficientNet的魔改
目標檢測 SSD: Single Shot MultiBox Detector - L2Norm模塊處理conv4_3的特徵輸出
目標檢測 SSD: Single Shot MultiBox Detector - Hard Negative Mining

介紹

MMDetection是一個目標檢測工具箱，其中包含了豐富的目標檢測和實例分割方法以及相關組件和模塊。此工具箱起源於MMDet團隊的代碼庫，此團隊曾獲得detection track of COCO Challenge 2018的冠軍。

可與其他框架做比較的是Detectron2，maskrcnn-benchmark和SimpleDet
MMDetection官網強烈推薦使用v2.0，以獲得更快的速度、更高的性能、更好的設計和更友好的使用，支持PyTorch1.3到PyTorch1.5

支持的框架（Supported Frameworks）

單階段方法（Single-stage Methods）

SSD、RetinaNet、FCOS、FSAF

兩階段方法（Two-stage Methods）

Faster R-CNN、R-FCN、Mask R-CNN、Mask Scoring R-CNN、Grid R-CNN

多階段方法（ Multi-stage Methods）

Cascade R-CNN、Hybrid Task Cascade

通用模塊和方法（General Modules and Methods）

soft-NMS、DCN、OHEN、Train from Scratch 、M2Det 、GN 、HRNet 、Libra R-CNN

模型表徵（Model Representation）

1、Backbone（ResNet等）

2、Neck（FPN等）

3、DenseHead（AnchorHead）

4、RoIExtractor

5、RoIHead（BBoxHead/MaskHead）

以下示例使用的環境：
Ubuntu18.04
Python3.6
PyTorch1.4
MMDetection 2.0(6/5/2020)

文件夾佈局的大體設計

mmdet\models
添加自定模型時，要操作的文件夾

│   ├── models
│   │   ├── backbones
│   │   ├── builder.py
│   │   ├── dense_heads
│   │   ├── detectors
│   │   ├── __init__.py
│   │   ├── losses
│   │   ├── necks
│   │   ├── roi_heads
│   │   └── utils

配置
├── configs
│   ├── albu_example
│   ├── atss
│   ├── _base_
│   ├── carafe
│   ├── cascade_rcnn
│   ├── ssd
│   └── ..

我們訓練，驗證，測試運行的命令在這裏
├── tools
│   ├── analyze_logs.py
│   ├── browse_dataset.py
│   ├── coco_error_analysis.py
│   ├── convert_datasets
│   ├── detectron2pytorch.py
│   ├── dist_test.sh
│   ├── dist_train.sh
│   ├── fuse_conv_bn.py
│   ├── get_flops.py
│   ├── print_config.py
│   ├── publish_model.py
│   ├── pytorch2onnx.py
│   ├── robustness_eval.py
│   ├── slurm_test.sh
│   ├── slurm_train.sh
│   ├── test.py
│   ├── test_robustness.py
│   ├── train.py
│   └── upgrade_model_version.py

如果我們做的是Single-stage detector
我們關注的文件夾是backbones，necks，dense_heads
如果我們做的是Two-stage detector
我們關注的文件夾是backbones，necks，dense_heads，roi_heads

配置文件結構

在config / _base_有4種基本組件類型
dataset

model

schedule

default_runtime

從MMDetection 2.0開始，配置系統支持繼承配置，以便用戶可以專注於修改。
減少配置使用繼承 例如

_base_ = [
    '../_base_/models/ssd300.py', '../_base_/datasets/coco_detection.py',
    '../_base_/schedules/schedule_2x.py', '../_base_/default_runtime.py'
]

default_runtime 的配置

所在路徑mmdetection/configs/base/default_runtime.py

checkpoint_config = dict(interval=1)# 每1個epoch存儲一次模型
# yapf:disable
log_config = dict(
    interval=50,# 每50個batch輸出一次信息
    hooks=[
        dict(type='TextLoggerHook'), # 控制檯輸出信息的風格
        # dict(type='TensorboardLoggerHook')
    ])
# yapf:enable
dist_params = dict(backend='nccl')# 分佈式參數
log_level = 'INFO'#日誌等級
load_from = None# 加載模型的路徑，None表示從預訓練模型加載，還可從代碼更改爲不加載
resume_from = None# 恢復訓練模型的路徑
workflow = [('train', 1)]

schedule 的配置

所在路徑mmdetection/configs/base/schedules/
schedule_1x.py，schedule_2x.py，schedule_20e.py
1x 表示12個epoch
2x 表示24個epoch
20e表示 20 個epochs ，通常 cascade模型中採用

# optimizer
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)# 優化參數，lr爲學習率，momentum爲動量因子，weight_decay爲權重衰減因子
optimizer_config = dict(grad_clip=None)# 梯度均衡參數
# learning policy 學習率策略
lr_config = dict(
    policy='step',# 優化策略
    warmup='linear',# 初始的學習率增加的策略，linear爲線性增加
    warmup_iters=500,# 在初始的500次迭代中學習率逐漸增加
    warmup_ratio=0.001,# 起始的學習率
    step=[8, 11])# 在第8和11個epoch時降低學習率
total_epochs = 12 # 最大epoch數

Model的配置

以ssd300.py爲例
所在路徑mmdetection/configs/base/models/ssd300.py

# model settings
input_size = 300
model = dict(
    type='SingleStageDetector',# model類型
    pretrained='open-mmlab://vgg16_caffe',# 預訓練模型：VGG16_caffe
    backbone=dict(
        type='SSDVGG',# backbone類型
        input_size=input_size,
        depth=16,
        with_last_pool=False,
        ceil_mode=True,
        out_indices=(3, 4),
        out_feature_indices=(22, 34),
        l2_norm_scale=20),
    neck=None,
    bbox_head=dict(
        type='SSDHead',
        in_channels=(512, 1024, 512, 256, 256, 256),#輸入通道
        num_classes=80,
        anchor_generator=dict(
            type='SSDAnchorGenerator',
            scale_major=False,
            input_size=input_size,
            basesize_ratio_range=(0.15, 0.9),
            strides=[8, 16, 32, 64, 100, 300],# 在每個特徵層對應於原圖的步長
            ratios=[[2], [2, 3], [2, 3], [2, 3], [2], [2]]),#每個特徵層對應先驗框（prior box）的數量 是 [4,6,6,6,4,4]
        bbox_coder=dict(
            type='DeltaXYWHBBoxCoder',
            target_means=[.0, .0, .0, .0],
            target_stds=[0.1, 0.1, 0.2, 0.2])))
cudnn_benchmark = True
train_cfg = dict(
    assigner=dict(
        type='MaxIoUAssigner',
        pos_iou_thr=0.5,# 正樣本的iou閾值
        neg_iou_thr=0.5,# 負樣本的iou閾值
        min_pos_iou=0.,# 正樣本的iou最小值。如果assign給ground truth的anchors中最大的IOU小於0，則忽略所有的anchors，否則保留最大IOU的anchor
        ignore_iof_thr=-1, #忽略bbox的閾值，當ground truth中包含需要忽略的bbox時使用，-1表示不忽略
        gt_max_assign_all=False),
    smoothl1_beta=1.,# 平滑L1係數
    allowed_border=-1, # 允許在bbox周圍外擴一定的像素
    pos_weight=-1,
    neg_pos_ratio=3,
    debug=False)# debug模式
test_cfg = dict(
    nms=dict(type='nms', iou_thr=0.45),
    min_bbox_size=0,
    score_thr=0.02,
    max_per_img=200)

DeltaXYWHBBoxCoder
定義bbox的座標爲(x1, y1, x2, y2)，delta爲（dx, dy, dw, dh）
encode是將bbox轉換爲delta，decode是deltas轉化爲bbox

Dataset 配置

配置支持的數據集 VOC, WIDER FACE, COCO 和 Cityscapes
常用的數據集VOC和COCO

關於SSD使用不同的數據集

COCO

mmdetection/configs/ssd
ssd300_coco.py，ssd512_coco.py
圖片輸入大小分別是300 × 300,512 ×512

VOC

mmdetection/configs/pascal_voc
ssd300_voc0712.py
ssd512_voc0712.py

以ssd300_coco.py爲例

data pipeline

_base_ = [
    '../_base_/models/ssd300.py', '../_base_/datasets/coco_detection.py',
    '../_base_/schedules/schedule_2x.py', '../_base_/default_runtime.py'
]
# dataset settings
dataset_type = 'CocoDataset' #數據集的類型
data_root = 'data/coco/'#數據集的根目錄
# # 將輸入圖像norm，減去均值mean併除以方差std，to_rgb表示將bgr轉爲rgb

# 歸一化再標準化的做法
# img = (img/255 - mean) / std

#只做標準化的做法
#img = (img - mean)/std


#  caffe 的img_norm方法是
#img_norm_cfg = dict(
#    mean=[103.530, 116.280, 123.675], std=[1.0, 1.0, 1.0], to_rgb=False)
# PyTorch 中經常看到的是下面這樣
#img_norm_cfg = dict(
#    mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)

img_norm_cfg = dict(mean=[123.675, 116.28, 103.53], std=[1, 1, 1], to_rgb=True)
train_pipeline = [
    dict(type='LoadImageFromFile', to_float32=True),
    dict(type='LoadAnnotations', with_bbox=True),
    dict(
        type='PhotoMetricDistortion',#PhotoMetricDistortion 數據增強，可以調整包括亮度，對比度，飽和度,色調
        brightness_delta=32,
        contrast_range=(0.5, 1.5),
        saturation_range=(0.5, 1.5),
        hue_delta=18),
    dict(
        type='Expand',
        mean=img_norm_cfg['mean'],
        to_rgb=img_norm_cfg['to_rgb'],
        ratio_range=(1, 4)),
    dict(
        type='MinIoURandomCrop',
        min_ious=(0.1, 0.3, 0.5, 0.7, 0.9),
        min_crop_size=0.3),
    dict(type='Resize', img_scale=(300, 300), keep_ratio=False),
    dict(type='Normalize', **img_norm_cfg),
    dict(type='RandomFlip', flip_ratio=0.5),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(
        type='MultiScaleFlipAug',
        img_scale=(300, 300),
        flip=False,
        transforms=[
            dict(type='Resize', keep_ratio=False),
            dict(type='Normalize', **img_norm_cfg),
            dict(type='ImageToTensor', keys=['img']),
            dict(type='Collect', keys=['img']),
        ])
]
data = dict(
    samples_per_gpu=8,# 每個gpu分配的樣本數量
    workers_per_gpu=3,# 每個gpu分配的線程數
    train=dict(
        _delete_=True,
        type='RepeatDataset',
        times=5,
        dataset=dict(
            type=dataset_type,
            ann_file=data_root + 'annotations/instances_train2017.json',
            img_prefix=data_root + 'train2017/',
            pipeline=train_pipeline)),
    val=dict(pipeline=test_pipeline),
    test=dict(pipeline=test_pipeline))
# optimizer
optimizer = dict(type='SGD', lr=2e-3, momentum=0.9, weight_decay=5e-4)
optimizer_config = dict(_delete_=True)

train_pipeline

使用方法

訓練

通常使用的方式

python tools/train.py  ./configs/ssd/ssd300_coco.py --autoscale-lr --gpus 8

加載之前訓練的模型

python tools/train.py  ./configs/ssd/ssd300_coco.py --autoscale-lr --gpus 8   --resume-from  ./work_dirs/ssd300_coco/latest.pth

不需要驗證，只訓練的方式

python tools/train.py  ./configs/ssd/ssd300_coco.py --autoscale-lr --gpus 8  --no-validate

驗證

 python ./tools/test.py ./configs/ssd/ssd300_coco.py ./work_dirs/ssd300_coco/latest.pth  --eval bbox

關於驗證可選的參數，依賴數據集的類型
COCO支持proposal_fast, proposal, bbox, segm
PASCAL VOC支持 mAP, recall