YOLOv3-Pytorch版本訓練教程

開始前的說明

1.本教程主要參考

https://blog.csdn.net/sinat_27634939/article/details/89884011

感謝原博主

2.windows 10和ubuntu16.04 都可用

3.筆者教程以yolov3-tiny爲例

環境配置

Pytorch ：https://pytorch.org/get-started/locally/
numpy
opencv-python
matplotlib
pycocotools
tqdm

基本上pip install 都能搞定，大家百度一下就可以

1.下載源碼

github：
https://github.com/ultralytics/yolov3

壓縮包下載或者git clone，都是基本操作。

2.下載訓練過程中會用到的預權重

跑yolo需要 下載 darknet53.conv.74 到 weights 文件夾中
跑yolo-tiny需要 下載 yolov3-tiny.conv.15 到 weights 文件夾

下載地址：

https://drive.google.com/open?id=1uxgUBemJVw9wZsdpboYbzUN4bcRhsuAI

裏面包含用到的所有權重，不過需要科學上網進Google Drive下載。

這裏我給出百度雲盤下載鏈接（僅有darknet53.conv.74和yolov3-tiny.conv.15）

鏈接：https://pan.baidu.com/s/19SqEfgGAfmFCiBFtOICbcg
提取碼：bnwu

3.製作自己的數據集

1.圖片標定

用到的工具是labelImg

去github上搜索labelImg按步驟安裝
或者 直接

pip3 install labelImg

運行直接在cmd裏執行

labelImg

運行界面如下：

標定的過程很簡單，聰明的你瞎點幾下就會了

記住以下四個快捷鍵會極大提高標定速度

ctrl+s	保存
d	下一張
a	上一張
w	開始標定

標定是一個體力活，標定完成之後 會得到 圖片文件同名的xml 文件。

2.建立如下文件夾

在data目錄下新建

把所有的xml文件放在 Annotations 中

把所有的圖片文件放在 Images 中

（保證Images中的每一個jpg 都能在Annotations中找到同名的 xml文件）

3.提取訓練集文件名

在data同級目錄下新建 makeTx.py 文件

將以下代碼複製進去

import os
import random
 
trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'data/Annotations'
txtsavepath = 'data/ImageSets'
total_xml = os.listdir(xmlfilepath)
 
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
 
ftrainval = open('data/ImageSets/trainval.txt', 'w')
ftest = open('data/ImageSets/test.txt', 'w')
ftrain = open('data/ImageSets/train.txt', 'w')
fval = open('data/ImageSets/val.txt', 'w')
 
for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftest.write(name)
        else:
            fval.write(name)
    else:
        ftrain.write(name)
 
ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

運行 makeTx.py 文件，會在ImageSets文件夾下生成四個 txt 文件

4.生成labels及完整文件路徑

在data同級目錄下創建 voc_label.py 文件

將下列代碼複製進去

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
 
sets = ['train', 'test','val']
 
classes = ["collector"]
 
 
def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)
 
 
def convert_annotation(image_id):
    in_file = open('Annotations/%s.xml' % (image_id))
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
 
    for obj in root.iter('object'):
        difficult = obj.find('Difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 
 
wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

需要修改的：

第一處

classes改成你要訓練的類別名，有幾類就寫幾個，逗號隔開，如下

classes =["class_a","class_b" ]

第二處

打開任意一個你要用的xml文件，找到Difficult

看xml中開頭字母是大寫還是小寫，如果是difficult，就把上圖36行改成difficult，不改後期會報錯

第三處

對照路徑，看是否和你創建的文件夾名稱對應，一般不需要修改

全部修改完成後，運行 voc_label.py 文件

會在 data 目錄 下生成

打開train.txt可以看到

裏面包含了所有訓練集圖片的相對路徑

進行下一步

4.修改參數

1.修改cfg文件

打開cfg目錄下的yolov3-tiny.cfg

搜索 yolo

會返回兩處結果

以其中一處爲例

修改規則：

1. classes的數改爲你實際的類別數，我是一類，所以就是1
2. 上面的filters 改成 3*（classes+5） ，我的classes =1 ，所以是 3*（1+5）=18
3. 一共修改四處，兩處classes，兩處filters

2.新建data和names文件

在data目錄下，新建collector.names 和 collector.data 文件，也可以直接在原有的 data和 names 文件上修改

裏面寫這些東西

collector.names中寫你的所有類名，一類一行

collector.data 中

老樣子：
classes是你的類別數
train是你 訓練集圖片相對路徑存儲的txt文件
valid 同上
names 是你 類名 所在的路徑
backup 是你 緩存 放的地方，不用改
eval是測評標準，也不用改
如果是按教程走的話，改的和上圖一模一樣就行 ，注意路徑中是 \ 不是 /

5.開始訓練

至此，所有的準備工作完成，我們開始訓練

此時所有的目錄結構如下所示：

打開 train.py

epoch 是你訓練的 輪數
batch-size 決定你 所有 訓練集分成幾組， 我1070 顯卡8G顯存 batch-size =32 沒有問題，越大越快，但我絲毫沒有感覺(╥╯^╰╥)
cfg 就是你修改的那個 cfg文件
data 也是你新建的那個 data
改完這四個

python train.py

就可以開始訓練啦

如果你不想改代碼

那麼也可以這樣運行

python train.py --data-cfg cfg/yolov3-tiny.cfg --data data/collector.data

至此就是漫長的等待

默認epoch 每過十輪 會 保存一次權重 ，可以在 train.py 中修改

所有權重都被保存到 weights 文件夾中

運行時截圖：

目標較爲簡單，筆者個人感覺 total loss 在1 左右基本夠用

6.筆者遇到的問題

1. ‘No labels found. Incorrect label paths provided.’ AssertionError: No labels found. Incorrect label paths provided.

在原作者repo上有同樣的issue：

https://github.com/ultralytics/yolov3/issues/318

解決：網上重新找了份 voc_label.py重新生成label文件就好了

2.division by zero

解決：訓練用的圖片名程過長 ，修改成短的就好了，然後重新生成train.txt 文件

3. No such file or directory: ‘data\data/test.shapes’

該問題往往會在第一輪訓練完成之後出現

解決：刪除data裏原有的 test.shapes 就好了。很玄學

4.未完待續

---

以上爲我在配置yolov3 pytorch 的一點經歷，只是機械的配置，涉及到的原理性的東西較少，很是慚愧。
加上時間久遠，有些坑已經遺忘，上述配置過程甚至有可能有錯誤的地方，歡迎大家指正。