tf+ubuntu18.04+cuda10.1+python3+mask rcnn訓練自己的數據+處理自己的數據+tensorboard保存損失函數

mAP&AP算法 https://www.zhihu.com/question/53405779

1.代碼來自於https://github.com/matterport/Mask_RCNN

訓練自己的數據參考博客https://blog.csdn.net/qq_29462849/article/details/81037343#commentBox

批量重命名文件，注意，如果文件本身就是json格式，需要先轉化爲png，再變爲json，因爲這是處於一個for 循環中，所以之前的又被重複使用了

i=1; for x in *; do mv $x $i.json; let i=i+1; done

這裏說明一下用labelme製作的數據集出現的問題

因爲labelme升級以後，用命令行labelme_json_to_dataset+空格+文件名稱.json就產生不了能用的圖片

因此，對於labelme_json裏面的文件，應該用如下py文件生成

import argparse
import json
import os
import os.path as osp
import warnings
import PIL.Image
import yaml
from labelme import utils


def main():
    warnings.warn("This script is aimed to demonstrate how to convert the\n"
                  "JSON file to a single image dataset, and not to handle\n"
                  "multiple JSON files to generate a real-use dataset.")
    parser = argparse.ArgumentParser()
    parser.add_argument('json_file')
    parser.add_argument('-o', '--out', default=None)
    args = parser.parse_args()
    json_file = args.json_file
    print("json_flie= ",json_file)
    if args.out is None:
        out_dir = osp.basename(json_file).replace('.', '_')
        out_dir = osp.join(osp.dirname(json_file), out_dir)
    else:
        out_dir = args.out
    if not osp.exists(out_dir):
        os.mkdir(out_dir)
    data = json.load(open(json_file))
    print("json---load")
    img = utils.img_b64_to_arr(data['imageData'])
    label_name_to_value = {'_background_': 0}
    for shape in data['shapes']:
        label_name = shape['label']
        if label_name in label_name_to_value:
            label_value = label_name_to_value[label_name]
        else:
            label_value = len(label_name_to_value)
            label_name_to_value[label_name] = label_value
    # label_values must be dense
    label_values, label_names = [], []
    for ln, lv in sorted(label_name_to_value.items(), key=lambda x: x[1]):
        label_values.append(lv)
        label_names.append(ln)
    assert label_values == list(range(len(label_values)))
    lbl = utils.shapes_to_label(img.shape, data['shapes'], label_name_to_value)
    captions = ['{}: {}'.format(lv, ln)
                for ln, lv in label_name_to_value.items()]
    lbl_viz = utils.draw_label(lbl, img, captions)
    PIL.Image.fromarray(img).save(osp.join(out_dir, 'img.png'))
    PIL.Image.fromarray(lbl).save(osp.join(out_dir, 'label.png'))
    PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, 'label_viz.png'))
    with open(osp.join(out_dir, 'label_names.txt'), 'w') as f:
        for lbl_name in label_names:
            f.write(lbl_name + '\n')
    warnings.warn('info.yaml is being replaced by label_names.txt')
    info = dict(label_names=label_names)
    with open(osp.join(out_dir, 'info.yaml'), 'w') as f:
        yaml.safe_dump(info, f, default_flow_style=False)
    print('Saved to: %s' % out_dir)


if __name__ == '__main__':
    main()

1.1以上代碼無需改動，放置在json文件夾中即可

1.2但是爲了批量處理，需要用到腳本文件

#!/bin/bash
# -*- coding: utf-8 -*-

for((i=1;i<280;i++))
do
python /home/tj816/mask-rcnn/train_data/json/json_to_dataset.py /home/tj816/mask-rcnn/train_data/json/${i}.json
done

 python 後面第一個是py文件的位置，第二個是json圖片的位置，如1.json圖片的位置

1.3然後在自己的source activate tf的環境中，運行sh labelme2dataset.sh這個腳本文件，然後我們將得到需要的labelme_json文件

1.4用cpp將16位的png圖片改爲8位的png圖片，buff1是原圖片位置,buff2是目標圖片位置

#include <iostream>
#include <opencv2/opencv.hpp>
#include <string>
#include <stdio.h>
using namespace std;
using namespace cv;
int main(void){ 
char buff1[100]; char buff2[100]; 
for(int i=1;i<280;i++){ 
sprintf(buff1,"/home/tj816/mask-rcnn/train_data/labelme_json/%d_json/label.png",i); 
sprintf(buff2,"/home/tj816/mask-rcnn/train_data/cv2_mask/%d.png",i);
Mat src;
//Mat dst;
src=imread(buff1,CV_LOAD_IMAGE_UNCHANGED);
Mat ff=Mat::zeros(src.rows,src.cols,CV_8UC1);
for(int k=0;k<src.rows;k++){ 
for(int kk=0;kk<src.cols;kk++){ 
int n=src.at<ushort>(k,kk); 
ff.at<uchar>(k,kk)=n; }
}
imwrite(buff2,ff);
    }
    return 0;
}

1.5利用shell命令行進行編譯

附註：安裝opencv2 ，解決版本問題 https://blog.csdn.net/m0_37393514/article/details/87905645

解決CMake Error: The following variables are used in this project, but they are set to NOTFOUND.
Please set them or make sure they are set and tested correctly in the CMake files:

https://blog.csdn.net/u014613745/article/details/78310916

注意，第4、5步不用管。

g++ example.cpp `pkg-config opencv --libs --cflags opencv` -o example

1.6  ./example執行即可！

2.瞭解各個包中內容的含義：

2.1 demo.ipynb，利用預訓練模型權重+mask rcnn框架，隨機抽取一張圖片，進行檢測！

參數及含義:

BACKBONE:選取的網絡類型，如res101

BACKBONE_STRIDES,特徵圖相對於原圖縮小的倍數，如在resnet101中，C2的大小是原圖的1/4，C3是原圖的1/8，C4是的原圖1/16，C5是原圖的1/32，其和FPN輸出的P2-P5是對應的，P6在P5的基礎上進行了一個下采樣，因此P6是原圖的1/64（這樣可以決定每一層feature map最後的輸出尺寸）

BATCH_SIZE,每一個batch，包含多少張圖片

3.保存tensorboard的損失曲線爲圖片

若未安裝tensorboard，則需要先安裝tensorboard

conda install tensorboard

然後執行（shapes20190307T1102裝訓練出來權重的文件夾）

訪問http://localhost:6006/

tensorboard --logdir=/home/tj816/Mask_RCNN-master/logs/shapes20190307T1102

將數據以csv的形式下載下來，再用ubuntu的excel來製作圖表即可！