Labelme標註的數據解析與批量實現json_to_dataset將json文件轉換爲訓練所需的dataset

使用的系統是：ubuntu 16.04, anaconda

一、安裝

安裝方式參考labelme 的gitbub上面的教程，我主要是在anaconda的虛擬環境下安裝，安裝步驟爲：

conda create --name=labelme python=3.6
source activate labelme
pip install labelme

當要使用labelme的時候，在任意地方打開終端，然後激活labelme虛擬環境，然後輸入labelme，回車即可打開。

二、使用

labelme --help

-h或-help顯示幫助信息
-V或–version顯示labelme版本號
–output: 指定輸出標註文件的保存路徑，如果路徑以.json結尾，則保存爲一個.json文件，否則默認保存爲文件夾形式
–labels:用於指定標籤名稱，可以是用逗號分隔的label list，也可以是包含標籤的txt文件
–nodata: 不保存圖像到JSON文件

三、分割任務標註示例

終端激活虛擬環境labelme，然後直接輸入labelme打開

source activate labelme
labelme

open: 打開某一張圖片
openDir: 打開某一文件夾，加載其目錄下的所有圖片

通過open讀取圖片，選擇create polygons手動進行勾畫，全部完成後保存爲json文件（在當前目錄下）：

右鍵單擊可以選擇不同的標註方式，比如polygon用於分割，rectangle用於檢測。
如果是實例分割，一個圖像中有多個人，標籤命名規則爲：person1、person2, …, 如果是語義分割就不用區分了。

要得到label文件，需要將json轉換爲單通道的image，終端輸入命令：

#進入json文件保存目錄
cd /home/drl/labelme/mydata
#轉換
labelme_json_to_dataset <文件名>.json
#比如
labelme_json_to_dataset 001150.json

將在mydata文件夾下生成一個名爲：001150_json的文件夾，裏面包含四個文件：

img.png: 原始圖像
label.png: 標籤，uint8
label_viz.png: 可視化的帶標籤圖像
label_names.txt: 記錄了標籤的名稱

img.png :
label.png:
label_viz.png:

四、其他說明

（1）啓動labelme的方式：

#直接打開labelme
labelme

#打開某個文件夾，加載該文件夾下及其子文件夾下的所有圖片
#labelme path/to/imgfile/
#比如：
labelme /home/drl/labelme/mydata/

#直接打開指定的圖片
cd /home/drl/labelme/mydata/
labelme 001150.jpg

#標註保存爲json文件同時自動關閉gui窗口
labelme 001150.jpg -o 001150.jpg.json

#指定label list
labelme 001150.jpg \
   --labels person1, person2, dog
   #或者傳入文件形式的label list
   --labels labels.txt

(2)將JSON文件轉換爲image和label

#在當前目錄下生成一個文件夾001150_json
labelme_json_to_dataset 001150.json

#指定生成文件夾的名字爲001150data
labelme_json_to_dataset 001150.json -o 001150data

(3)可視化json文件

source activate labelme
cd /home/drl/labelme/mydata/
labelme_draw_json 001150.json

五、加載標籤png

label.png用scipy.misc.imread或者skimage.io.imread讀取可能會出錯，推薦用PIL.Image.open讀取：

>>>import numpy as np
>>>import PIL.Image
>>>label_png = '/home/drl/labelme/mydata/001150_json/img.png' #設置標籤文件路徑
>>>lbI = np.asarray(PIL.Image.open(label_png))
>>>print(lbI.dtype)

>>>np.unique(lbI)

>>>lbI.shape
(375, 500, 3)

查看label.png:

#終端輸入
labelme_draw_label_png /home/drl/labelme/mydata/001150_json/label.png

六、生成VOC格式的標籤數據

在下載的labelme的zip包裏，路徑labelme/examples/instance_segmentation下，data_annotated是原圖和對應的JSON文件，data_dataset_voc是VOC格式的輸出結果，labelme2voc.py是轉換的主函數，labels.txt是標籤類別。

1）文件組織形式如下：

*_annotated 存放原圖和已經生成的對應的JSON文件
將labelme工程文件下的labelme2voc.py複製過來
自己寫一個*.txt文件，內容是分割的標籤，最前面加上__ignore__和_background_

2) 轉換爲VOC數據格式

#終端輸入
./labelme2voc.py [圖像路徑] ·[voc文件夾名稱] --labels [label list]

#比如
./labelme2voc.py data_annotated data_annotated_voc --labels label.txt

在當前目錄下自動生成data_annotated_voc文件夾（轉換前確保不要有重名文件夾，否則會報錯）
data_annotated_voc文件夾內容：
轉換爲COCO數據格式，同樣的套路：

./labelme2coco.py data_annotated data_annotated_coco --labels label.txt

九、實現labelme批量json_to_dataset方法

labelme可以幫助我們快速地實現Mask R-CNN中數據集json文件的生成，然而還需要我們進一步地將json轉成dataset，可以直接在終端輸入 labelme_json_to_dataset 001150.json實現，但是這個過程需要我們一個一個json文件地去生成，效率很慢。

1）找到`json_to_dataset.py`文件，該文件位於從github下載的labelme文件夾下的`labelme/labelme/cli/json_to_dataset.py`

這裏面提供將json轉成dataset的代碼，所以我們只需要在好這個基礎上更改即可。

2）代碼實現

複製json_to_dataset.py，代碼更改爲：

import argparse
import json
import os
import os.path as osp
import warnings
 
import PIL.Image
import yaml
 
from labelme import utils
import base64
 
def main():
    warnings.warn("This script is aimed to demonstrate how to convert the\n"
                  "JSON file to a single image dataset, and not to handle\n"
                  "multiple JSON files to generate a real-use dataset.")
    parser = argparse.ArgumentParser()
    parser.add_argument('json_file')
    parser.add_argument('-o', '--out', default=None)
    args = parser.parse_args()
 
    json_file = args.json_file
    if args.out is None:
        out_dir = osp.basename(json_file).replace('.', '_')
        out_dir = osp.join(osp.dirname(json_file), out_dir)
    else:
        out_dir = args.out
    if not osp.exists(out_dir):
        os.mkdir(out_dir)
 
    count = os.listdir(json_file) 
    for i in range(0, len(count)):
        path = os.path.join(json_file, count[i])
        if os.path.isfile(path):
            data = json.load(open(path))
            
            if data['imageData']:
                imageData = data['imageData']
            else:
                imagePath = os.path.join(os.path.dirname(path), data['imagePath'])
                with open(imagePath, 'rb') as f:
                    imageData = f.read()
                    imageData = base64.b64encode(imageData).decode('utf-8')
            img = utils.img_b64_to_arr(imageData)
            label_name_to_value = {'_background_': 0}
            for shape in data['shapes']:
                label_name = shape['label']
                if label_name in label_name_to_value:
                    label_value = label_name_to_value[label_name]
                else:
                    label_value = len(label_name_to_value)
                    label_name_to_value[label_name] = label_value
            
            # label_values must be dense
            label_values, label_names = [], []
            for ln, lv in sorted(label_name_to_value.items(), key=lambda x: x[1]):
                label_values.append(lv)
                label_names.append(ln)
            assert label_values == list(range(len(label_values)))
            
            lbl = utils.shapes_to_label(img.shape, data['shapes'], label_name_to_value)
            
            captions = ['{}: {}'.format(lv, ln)
                for ln, lv in label_name_to_value.items()]
            lbl_viz = utils.draw_label(lbl, img, captions)
            
            out_dir = osp.basename(count[i]).replace('.', '_')
            out_dir = osp.join(osp.dirname(count[i]), out_dir)
            if not osp.exists(out_dir):
                os.mkdir(out_dir)
 
            PIL.Image.fromarray(img).save(osp.join(out_dir, 'img.png'))
            #PIL.Image.fromarray(lbl).save(osp.join(out_dir, 'label.png'))
            utils.lblsave(osp.join(out_dir, 'label.png'), lbl)
            PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, 'label_viz.png'))
 
            with open(osp.join(out_dir, 'label_names.txt'), 'w') as f:
                for lbl_name in label_names:
                    f.write(lbl_name + '\n')
 
            warnings.warn('info.yaml is being replaced by label_names.txt')
            info = dict(label_names=label_names)
            with open(osp.join(out_dir, 'info.yaml'), 'w') as f:
                yaml.safe_dump(info, f, default_flow_style=False)
 
            print('Saved to: %s' % out_dir)
if __name__ == '__main__':
    main()

然後另存爲json_to_dataset_mine.py文件，該文件仍然位於labelme/labelme/cli/json_to_dataset_mine.py

3) 批量生成json的dataset

首先我的原圖是存放在spikelet-image文件夾下，json文件存放在Instance-Annotations文件夾下，在執行批量json_to_dataset_mine.py文件之前，先在spikelet文件夾下新建一個用於存放生成的dataset的文件夾，命名爲：spikelet-json-dataset

然後在json文件所在文件夾Instance-Annotations下右鍵打開終端，並激活labelme虛擬環境：

source activate labelme
python /home/drl/labelme/labelme/cli/json_to_dataset_mine.py /media/drl/系統/spikelet/Instance-Annotations

然後看spikelet-json-dataset文件夾下生成了和每一個json文件對應的dataset文件。

ruolyn

發佈了45 篇原創文章 · 獲贊 47 · 訪問量 14萬+

私信關注

Labelme標註的數據解析與批量實現json_to_dataset將json文件轉換爲訓練所需的dataset

一、安裝

二、使用

三、分割任務標註示例

四、其他說明

（1）啓動labelme的方式：

(2)將JSON文件轉換爲image和label

(3)可視化json文件

五、加載標籤png

六、生成VOC格式的標籤數據

1）文件組織形式如下：

2) 轉換爲VOC數據格式

九、實現labelme批量json_to_dataset方法

1）找到`json_to_dataset.py`文件，該文件位於從github下載的labelme文件夾下的`labelme/labelme/cli/json_to_dataset.py`

2）代碼實現

3) 批量生成json的dataset

win10系統下Tensorflow Faster RCNN 的安裝配置與測試

Faster RCNN 訓練中遇到的問題及解決辦法

深度學習（CNN）用到的圖像預處理技術

標註工具生成的xml文件轉爲txt格式

如何在Ubuntu 16.04上開啓SSH服務

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

Labelme標註的數據解析與批量實現json_to_dataset將json文件轉換爲訓練所需的dataset

一、安裝

二、使用

三、分割任務標註示例

四、其他說明

（1）啓動labelme的方式：

(2)將JSON文件轉換爲image和label

(3)可視化json文件

五、加載標籤png

六、生成VOC格式的標籤數據

1）文件組織形式如下：

2) 轉換爲VOC數據格式

九、實現labelme批量json_to_dataset方法

1）找到json_to_dataset.py文件，該文件位於從github下載的labelme文件夾下的labelme/labelme/cli/json_to_dataset.py

2） 代碼實現

3) 批量生成json的dataset

1）找到`json_to_dataset.py`文件，該文件位於從github下載的labelme文件夾下的`labelme/labelme/cli/json_to_dataset.py`

2）代碼實現