數據集隨機+比例分爲訓練集和測試集:並分別存爲文件夾

需求:將數據集隨機分爲訓練集和測試集,並將隨機分類的圖像保存至對應的文件夾。讓train+test=原始數據,且帶有隨機比例。

原因:需要將初始化數據集隨機分配之後,再將訓練集做數據增光,所以不能直接採用txt隨機生成路徑的方式。

原始數據:0,1

train:0,1;把原始數據的內容複製到train裏,再做分割。

test:0,1


1. 數據集隨機分爲訓練集+測試集,並分別保存在相應的文件夾中 

# coding=utf-8
# 隨機生成訓練集和測試集
# 對一個文件夾下的圖像生成txt,然後隨機選取裏面的內容,然後保存到不同的文件夾。
# coding=utf-8
import os, random, shutil


def moveFile(fileDir):
    pathDir = os.listdir(fileDir)  # 取圖片的原始路徑
    filenumber = len(pathDir)
    picknumber = int(filenumber * ratio)  # 按照rate比例從文件夾中取一定數量圖片
    sample = random.sample(pathDir, picknumber)  # 隨機選取picknumber數量的樣本圖片
    for name in sample:
        shutil.move(os.path.join(fileDir, name), os.path.join(tarDir, name))
    return


if __name__ == '__main__':
    ori_path = 'G:\\train'  # 最開始train的文件夾路徑
    split_Dir = 'G:\\test1'  # 移動到新的文件夾路徑
    ratio = 0.3  # 抽取比例
    for firstPath in os.listdir(ori_path):
        fileDir = os.path.join(ori_path, firstPath)  # 原圖片文件夾路徑
        tarDir = os.path.join(split_Dir, firstPath)  # val下子文件夾名字
        if not os.path.exists(tarDir):  # 如果val下沒有子文件夾,就創建
            os.makedirs(tarDir)
        moveFile(fileDir)  # 從每個子類別開始逐個劃分

2. 對訓練集的圖像進行鏡像處理

# coding=utf-8
# 訓練集擴充:生成鏡像
from PIL import Image
import os

rootPath = 'G:\\flir adas dataset\\infra_pestrain_0606\\train'
for firstPath in os.listdir(rootPath):
    # 將子文件夾的名字加入到路徑裏面
    fileDir = os.path.join(rootPath, firstPath)
    pathDir = os.listdir(fileDir)
    filenumber = len(pathDir)
    for name in pathDir:
        image = Image.open(fileDir+'\\'+name)
        # 圖像左右翻轉
        out = image.transpose(Image.FLIP_LEFT_RIGHT)
        # 重命名
        savename = fileDir+'\\'+name[:-4]+"_mirr.jpg"
        # 圖像存儲
        out.save(savename, quality=100)  # quality=100

3、Windows下dos將文件夾下的圖像名的路徑保存爲txt

https://blog.csdn.net/Young__Fan/article/details/84998254

 

4、libsvm訓練多分類

參考代碼:HOG+SVM的minist https://github.com/YihangLou/SVM-Minist-HandWriting-Recognition/tree/4f29be085f4977e7f38df1a84a6c84abbc05f58e 手寫數字體識別,肯定是多分類,且是10類分類,還可以統計accuracy,有Python對應的代碼來統計信息。

libsvm svm_predict_probability函數的用法——>返回概率 表明libsvm是可以實現多分類的,接口和意義如下:

同樣的數據在Python的sklearn的svm下面訓練,accuracy是1,所以不知道問題是什麼?先搭建一下C++的環境,然後再python環境下查找問題,然後優化,然後再移植。

仍然存在的問題:

(1)數據量不夠,數據採集規則見https://blog.csdn.net/haronchou/article/details/106649118

(2)沒有負樣本了,單分類肯定放很多負樣本進去以確保模型的魯棒性,但是多分類怎麼確保呢

(3)python下面的train error是0,testing error是0,對應着accuracy=1。就是每一個都預測的是對的,這……是特徵很容易分開,還是模型過擬合了?

(4)現在的問題是:既不是行人也不是汽車的樣本進入到分類器後,會怎麼樣?

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章