需求:將數據集隨機分爲訓練集和測試集,並將隨機分類的圖像保存至對應的文件夾。讓train+test=原始數據,且帶有隨機比例。
原因:需要將初始化數據集隨機分配之後,再將訓練集做數據增光,所以不能直接採用txt隨機生成路徑的方式。
原始數據:0,1
train:0,1;把原始數據的內容複製到train裏,再做分割。
test:0,1
1. 數據集隨機分爲訓練集+測試集,並分別保存在相應的文件夾中
# coding=utf-8
# 隨機生成訓練集和測試集
# 對一個文件夾下的圖像生成txt,然後隨機選取裏面的內容,然後保存到不同的文件夾。
# coding=utf-8
import os, random, shutil
def moveFile(fileDir):
pathDir = os.listdir(fileDir) # 取圖片的原始路徑
filenumber = len(pathDir)
picknumber = int(filenumber * ratio) # 按照rate比例從文件夾中取一定數量圖片
sample = random.sample(pathDir, picknumber) # 隨機選取picknumber數量的樣本圖片
for name in sample:
shutil.move(os.path.join(fileDir, name), os.path.join(tarDir, name))
return
if __name__ == '__main__':
ori_path = 'G:\\train' # 最開始train的文件夾路徑
split_Dir = 'G:\\test1' # 移動到新的文件夾路徑
ratio = 0.3 # 抽取比例
for firstPath in os.listdir(ori_path):
fileDir = os.path.join(ori_path, firstPath) # 原圖片文件夾路徑
tarDir = os.path.join(split_Dir, firstPath) # val下子文件夾名字
if not os.path.exists(tarDir): # 如果val下沒有子文件夾,就創建
os.makedirs(tarDir)
moveFile(fileDir) # 從每個子類別開始逐個劃分
2. 對訓練集的圖像進行鏡像處理
# coding=utf-8
# 訓練集擴充:生成鏡像
from PIL import Image
import os
rootPath = 'G:\\flir adas dataset\\infra_pestrain_0606\\train'
for firstPath in os.listdir(rootPath):
# 將子文件夾的名字加入到路徑裏面
fileDir = os.path.join(rootPath, firstPath)
pathDir = os.listdir(fileDir)
filenumber = len(pathDir)
for name in pathDir:
image = Image.open(fileDir+'\\'+name)
# 圖像左右翻轉
out = image.transpose(Image.FLIP_LEFT_RIGHT)
# 重命名
savename = fileDir+'\\'+name[:-4]+"_mirr.jpg"
# 圖像存儲
out.save(savename, quality=100) # quality=100
3、Windows下dos將文件夾下的圖像名的路徑保存爲txt
https://blog.csdn.net/Young__Fan/article/details/84998254
4、libsvm訓練多分類
參考代碼:HOG+SVM的minist https://github.com/YihangLou/SVM-Minist-HandWriting-Recognition/tree/4f29be085f4977e7f38df1a84a6c84abbc05f58e 手寫數字體識別,肯定是多分類,且是10類分類,還可以統計accuracy,有Python對應的代碼來統計信息。
libsvm svm_predict_probability函數的用法——>返回概率 表明libsvm是可以實現多分類的,接口和意義如下:
同樣的數據在Python的sklearn的svm下面訓練,accuracy是1,所以不知道問題是什麼?先搭建一下C++的環境,然後再python環境下查找問題,然後優化,然後再移植。
仍然存在的問題:
(1)數據量不夠,數據採集規則見https://blog.csdn.net/haronchou/article/details/106649118
(2)沒有負樣本了,單分類肯定放很多負樣本進去以確保模型的魯棒性,但是多分類怎麼確保呢?
(3)python下面的train error是0,testing error是0,對應着accuracy=1。就是每一個都預測的是對的,這……是特徵很容易分開,還是模型過擬合了?
(4)現在的問題是:既不是行人也不是汽車的樣本進入到分類器後,會怎麼樣?