計算機視覺（九）——KNN算法和稠密SIFT實現手勢識別

博文主要內容

KNN（K近鄰分類法）實現數據分類
DSIFT（稠密SIFT）不同圖像識別
DSIFT（稠密SIFT）實現手勢識別

KNN（K近鄰分類法）原理介紹

KNN算法又稱K近鄰分類法，是一種使用最多的分類算法之一。它通過將需要分類的對象數據，與訓練完成的已知類別標記的所有對象進行對比，並由k近鄰對指派到哪個類別進行投票。通俗的講，在已知分好類別的數據中，你投入一個新的數據，計算這個數據周邊一定範圍之內，計算不同類別數據的數量，根據數量進行投票，最終確定好投入數據的類別。

KNN（K近鄰分類法）實現數據分類實驗代碼

1.生成訓練數據和測試數據

# -*- coding: utf-8 -*-
from numpy.random import randn
import pickle
from pylab import *

# create sample data of 2D points
n = 200
# two normal distributions
class_1 = 0.5 * randn(n,2)
class_2 = 4.0 * randn(n,2) + array([8,8])
labels = hstack((ones(n),-ones(n)))

# save with Pickle
#with open('points_normal_test.pkl', 'w') as f:
with open('points_normal.pkl', 'w') as f:
    pickle.dump(class_1,f)
    pickle.dump(class_2,f)
    pickle.dump(labels,f)
# normal distribution and ring around it
print "save OK!"
class_1 = 0.4 * randn(n,2)
r = 0.8 * randn(n,1) + 7
angle = 2*pi * randn(n,1)
class_2 = hstack((r*cos(angle),r*sin(angle)))
labels = hstack((ones(n),-ones(n)))
# save with Pickle
#with open('points_ring_test.pkl', 'w') as f:
with open('points_ring.pkl', 'w') as f:
    pickle.dump(class_1,f)
    pickle.dump(class_2,f)
    pickle.dump(labels,f)
    
print "save OK!"

需要注意的是，代碼中有#with open('points_normal_test.pkl', 'w') as f:和#with open('points_ring_test.pkl', 'w') as f:這兩句被註釋之後的代碼，這是用來生成測試數據的，使用時先運行一遍，將這兩句解除註釋，並註釋下一行類似的代碼，就會生成

如果所示的四個文件。
關於數據集的選取，這裏通過隨機數randn來控制生成需要的數據，class_1 class_2是數據的分類點。

class_1 = 0.5 * randn(n,2)
class_2 = 4.0 * randn(n,2) + array([8,8])

class_1表示爲標準差爲0.5的標準正態分佈的隨機二維矩陣。class_2是均值在（8，8），標準差爲4的正態分佈的隨機二維矩陣

同理在points_ring中class_2是通過生成r和angle計算其在X軸與Y的投影作爲數據。
最後，按照所說運行之後會出現兩個save OK！

2.對數據進行分類

# -*- coding: utf-8 -*-
import pickle
from pylab import *
from PCV.classifiers import knn
from PCV.tools import imtools

pklist=['points_normal.pkl','points_ring.pkl']

figure()

# load 2D points using Pickle
for i, pklfile in enumerate(pklist):
    with open(pklfile, 'r') as f:
        class_1 = pickle.load(f)
        class_2 = pickle.load(f)
        labels = pickle.load(f)

    model = knn.KnnClassifier(labels, vstack((class_1, class_2)))

        # load test data using Pickle
    with open(pklfile[:-4]+'_test.pkl', 'r') as f:
        class_1 = pickle.load(f)
        class_2 = pickle.load(f)
        labels = pickle.load(f)

    print pklfile

    # test on the first point
    print model.classify(class_1[0])

    #define function for plotting
    def classify(x,y,model=model):
        return array([model.classify([xx,yy]) for (xx,yy) in zip(x,y)])

    # lot the classification boundary
    subplot(1,2,i+1)
    imtools.plot_2D_boundary([-6,6,-6,6],[class_1,class_2],classify,[1,-1])
    titlename=pklfile[:-4]
    title(titlename)
show()

數據分類先通過points_normal和points_ring來生成模型，通過這個模型來測試對測試數據的分類。
測試的數據分類如下。分別是普通的兩類分類和圓環類型的分類。

因爲randn是一個標準正態分佈的隨即數據，所以在第一張圖的因爲class_2給的標準差過大，就出現了數據佔據大塊面積的情況。

這是我把標準差改成1.1之後的數據分類，代碼class_2 = 1.1 * randn(n,2) + array([8,8])。相比之前的，縮小標準差使得數據收斂，於是分類就變得比較明顯了。

這是運行代碼之後的輸出。points_normal和points_ring分別表示着程序進行什麼數據的分類過程。

DSIFT（稠密SIFT）原理介紹

DSIFT（稠密SIFT）算法是在SIFT算法上進行改進的算法。DSIFT有三個特點：

在DSIFT算法下，仍然保留着SIFT對尺度縮放以及亮度變化的不變性，在視角變換、仿射變換以及噪聲也保留一定的穩定性。
在時間上，DSIFT相比SIFT有所減少。
相比SIFT，DSIFT的特徵分佈更加平均。

簡單來講DSIFT通過將圖像每一塊劃分，在進行DSIFT，具體劃分效果在實驗中可以看到。

DSIFT（稠密SIFT）不同圖像識別和手勢識別

1.DSIFT（稠密SIFT）不同圖像識別實現

# -*- coding: utf-8 -*-
from PCV.localdescriptors import sift, dsift
from pylab import  *
from PIL import Image

dsift.process_image_dsift('E:/Py_code/photo/z/17.jpg','17.dsift',90,40,True)
l,d = sift.read_features_from_file('17.dsift')
im = array(Image.open('E:/Py_code/photo/z/17.jpg'))
sift.plot_features(im,l,True)
title('dense SIFT')
show()

這就是對圖像進行DSIFT特徵提取，圖像中的小圓圈就是DSIFT算法將圖像每一處進行分割的標記結果。以及輸出框的輸出。

2.DSIFT（稠密SIFT）實現手勢識別

# -*- coding: utf-8 -*-
import os
from PCV.localdescriptors import sift, dsift
from pylab import  *
from PIL import Image

imlist=['E:/Py_code/photo/ch08/train/1_01.jpg','E:/Py_code/photo/ch08/train/C_01.jpg',
        'E:/Py_code/photo/ch08/train/V_01.jpg','E:/Py_code/photo/ch08/train/5_01.jpg',]

figure()
for i, im in enumerate(imlist):
    print im
    dsift.process_image_dsift(im,im[:-3]+'dsift',90,40,True)
    l,d = sift.read_features_from_file(im[:-3]+'dsift')
    dirpath, filename=os.path.split(im)
    im = array(Image.open(im))
    #顯示手勢含義title
    titlename=filename[:-4]
    subplot(2,2,i+1)
    sift.plot_features(im,l,True)
    title(titlename)
show()

因爲在自己建立手勢姿勢時候，就只使用4種手勢，所以輸出如下：

需要注意的是，在titlename=filename[:-4]這句中，想要在輸出的圖像中顯示手勢名稱，需要將後面的 -4 做修改，改成你圖像的名稱的長度就是出現圖中的結果。
3.DSIFT（稠密SIFT）實現多張手勢識別

# -*- coding: utf-8 -*-
from PCV.localdescriptors import dsift
import os
from PCV.localdescriptors import sift
from pylab import *
from PCV.classifiers import knn

def get_imagelist(path):
    """    Returns a list of filenames for
        all jpg images in a directory. """

    return [os.path.join(path,f) for f in os.listdir(path) if f.endswith('.jpg')]

def read_gesture_features_labels(path):
    # create list of all files ending in .dsift
    featlist = [os.path.join(path,f) for f in os.listdir(path) if f.endswith('.dsift')]
    # read the features
    features = []
    for featfile in featlist:
        l,d = sift.read_features_from_file(featfile)
        features.append(d.flatten())
    features = array(features)
    # create labels
    labels = [featfile.split('/')[-1][0] for featfile in featlist]
    return features,array(labels)

def print_confusion(res,labels,classnames):
    n = len(classnames)
    # confusion matrix
    class_ind = dict([(classnames[i],i) for i in range(n)])
    confuse = zeros((n,n))
    for i in range(len(test_labels)):
        confuse[class_ind[res[i]],class_ind[test_labels[i]]] += 1
    print 'Confusion matrix for'
    print classnames
    print confuse

filelist_train = get_imagelist('E:/Py_code/photo/ch08/train')
filelist_test = get_imagelist('E:/Py_code/photo/ch08/test')
imlist=filelist_train+filelist_test

# process images at fixed size (50,50)
for filename in imlist:
    featfile = filename[:-3]+'dsift'
    dsift.process_image_dsift(filename,featfile,10,5,resize=(50,50))

features,labels = read_gesture_features_labels('E:/Py_code/photo/ch08/train/')
test_features,test_labels = read_gesture_features_labels('E:/Py_code/photo/ch08/test/')
classnames = unique(labels)

# test kNN
k = 1
knn_classifier = knn.KnnClassifier(labels,features)
res = array([knn_classifier.classify(test_features[i],k) for i in
range(len(test_labels))])
# accuracy
acc = sum(1.0*(res==test_labels)) / len(test_labels)
print 'Accuracy:', acc

print_confusion(res,test_labels,classnames)

這段代碼是通過將圖像分成兩個文件夾，train和test兩個文件夾來實現訓練和測試。計算其準確值和混淆矩陣來查看識別的結果

通過輸出發現，對於V這個手勢的識別和對1這個手勢的識別存在高度的混淆情況。我查看了我訓練的數據，發現存在的一些問題：

這兩張圖片是我訓練的數據集，分別是V和1手勢的訓練數據。因爲V手勢的視角出現偏差導致和1的手勢存在很大的相似度，所以我覺得可以是訓練數據集的問題導致了準確度不高，V和1高度混淆。所以我使用另一組全新的手勢V的數據作爲測試集。

改成新數據集後，準確度和混淆矩陣如下：

發現準確度還是沒有上升，於是我就改變test的測試數據集，刪除了原來測試集中所以V手勢的數據，使用一批全新的數據集測試，如下
最後輸出的準確度和混淆矩陣如下：

發現關於V和1手勢的混淆不存在了，準確度也有所提升。所以我認爲在測試時候準確度的高低一個是你測試數據的好壞，二是如果在訓練數據足夠多的情況下，可能測試數據的好壞對於準確度的影響會有所降低。

計算機視覺（九）——KNN算法和稠密SIFT實現手勢識別

博文主要內容

KNN（K近鄰分類法）原理介紹

KNN（K近鄰分類法）實現數據分類實驗代碼

DSIFT（稠密SIFT）原理介紹

DSIFT（稠密SIFT）不同圖像識別和手勢識別

如果您在閱讀之中發現文章錯誤之處或者出現疑問，歡迎在評論指出

計算機視覺（八）——基於BOW的圖像檢索

計算機視覺（九）——KNN算法和稠密SIFT實現手勢識別

計算機視覺（十）——Tensorflow對Mnist手寫體數據集做手寫體識別

Java中Socket編程的簡單示例

計算機視覺（十一）——圖割法（Graph Cut）簡單例子實現

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結