機器學習筆記：支持向量機

關鍵術語

支持向量（Support Vector）
支持向量機（Support Vector Mechines,SVM）
序列最小優化（Sequential Minimal Optimization,SMO）
核函數（Kernel Function）
超平面（Hyperplane）
分隔超平面（Separating hyperplane）
點到分隔面的距離爲間隔（margin）

相關公式

分隔超平面的形式寫成：wτx+b

要計算點A到分隔超平面的距離就必須給出點到分隔超平面的法線的長度，該值爲：|wτx+b|∥w∥
當計算點到分隔面的距離並確定分割面的放置位置時，間隔通過label∗(wτx+b) ，表示點到分隔面的函數間隔；label∗(wτx+b)⋅1∥w∥ ，表示點到分隔面的幾何間隔。

如果數據點處於+1類並且離分隔超平面很遠的位置時wτx+b 會是一個很大的正數，同時label∗(wτx+b) 也是一個很大的正數；
如果數據點處於-1類並且離分隔超平面很遠的位置時wτx+b 也會是一個很大的正數，同時label∗(wτx+b) 也是一個很大的正數；

目標：找出分類器定義中的w和b。

所以要找到最小間隔的數據點，即支持向量，找到最小間隔的數據點，就要對該間隔最大化，表示爲：

argmaxw,b{minn(label∗(wτx+b))⋅1∥w∥}

令所有支持向量的label∗(wτx+b) 都爲1，可以通過求∥w∥−1 的最大值來得到最終解。

該問題轉化爲帶約束條件的最優化問題，這裏的約束條件就是：label∗(wτx+b)≥1.0 。對於這類優化問題，有一個非常著名的求解方法，就是拉格朗日乘子法。
因此可以將超平面寫成數據點的形式：

maxa[∑i=1mα−12∑i,j=1mlabel(i)label(j)⋅ai⋅aj⟨x(i),x(j)⟩]

其中⟨x(i),x(j)⟩ 表示x(i),x(j) 兩個向量的內積。

上面大公式的約束條件爲：

α≥0 ，和∑mi=1αi⋅label(i)=0 ；

數據必須是100%線性可分。

因爲數據並不那麼幹淨，引入鬆弛變量，來允許有些數據點可以處於分隔面的錯誤一側，這樣優化目標保持不變，此時新的約束條件變爲：

c≥α≥0 ，和∑mi=1αi⋅label(i)=0 ；

c 用來控制“最大化間隔”和“保證大部分點的函數間隔小於1.0”這兩個目標的權重。可以調節c 來得到不同的結果。
一旦求出了所有的alpha,那麼分隔超平面就可以通過這些alpha來表達。SVM的主要工作就是求解這些alpha。

SMO(Sequential Minimal Optimization)算法

目標是求出一系列的alpha和b,一旦求出這些alpha就很容易計算出權重向量w並得到分隔超平面。

SMO算法的工作原理：每次循環中選擇兩個alpha進行優化處理。一旦找到一對合適的alpha，就增大一個同時減小另一個。而“合適”必須符合以下條件：
1. 兩個alpha必須在間隔邊界之外；
2. 兩個alpha還沒有進行過區間化處理或者不在邊界上。

《Mechine Learning in Action》中簡化版的SMO算法代碼解讀：svmLiA.py

'''
Created on 2016年10月10日
支持向量機練習
@author: laizhiwen
'''
import numpy as np
def loadDataSet(fileName):
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = line.strip().split('\t')
        dataMat.append([float(lineArr[0]), float(lineArr[1])])
        labelMat.append(float(lineArr[2]))
    return dataMat,labelMat

'''
i：第一個alpha的下標
m：所有alpha的數目
隨機產生不等於輸入值i的數
'''
def selectJrand(i,m):
    j=i 
    while (j==i):
        j = int(np.random.uniform(0,m))
    return j

'''
調整大於H而小於L的alpha值
'''
def clipAlpha(aj,H,L):
    if aj > H: 
        aj = H
    if L > aj:
        aj = L
    return aj

'''
dataMatIn:樣本集
classLabels：每一條樣本數據對應的分類集
C: 常數
toler: 容錯率
maxIter：迭代次數
'''
def smoSimple(dataMatIn, classLabels, C, toler, maxIter):
    dataMatrix = np.mat(dataMatIn); 
    labelMat = np.mat(classLabels).transpose()
    b = 0
    m,n = np.shape(dataMatrix) 
    alphas = np.mat(np.zeros((m,1)))
    iter = 0
    while (iter < maxIter):
        alphaPairsChanged = 0 #記錄優化alpha值是否有效
        for i in range(m):
            #矩陣alphas，labelMat相乘得到一個m行1列矩陣，因爲都是m行單列矩陣，對應位置的元素相乘重新組成一個新的m行單列矩陣
            #fXi是預測的類別，即預測的結果
            fXi = float(np.multiply(alphas,labelMat).T * (dataMatrix*dataMatrix[i,:].T)) + b
            Ei = fXi - float(labelMat[i])  #誤差 = 預測結果-真實結果，如果Ei很大就可以對alpha進行優化
            #alpha不能等於0或C。如果if中等於0和C的話，那麼它們就已經在邊界上了，因而不能再減小和增大，也就不能再優化
            if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or \
                ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):  
                j = selectJrand(i,m) #隨機選擇第二格alpha的值
                #fXj是第二個alpha的誤差，計算方法同上
                fXj = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + b
                Ej = fXj - float(labelMat[j])
                alphaIold = alphas[i].copy()
                alphaJold = alphas[j].copy()

                #將alpha[j]調整到0和C之間,L=H則不做改變，直接下一個；
                if (labelMat[i] != labelMat[j]):         
                    L = max(0, alphas[j] - alphas[i])         
                    H = min(C, C + alphas[j] - alphas[i])
                else:                                    
                    L = max(0, alphas[j] + alphas[i] - C)
                    H = min(C, alphas[j] + alphas[i])
                if L==H:
                    print("L==H")
                    continue
                #eta是alpha[j]的最優修改量
                eta = 2.0 * dataMatrix[i,:]*dataMatrix[j,:].T - \
                      dataMatrix[i,:]*dataMatrix[i,:].T - \
                      dataMatrix[j,:]*dataMatrix[j,:].T
                if eta >= 0: 
                    print("eta>=0")
                    continue #如果eta等於0則跳出本次迭代
                alphas[j] -= labelMat[j]*(Ei - Ej)/eta #計算出新的alpha[j]
                alphas[j] = clipAlpha(alphas[j],H,L)   #調整alpha[j]

                #判斷alpha[j]是否有輕微改變，是就退出本次循環進行下一次迭代
                if (abs(alphas[j] - alphaJold) < 0.00001): 
                    print("j not moving enough")
                    continue

                alphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])

                #給兩個alpha值設置常數項b
                b1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - \
                     labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[i,:]*dataMatrix[j,:].T

                b2 = b - Ej- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[j,:].T - \
                     labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[j,:]*dataMatrix[j,:].T

                if (0 < alphas[i]) and (C > alphas[i]): 
                    b = b1
                elif (0 < alphas[j]) and (C > alphas[j]): 
                    b = b2
                else: 
                    b = (b1 + b2)/2.0

                #如果成行執行到此都沒有遇到過continue語句，就已經改變了一堆alpha了
                alphaPairsChanged += 1
                print("iter: %d i:%d, pairs changed %d" % (iter,i,alphaPairsChanged) )

        #判斷alpha值是否做了更新，如果做了更新就將iter設置爲0,繼續執行程序
        if (alphaPairsChanged == 0): 
            iter += 1
        else:
            iter = 0
        print("iteration number: %d" % iter)
    return b,alphas  



dataArr,labelArr = loadDataSet('E:/4.開發書籍/machinelearninginaction/Ch06/testSet.txt')
print(labelArr)
b,alphas = smoSimple(dataArr, labelArr, 0.6, 0.001, 40)
print(b)
print(alphas[alphas>0])
for i in range(100):
    if alphas[i]>0.0:
        print(dataArr[i],labelArr[i])

至此，SMO算法的基本邏輯已經清晰。