感知機算法

感知機算法

定義1：假設輸入空間是χ⊆Rn$\chi \subseteq R^n$ ,輸出空間爲γ$\gamma$ ={+1,-1}.輸入x∈χ$\in \chi$ 表示實例的特徵向量，對應於輸入空間的點；輸出y∈γ$y\in \gamma$ 表示實例的類別。由輸入空間到輸出空間的如下函數

f(x)=sign(wx+b)$$f(x)=sign(\mathbf{w}\mathbf{x}+b)$$

稱爲感知機。其中wx$\mathbf{w}\mathbf{x}$ 是向量乘積形式。我們只需要求得兩個參數w$\mathbf{w}$ 和b,就可以獲得感知機模型。
感知機有如下幾何解釋:線性方程wx+b=0$\mathbf{w}\mathbf{x}+b=0$ 對應於特徵空間的一個超平面S，其中w$\mathbf{w}$ 是超平面的法向量，b是超平面的截距。位於兩部分的點分別被分爲正負兩類，因此，超平面S稱爲分離超平面。

根據經驗，需要定義損失函數並令損失函數最小化。對於感知機模型，損失函數選擇誤分類點到超平面的總距離。假設xi$x_i$ 是誤分類點，那麼誤分類點xi$x_i$ 到超平面的距離爲

−1||w||yi(wxi+b)$$-\frac{1}{||\mathbf{w}||}{y}_i(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b)$$

假設超平面S的誤分類點的集合爲M。那麼誤分類點到超平面S的總距離爲

−1||w||∑xi∈Myi(wxi+b)$$-\frac{1}{||\mathbf{w}||}\sum _{x_i\in M}{y}_i(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b)$$

。不考慮1||w||$\frac{1}{||\mathbf{w}||}$ ，我們就可以得到感知機的損失函數

L(w,b)=−∑xi∈Myi(wxi+b)$$L(\mathbf{w},b)=-\sum _{x_i\in M}{y}_i(\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b)$$

感知機算法的原始形式

下面是參考博客 https://blog.csdn.net/qq_29591261/article/details/77934696實現的感知機算法，具體代碼如下：

#感知機
training_set=[[(1,2),1],[(2,3),1],[(3,1),-1],[(4,2),-1]]
#參數初始化
w=[0,0]
b=0
history=[]#用來記錄每次更新的參數

#參數更新
def update(item):
    #item是誤分類的點
    global w,b,history
    w[0]=w[0]+item[1]*item[0][0]
    w[1]=w[1]+item[1]*item[0][1]
    b=b+item[1]
    print('w的值爲:',w,'b的值爲:',b)#輸出每次更新過後的參數值
    history.append([w,b])

#用於計算item到分類平面的距離
def cal(item):
    res=0
    for i in range(len(item[0])):
        res=res+w[i]*item[0][i]
    res+=b
    res=res*item[1]
    return res

def check():
    flag=False
    for item in training_set:
        if cal(item)<=0:
            flag=True
            update(item)
    if not flag:
        print('結果 w:'+str(w)+'  b:'+str(b))
    return flag

if __name__=="__main__":
    for i in range(1000):
        if not check():break

感知機算法的對偶形式

對偶形式的基本想法是：將w和b表示爲實例xi$x_i$ 和標記yi$y_i$ 的線性組合的形式。通過求解係數從而求得w和b。在算法1中初始化w和b爲0，對於誤分類點通過

w←w+ηyixib←b+ηyi$$\begin{array}{rl}& \mathbf{w}\leftarrow \mathbf{w}+\eta y_i{x}_i\\ & b\leftarrow b+\eta y_i\end{array}$$

逐步修改w和b，假設修改了n次，那麼w，b關於(xi,yi)$(x_i,y_i)$ 的增量分別爲αiyixi和αiyI${\alpha }_i{y}_i{x}_i和{\alpha }_i{y}_I$ ,這裏αi=niη${\alpha }_i=n_i\eta$ 。於是，我們最後學習到的w,b可以表示爲

w=∑i=1Nαiyixib=∑i=1Nαiyi$$\begin{array}{rl}& \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & b=\sum _{i=1}^N{\alpha }_i{y}_i\end{array}$$

這裏，αi≥${\alpha }_i\ge$ 0,i=1,2,⋯$\cdots$ ,N,當η=1$\eta =1$ 時，表示第i個實例點由於誤分而進行更新的次數。實例點更新的次數越多，意味着他距離分類超平面越近，也就越難正確分類。這樣的實例對學習結果影響最大。
算法2: