統計學習筆記—手撕“感知機”

引言

下午拜讀了李航老師的《統計學習方法》的感知機部分，隨帶跑了一個相關算例，於是將所學的知識整理到了這篇博文。不足之處望筆者多加指正。

感知機模型

模型簡述

感知機主要的功能就是把一個數據集進行二分類，例如輸入人的身高體重，感知機可以判斷該人是否肥胖，是機器學習中相對簡單的一個模型。開始正文前，我們先約定好符號：

模型的大致實現流程爲：

1. 輸入一個訓練集T；
2. 定義權重向量w、與偏置b；
3. 利用線性分類函數f（x）對數據進行分類；

想要實現這個過程，我們首先需要一個可以完成分類的線性分類函數，那麼我們應該怎麼定義一個函數幫助我們對數據進行一個正確的分類呢？在此我們又引入了上圖所定義的誤差函數，如果誤差函數（誤分類點到分界面的距離*||w||）的和爲零，就說明線性分類函數非f（x）將訓練集T中的數據的分類全部是正確的。感知機算法做的就是求出誤差函數（損失函數）最小時對應的w、b。
本文對算法的推導過程、與算法的迭代次數的數學證明不做詳細的敘述，筆者有興趣的話可自行翻閱原書P42。

感知機算法思想

• 原算法思想：

• 感知機算法的對偶形式：
  

感知機算法性質

1.迭代次數收斂；
2.解（w、b）不唯一，與初始值和訓練數據的輸入的先後順序有關；
3.是基於隨機梯度下降法的優化算法，策略爲對損失函數L（w，b）進行最小化；

算例實現

注：算例的數據集爲sklearn庫中自帶的iris（鶯尾花）數據。實現工具爲jupyter notebook
筆者利用iris數據集給出的兩類鶯尾花的花萼長度（sepal length）、花萼寬度（sepal width），通過感知機算法，完成線性分類的函數的建立。

導入數據

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import  matplotlib.pyplot as plt

#鶯尾花數據導入
iris=load_iris()
df=pd.DataFrame(iris.data,columns=iris.feature_names)
df['label']=iris.target
df.columns=['sepal length','sepal width','petal length','petal width','label']
df.head()

實現結果：

使用前兩類鶯尾花數據

plt.scatter(df[:50]['sepal length'],df[:50]['sepal width'],label='0')
plt.scatter(df[50:100]['sepal length'],df[50:100]['sepal width'],label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal widrth')
plt.legend()

輸出：

利用感知機進行線性分類

data = np.array(df.iloc[:100, [0, 1, -1]])
X, y = data[:,:-1], data[:,-1]
y = np.array([1 if i == 1 else -1 for i in y])
# 數據線性可分，二分類數據
# 此處爲一元一次線性方程
class Model:
    def __init__(self):
        self.w = np.ones(len(data[0]) - 1, dtype=np.float32)
        self.b = 0
        self.l_rate = 0.1
        # self.data = data

    def sign(self, x, w, b):
        y = np.dot(x, w) + b
        return y

    # 隨機梯度下降法
    def fit(self, X_train, y_train):
        is_wrong = False
        while not is_wrong:
            wrong_count = 0
            for d in range(len(X_train)):
                X = X_train[d]
                y = y_train[d]
                if y * self.sign(X, self.w, self.b) <= 0:
                    self.w = self.w + self.l_rate * np.dot(y, X)
                    self.b = self.b + self.l_rate * y
                    wrong_count += 1
            if wrong_count == 0:
                is_wrong = True
        return 'Perceptron Model!'

    def score(self):
        pass

perceptron = Model()
perceptron.fit(X, y)
x_points = np.linspace(4, 7, 10)
y_ = -(perceptron.w[0] * x_points + perceptron.b) / perceptron.w[1]
plt.plot(x_points, y_)

plt.plot(data[:50, 0], data[:50, 1], 'bo', color='blue', label='0')
plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color='orange', label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()

輸出：

小結

對於機器學習算法的學習，筆者嘗試的是啃書＋復現，但是深感其中數學的深奧，將源碼理解是容易的，數學入門也算簡單，但是對於其背後支撐算法的數學證明、數學定義筆者仍未能喫透，上述不足之處，望多多指正。

參考

https://github.com/wzyonggege/statistical-learning-method
李航 《統計學習方法》（第二版）P36-47

輕鬆一刻

考研男：做我女朋友好不好？
考研女：e^x在無窮大處的極限是多少你知道麼？知道我就接受你；
考研男：簡單！0或正無窮；
考研女：對不起我拒絕你的表白，因爲極限具有唯一性，而你不具有……