對支持向量機中線性可分集分類過程的理解

原創 半截木头渡海洋 2019-08-28 20:50

根據初中數學知識，我們在二維笛卡爾座標系中畫出一條直線l。

y=a\cdot x+c

這條直線l將平面切割成兩部分，若將兩部分的點分別代入直線方程l，可以得到兩個不等式

\begin{matrix} y< a\cdot x+c \\ y> a\cdot x+c \end{matrix}

若將上面的不等式組進行一些簡單的變換，將y替換成x2,x替換成x1，係數以及常數分別用w1,w2,b代替,則可以得到以下方新的方程組：

\begin{matrix} w_{1}\cdot x_{1}+w_{2}\cdot x_{2}+b> 0 \\ w_{1}\cdot x_{1}+w_{2}\cdot x_{2}+b< 0\end{matrix}

我們約定:

w_{1}\cdot x_{1}+w_{2}\cdot x_{2}+b\rightleftharpoons y_{i}

y_{i}\in \left \{ -1,1 \right \}

W=\left ( w_{1},w_{2} \right )

X=\left ( \begin{matrix} x_{1}\\ x_{2} \end{matrix} \right )

並約定：

當W\cdot X> 0時候，y_{i}=1

當W\cdot X< 0時候，y_{i}=-1

這樣我們就通過一條直線將平面中的所有點（除直線上的之外）分成了兩類，這樣就完成了一個線性分類。

以上雖然實現了一種分類方法，但是實際問題中，通常我們事先不知道這條直線在哪裏，這條直線通常是需要我們自己去設定的，那麼如何設定這條直線呢？面對這個問題，我想我們最自然的應該首先想到的就是選兩個不同類別的點，在它們中間畫一條直線，那麼這條直線至少就可以將這兩點分成了兩類。根據這個想法，我們求解這條直線方程的過程如下：

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

林智仁的libsvm-2.9在windows下的使用

很多學習svm的朋友，都用林智仁的libsvm在做分類的工作，但是整個配置和使用需要看很多東西。特將我自己的學習心得寫在這裏，以避免後來的人少走彎路，節約時間。     準備工作：這篇假設使用的平臺是Windows XP，從命令列執行。先

jkxsanger 2020-07-08 01:36:18

關於使用libsvm的一些總結

SVM支持向量機作爲一個分類的很好的工具，學習數據挖掘的不可避免的要使用它，但很多人鑑於理解SVM有一點困難，所以只需要知道它的使用方法就是最好不過了。下面就講我自己的一些學習經驗寫出來。   我發的這幾篇文章，有的是借鑑了別人寫的文章，

jkxsanger 2020-07-08 01:36:18

LIBSVM-mat使用方法

Libsvm-mat也是libsvm大家族的成員，只是matlab下的版本而已。 在libsvm的網站上下載libsvm-mat-2.9-1.zip文件，解壓後放在任意目錄下（比如c:/libsvm-mat-2.9-1下） 打開

jkxsanger 2020-07-08 01:36:18

機器學習之SVM(Hinge Loss+Kernel Trick)原理推導與解析

支持向量機（Support Vector Machine, SVM）是一類按監督學習方式對數據進行二元分類的廣義線性分類器（generalized linear classifier），其決策邊界是對學習樣本求解的最大邊距超平面。

Cyril_KI 2020-07-07 17:45:19

svm 核函數

#coding=utf-8 import re from numpy import * def load_data(): data=[];label=[] o=open('test.txt') for line i

dif_dis 2020-07-07 13:09:52

學習筆記|模式識別|SVM分類和libsvm在matlab中的使用

一、SVM介紹 傳統學習方法採用的經驗風險最小化方法（ERM）雖然將誤差最小化，但不能最小化學習過程的泛化誤差。ERM方法不成功的例子就是神經網絡中的過學習問題。爲此，由Vapnik領導的貝爾實驗室研究小組於1963年提出了一種新的非常有

ClaraR 2020-07-05 19:02:51

SVM 詳解2

SVM入門（四）線性分類器的求解——問題的描述Part1 上節說到我們有了一個線性分類函數，也有了判斷解優劣的標準——即有了優化的目標，這個目標就是最大化幾何間隔，但是看過一些關於SVM的論文的人一定記得什麼優化的目標是要最

后脑勺 2020-07-05 15:48:12

SVM 詳解6

SVM入門（八）鬆弛變量 現在我們已經把一個本來線性不可分的文本分類問題，通過映射到高維空間而變成了線性可分的。就像下圖這樣：   圓形和方形的點各有成千上萬個（畢竟，這就是我們訓練集中文檔的數量嘛，當然很大了）。現在想象我們有另

后脑勺 2020-07-05 15:48:12

SVM 詳解4

SVM入門（六）線性分類器的求解——問題的轉化，直觀角度 讓我再一次比較完整的重複一下我們要解決的問題：我們有屬於兩個類別的樣本點（並不限定這些點在二維空間中）若干，如圖， 圓形的樣本點定爲正樣本（連帶着，我們可以把正樣本所屬的類

后脑勺 2020-07-05 15:48:11

SVM 詳解7

SVM入門（九）鬆弛變量（續） 接下來要說的東西其實不是鬆弛變量本身，但由於是爲了使用鬆弛變量才引入的，因此放在這裏也算合適，那就是懲罰因子C。回頭看一眼引入了鬆弛變量以後的優化問題： 注意其中C的位置，也可以回想一下C所起的作用

后脑勺 2020-07-05 15:48:10

SVM 詳解

按:之前的文章重新彙編一下,修改了一些錯誤和不當的說法，一起復習,然後繼續SVM之旅. （一）SVM的八股簡介 支持向量機(Support Vector Machine)是Cortes和Vapnik於1995年首先提出的，它在解決小

后脑勺 2020-07-05 15:48:10

基於DL的計算機視覺（3）-- SVM和Softmax分類器

1. 線性分類器 在深度學習與計算機視覺系列(2)我們提到了圖像識別的問題，同時提出了一種簡單的解決方法——KNN。然後我們也看到了KNN在解決這個問題的時候，雖然實現起來非常簡單，但是有很大的弊端： 分類器必須記住全部的訓練數

eternity1118_ 2020-07-04 22:45:57

Scala 版本的svm庫

Scala 版本的svm庫 常用的svm庫是臺灣大學libsvm，在此就不在詳細介紹。 在實際工作中，想在spark框架裏面使用svm，但是spark自帶的svm感覺不是很適用，就找到一個github上面的一個scala版本的sv

菩提树下写代码 2020-07-03 19:38:15

【ML從入門到入土系列05】支持向量機

文章目錄1 理論1.1 線性SVM1.2 非線性SVM2 代碼3 參考 1 理論 SVM基本形式：有監督二分類線性分類模型；擴展形式：有監督二分類非線性分類模型，有監督多分類（線性/非線性）分類模型，有監督線性迴歸模型（SVR），

小陈说CV 2020-07-03 16:10:39

[完]機器學習實戰 第六章 支持向量機（Support Vector Machine）

[參考] 機器學習實戰（Machine Learning in Action） 本章內容 支持向量機（Support Vector Machine）是最好的現成的分類器，“現成”指的是分類器不加修改即可直接使用。基本形式的SV

namelessml 2020-07-02 16:27:02